Стандарты качества ОИРОМ для юзабилити-тестирований

Юзабилити-тестирование является важным этапом в процессе разработки цифровых продуктов, обеспечивающим оценку удобства использования интерфейсов и выявление возможных проблем для их дальнейшего устранения.

Настоящий документ устанавливает отраслевой стандарт, определяющий специфику проведения юзабилити-тестирования и требования к его проведению.

Требования к следующим аспектам организации исследований устанавливаются основными стандартами ОИРОМ и не подлежат пересмотру в рамках настоящего документа:

• информационная безопасность, конфиденциальность и обработка персональных данных;
• порядок приглашения к участию в исследовательских проектах;
• сбор данных от детей и представителей уязвимых групп населения;
• управление исследовательским проектом (включая управление документацией и записями);
• компетентность и обучение персонала;
• отношения с субподрядчиками (аутсорсинг);
• работа с жалобами и удовлетворенность клиентов.

Стандарты применимы как при взаимодействии «клиент/внешний заказчик — исследовательское агентство», так и при взаимодействии «внутренний заказчик — внутреннее исследовательское подразделение».

Пользовательский опыт (User Experience, UX) — это совокупность всех аспектов взаимодействия пользователя с системой, продуктом или услугой, включая восприятие, эмоции, реакции и удовлетворенность от использования. UX охватывает все этапы взаимодействия, начиная от первых впечатлений и заканчивая долгосрочным использованием.

Удобство использования (Юзабилити, Usability) — свойство системы, продукта или услуги, при наличии которого конкретный пользователь может эксплуатировать систему в определённых условиях для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворённостью (ISO 9241-210).

Юзабилити-тестирование (Usability Testing) — метод оценки продукта, при котором реальные пользователи выполняют задания с целью выявления проблем в интерфейсе и улучшения UX.

Продукт (Product) — цифровой продукт: веб-сайт, мобильное приложение, программное обеспечение или система.

Интерфейс (Interface) — совокупность элементов взаимодействия пользователя с продуктом, включая визуальные и интерактивные компоненты.

Прототип / Макет (Prototype / Mockup) — предварительная версия продукта, используемая для тестирования и оценки его функциональности и дизайна.

Финальный продукт / Прод (Prod) — финальная версия продукта, готовая к использованию.

Юзабилити-проблема - это особенность системы, которая в определённом контексте не позволяет пользователю выполнить его задачу с необходимой результативностью, эффективностью и удовлетворённостью.

Техническая проблема (баг) — это проблема, при которой система не функционирует в соответствии с техническим заданием.

Пожелание пользователя — это идея пользователей для улучшения интерфейса, отдельной функции или продукта в целом.

Пользовательский сценарий — это описание взаимодействия пользователя с продуктом или сервисом для достижения определенной цели. Пользовательский сценарий включает в себя: ключевые характеристики пользовательского сегмента; мотивацию и потребности; цели; желаемый результат; контекст и условия; действия (описание пошагового процесса взаимодействия).

Объектом юзабилити-тестирования является цифровой продукт, сервис, интерфейс или их отдельная часть, подлежащие оценке с точки зрения удобства и понятности использования.

Предметом юзабилити-тестирования является пользовательское взаимодействие с интерфейсом продукта в процессе выполнения заданий, характерных для реальных сценариев использования продукта.

Основным документом, фиксирующим ключевую информацию об исследовательском проекте, является бриф и/или коммерческое предложение. Документ должен включать в себя следующие сведения:

• общая информация о проекте (сроки, бюджет, формат результата, ответственность сторон);
• контекст, цели и задачи исследования (включая, вопросы исследования, гипотезы, бизнес-метрики, на которые должна повлиять информация и т.д.);
• критерии успеха (например, ключевые экраны или задачи, которые пользователь должен успешно выполнить в процессе взаимодействия с продуктом);
• тип продукта, краткое описание продукта или интерфейса, который будет исследоваться, его версия;
• целевая аудитория, география, выборка;
• методология, специфика анализа данных;
• сценарии и задачи, которые будут предложены пользователям для выполнения в ходе тестирования;
• платформа, на которой будет проводиться тестирование (например, веб-сайт, мобильное приложение);
• оборудование и помещение (информация о локации и техническом оснащении, которое будет использовано в процессе тестирования, включая ПО, камеры и микрофоны).

Исполнитель должен обеспечить наличие технического и программного обеспечения:

• тестирование интерфейса пользователями на целевых устройствах (мобильные устройства, планшеты и ПК) согласно брифу;
• запись экрана и фиксация взаимодействия пользователя с тестируемым интерфейсом (аудио- и видеозапись);
• онлайн трансляция юзабилити-тестирования для заказчика.

Используемое программное обеспечение должно быть надежным, обеспечивать высокое качество записи. Программное обеспечение должно соответствовать требованиям конфиденциальности и безопасности данных, обеспечивая защиту от несанкционированного доступа и утечки информации. Рекомендуется использовать ПО, которое поддерживает функции аннотирования и анализа данных.

Локация для офлайн-тестирования должна обеспечивать комфортные условия для респондентов, быть оснащена всем необходимым оборудованием и отвечать требованиям безопасности и конфиденциальности данных участников исследования.

В случае онлайн-тестирования важно учесть следующие аспекты:

• Интернет-соединение. Участник должен иметь стабильное интернет-соединение, достаточное для видеозвонка, демонстрации экрана и выполнения заданий без существенных задержек и сбоев.
• Программное обеспечение. У участника должно быть установлено и заранее проверено программное обеспечение, необходимое для участия в видеозвонке, демонстрации экрана и, при необходимости, записи сессии.
• Пробное подключение. До начала сессии юзабилити-тестирования Исполнитель должен провести пробное подключение с участником, чтобы проверить качество связи, доступ к тестируемому продукту, работу камеры, микрофона, демонстрации экрана и других необходимых технических средств.
• Место прохождения. Участник должен находиться в условиях, обеспечивающих комфортное и качественное прохождение тестирования: участника хорошо слышно и видно при необходимости, устройство для прохождения теста находится непосредственно у участника, отсутствуют значимые отвлекающие факторы и постороннее вмешательство.

Гайд тестирования должен включать в себя пользовательские сценарии, которые отражают ключевые задачи и действия, выполняемые пользователями в процессе взаимодействия с продуктом.

Также в гайде рекомендуется фиксировать основные гипотезы и критерии успеха.

Перед началом тестирования Исполнитель должен протестировать продукт / прототип в соответствии со сценариями и проверить его корректную работу.

Все внесенные изменения в сценарии или в прототип должны быть задокументированы, чтобы обеспечить прозрачность и возможность анализа их влияния на результаты теста.

Перед началом тестирования исполнитель получает согласие респондентов на запись их взаимодействия с продуктом и экрана. Компания должна объяснить, как будут использоваться эти записи, и заверить респондентов в соблюдении всех норм конфиденциальности и безопасности данных.

Непосредственно перед началом юзабилити-тестирования исполнитель должен провести инструктаж респондентов. Респондентам необходимо предоставить четкие, понятные и подробные инструкции по выполнению заданий, которые они будут выполнять в процессе тестирования. Важно, чтобы респонденты понимали, что тестирование направлено на оценку удобства использования продукта, а не на проверку их личных навыков или знаний.

Если тестируется не финальный продукт, а прототип, исполнитель объясняет это респонденту, предупреждает о возможных ограничениях функциональности.

Модератор должен проводить сессию в соответствии с гайдом, гибко адаптируя ход модерации к поведению, реакциям и высказываниям участника, но без вмешательства в процесс взаимодействия с интерфейсом, за исключением случаев, предусмотренных гайдом. Модератор должен воздерживаться от пояснений, интерпретаций, подсказок и наводящих формулировок, способных повлиять на действия, высказывания или оценку участника, и не оказывать помощь, если это не предполагается гайдом.

В ходе юзабилити-тестирования исполнитель ведет подробный протокол, фиксируя все действия и комментарии респондентов. Взаимодействие пользователя с интерфейсом может фиксироваться с помощью видео- и аудиозаписей, скриншотов и других форм фиксации действий пользователя.

Рекомендуется по завершении тестирования обеспечить выход из учетной записи пользователя, чтобы предотвратить доступ к личной информации респондента или конфиденциальную информацию компании (в зависимости от типа устройства и аккаунта, с которого осуществляется тестирование).

Исполнитель организовывает хранение всех собранных данных, включая протоколы, записи и другие материалы. Доступ к этим данным должен быть ограничен и предоставляться только уполномоченным лицам. Сроки хранения проектной документации и записей проекта регулируются основными стандартами ОИРОМ или соглашением с заказчиком.

Последующее использование информации, полученной от респондентов, должно соответствовать Стандартам ОИРОМ и требованиям сбора и обработки персональных данных.

Необходимо организовать и систематизировать все собранные данные, включая протоколы, записи взаимодействий и комментарии респондентов. Любая часть собранной информации должна быть легко доступна для анализа и проверки.

Все этапы анализа данных должны быть четко задокументированы. Это включает описание методов, используемых для выявления паттернов и тенденций в поведении пользователей, а также для измерения ключевых метрик юзабилити.

Отчет по результатам юзабилити-тестирования является ключевым документом, который предоставляет заинтересованным сторонам полное представление о проведенном исследовании и его выводах. Отчет должен соответствовать целям исследования и быть реализован в формате, который был согласован в ключевом документе по проекту (брифе или предложении).

Рекомендуется включать в отчетность указание следующих параметров:

• название / идентификатор проекта,
• заказчик / инициатор (компания, имя и фамилия сотрудника),
• исполнитель (компания, имя и фамилия сотрудника),
• даты проведения исследования,
• даты полевой части исследования,
• контекст возникновения исследования,
• цели и задачи исследования,
• планируемая и фактическая выборка,
• описание методологии, включая особенности условий проведения тестов,
• тестируемые материалы.

Отчет включает подробный перечень всех выявленных юзабилити-проблем, с которыми столкнулись пользователи в процессе тестирования. Описание юзабилити-проблемы может включать следующие аспекты:

• описание проявления проблемы в действиях пользователей;
• причина возникновения проблемы (что не так в интерфейсе / системе);
• негативные последствия этой проблемы в пользовательском опыте и бизнес-метриках продукта;
• степень критичности юзабилити-проблемы (низкая, средняя, высокая);
• указание платформы (веб ПК, мобильный веб, мобильное приложение iOS и/или Android);
• скриншот интерфейса для наглядной иллюстрации (или видео);
• текущее поведение системы (как она работает);
• рекомендации по решению проблемы (опционально).

• Успешность выполнения задач — метрика, которая оценивает, в какой степени пользователи могут успешно и безошибочно завершить заданные сценарии или задачи в интерфейсе продукта.
• Скорость выполнения задач в юзабилити-тестировании — метрика, которая измеряет время, затраченное пользователями на завершение заданных сценариев или задач в интерфейсе продукта.
• Удовлетворенность продуктом / функционалом в юзабилити-тестировании — это оценка респондентом своего опыта использования продукта, которая измеряет, насколько удобен, приятен и эффективен интерфейс с точки зрения конечного пользователя.

Перечень метрик, используемых для анализа может гибко меняться в зависимости от задачи. Для всех используемых метрик должно быть дано четкое определение и приведено описание расчета. Для авторских метрик допускается концептуально описание без конкретной форсогмулы. Особенности используемых метрик должны быть в явном виде сообщены заказчику для обеспечения возможности корректной интерпретации результатов.

На основе анализа данных отчет должен содержать выводы о текущем состоянии интерфейса. При наличии рекомендаций в отчете по юзабилити-тестированию они должны быть четкими, обоснованными и ориентированными на практическое применение. Каждая рекомендация должна основываться на конкретных данных и наблюдениях, полученных в ходе тестирования, и содержать ссылки на выявленные юзабилити-проблемы.

Помимо непосредственно отчета с описанием юзабилити-проблем, исполнитель должен передать заказчику другие материалы проекта: сценарий, протоколы, таблицы, видеозаписи и т.д. Полный список отчетности должен быть обсужден и согласован до начала проекта.