Crowdtesting,Блог Менеджер
Какие страхи мы преодолели, переведя юзабилити-исследования на удаленку

До февраля 2020 года мы работали в симпатичном офисе в Нагатинской пойме, но в марте наш офис опустел. Не слышно в коридорах веселого смеха, покрывается пылью компьютер в юзабилити-лаборатории, никто не обсуждает проекты в столовой. Все сотрудники перешли работать на удаленку.

webp

Наш офис

К новым условиям мы отнеслись как к исследованию новых возможностей и способов работы. Привыкая к новому формату, мы набивали шишки и учились.

При переходе на удаленку мы боялись, что:

  • Загрузка специалистов станет неравномерной
  • Будет много технических сложностей с настройкой аудио и видео у респондентов
  • Рекрутировать будет сложнее
  • Респонденты будут чувствовать скованность и вести себя неестественно
  • Заказчики будут доверять удаленным тестированиям меньше, чем очным

В этой статье мы хотим рассказать вам, как преодолевали страхи и решали возникшие проблемы

 

Страх №1. Загрузка специалистов станет неравномерной

В “допандемийные” времена взаимодействие между сотрудниками проходило в двух форматах: оффлайн и онлайн. Мы обсуждали рабочие вопросы в группах вотсаппа, а проектные документы хранили на Яндекс.Диске и Гугл.драйве. Тем не менее основное общение было очным: проводили общие собрания и проектные встречи в переговорках, обращались друг к другу за советом, обсуждали проблемы, просто болтали.

Переходя на удаленку, мы переживали, что без живого общения планировать проекты будет сложнее, а нагрузка специалистов станет неравномерной.

webp

Источник изображения: freepik

Поэтому ввели таблицы с учетом времени в google sheets, просили сотрудников отмечать, чем они занимаются. Руководитель мог зайти в файл в любое время и посмотреть, кто занят, а кто уже освободился. Через 3 месяца от этой практики мы отказались — это было утомительно для всех. Купили подписку на Ganttpro. Сразу стало проще: наглядно видно, какие проекты в работе, удобно назначать сотрудников на задачи, видно, кто чем занимается и кто когда освобождается. По окончании проекта каждый сотрудник отмечает в проекте фактические трудозатраты по каждому этапу, которые мы берем за основу для расчета окупаемости. Плюс мы заключили джентельменское соглашение: закончил раньше - пиши руководителю и он решает, кому нужно помочь по проекту.

Сами сотрудники рассказывают, что, работая из дома, начинаешь трудиться после первой чашки кофе, а заканчиваешь позже, чем в офисе. Оказалось, что самое сложное в удаленке не начать работать, а закончить.

Лично мои сложности с удаленкой - это не заставить себя работать и оторвать от кровати или от холодильника, а наоборот заставить себя прекратить работать и делать что-то кроме работы. Ты встаешь в 9, у тебя уже какие-то сообщения от команды. Ты быстренько умываешься, наливаешь чай, садишься за компьютер и все. Потом уже время 6, а ты все еще работаешь и думаешь, ну еще чуть-чуть, а очнешься и уже поздний вечер.

Виктория

 

Страх №2. Будет много технических сложностей

Мы проводим разные исследования, но основная масса приходится на юзабилити-тестирования, интервью и дневники. Если интервью мы и раньше часто делали удаленно, то 80% юзабилити-тестирований проводили в юзабилити-лаборатории, а запись вели программой OBS.

 

Юзабилити-лаборатория - это отдельное помещение с компьютером для респондента и местом для ведущего тестирование (модератора).

 

Перейдя на дистанционные проекты, мы перешли со Skype на Zoom. Он был проще, не требовал регистрации, для входа в конференцию было достаточно пройти по ссылке.

Несмотря на простоту Zoom, без технических сложностей не обошлось. Временами подводил звук, изредка программа не сохраняла записи, каждый раз перед началом пользовательской сессии приходилось тратить 10-15 минут на настройку, иногда это занимало столько времени, что тестирования накладывались одно на другое.

Бывало, что специалист случайно заходил в уже занятый другим сотрудником аккаунт Zoom. В итоге последнего выбрасывало из встречи.

Наши рекрутеры стали подстраховывать юзабилити-специалиста, проверяя работу звука и видео у респондента заранее, так часть проблем снялась. Но случаются и казусы.

Респондент зашел в zoom только со звуком. Я попросила его включить видео, а он сказал, что у него нет камеры. Это было очень странно, ведь буквально за час до тестирования они созванивались с рекрутером и видео у него работало. Неизвестно в чем там было дело, но может быть он брал взаймы ноутбук соседа, чтобы проверить соединение?

Виктория

webp

Скриншот видеозаписи тестирования, проведенного в Zoom

Чтобы встречи в Zoom не накладывались друг на друга, мы сделали таблицу с расписанием, где каждый специалист отмечает промежутки времени, когда проводит исследование. Там же каждый специалист помимо времени отмечает свое имя и название проекта, чтобы другие коллеги в случае необходимости могли ему написать и уточнить: освободился Zoom или нет. Если расписание тестирований очень плотное, то сотрудник занимает канал на весь день, чтобы не перескакивать с аккаунта на аккаунт и пользоваться одной ссылкой для всех респондентов. Он заранее планирует в аккаунте Zoom встречу с респондентом, устанавливая необходимые параметры, и ставит ссылку в таблице рекрутинга. Оттуда рекрутер ее копирует и отправляет респонденту.

Мы обязательно отмечаем для каждой встречи, что нужно создавать комнату ожидания, чтобы следующий респондент случайно не зашел в тестирование предыдущего участника, которое может еще продолжаться.

webp

Таблица с расписанием удаленных тестирований

На стандартное тестирование мы обычно закладываем 2 часа, чтобы предусмотреть случаи опоздания на тестирование, время на настройку оборудования и конвертацию видео. К сожалению, Zoom тратит неприлично много времени на сохранение файла.

Однажды полуторачасовое тестирование генерилось 30 минут. Я еле успела его сохранить до следующего респондента.

Маша

 

Страх №3. Рекрутировать будет сложнее

Рекрутинг на удаленные исследования с одной стороны стал проще, а с другой сложнее. Респонденты охотнее соглашаются на тестирование, но бумаги, необходимые для участия, заполнять тяжелее. Обычно мы просим пользователя подписать соглашение о неразглашении, согласие на использование персональных данных и дополнительные документы в зависимости от проекта. Зачастую у респондентов нет принтера, чтобы все распечатать и сканера, так что им приходится исхитрятся или тратить время на поиски. Раньше эта процедура была гораздо проще - человек приходил в лабораторию и подписывал все на месте.

Теперь мы проводим с пользователем подготовительную работу. Сразу после разговора по телефону отправляю в мессенджер дату и время тестирования, прошу установить Zoom, а также отправляю документы о неразглашении коммерческой тайны. Респондент должен подписать их и отправить мне. За день до исследования отправляю ссылку на конференцию, а в день тестирования с утра напоминаю. Если позволяет время, то заранее созваниваюсь с каждым респондентом и проверяю звук и видео.

Юлия

webp

Источник изображения freepik

Коллеги отмечают, что пользователи реже “пропадают” перед тестированиями, ведь специально ехать никуда не нужно, но иногда относятся к удаленным исследованиям менее ответственно. Респондентам кажется, что сессию тестирования можно легко перенести, а время от времени они даже забывают о договоренности.

Иногда респонденты не появляются на тестировании. Рекрутер звонит ему, а тот отвечает “Ой, я забыл. Можно завтра?”. Приходится назначать встречу снова и напоминать пользователю несколько раз, чтобы он снова о ней не забыл

Мария

 

Страх №4. Респонденты будут чувствовать скованность и вести себя неестественно

Переходя на удаленные тестирования мы понимали, что новый вид исследований имеет свои особенности, которые могут быть как минусом, так и плюсом. У нас появилось много вопросов:

  • Сложно ли будет наладить контакт с респондентом, общаясь только через веб-камеру?
  • Будет ли пользователь выходить на связь из тихого места, где его никто не побеспокоит или будет отвлекаться?
  • Будут ли загружаться и работать прототипы, приложения и сайты на телефонах респондентов?
  • Будет ли эффективным тестирование, если пользователь не хочет включать веб-камеру?

Давайте рассмотрим на примерах, как на практике минусы удаленных тестирований по факту превратились в плюсы.

 

Сложно ли будет наладить контакт с респондентом, общаясь только через веб-камеру?

На удивление все оказалось иначе. Благодаря тому, что респондент во время находится в привычной обстановке у себя дома, на работе или где-то еще, он чувствует себя более спокойно и расслабленно.

У нашего специалиста Маши есть секретное средство, которое действует на респондентов безотказно, моментально настраивая на позитив.

webp

Машин котик

Иногда пользователи относятся к онлайн-исследованию слишком расслабленно и приходят на тестирование в пижамах или вообще топлесс (мужчины).

Бывает, что беседа с пользователем становится такой доверительной, что он начинает показывать исследователю дом. Однажды Виктория тестировала респондента, который собирал коллекцию разных версий тестируемого продукта. Он устроил в квартире что-то вроде выставки. Его родственники и друзья не понимали его увлечение, а в лице Виктории он встретил благодарного слушателя, которому провел видео-экскурсию по дому и показал всю коллекцию. Интересно, что и заказчик был приятно удивлен, что есть такие пользователи, которые настолько трепетно относятся к его продукту.

 

Будет ли пользователь выходить на связь из тихого места, где его никто не побеспокоит или будет отвлекаться?

В первое время было сложно привыкнуть к тому, что иногда респондент подключается к Zoom не из тихой комнаты, где никто не побеспокоит, а из шумного кафе или даже со стройки.

В лабораторном тестировании практически невозможно воспроизвести реальный контекст использования интерфейса - модератор и респондент сидят в закрытом тихом помещении, при этом их никто не дергает, не прерывает, не издает посторонних звуков. Редко когда в жизни человек действительно находится в такой “стерильной” обстановке. Во время удаленного тестирования пользователи наоборот находятся в естественной среде, где их могут отвлекать животные, курьеры, дети, коллеги.

Мы посмотрели на эту ситуацию под другим углом, восприняв ее не как “мешающий фактор”, а как возможность понять в каких условиях реальные пользователи взаимодействуют с интерфейсом.

Однажды респонденту позвонил курьер с доставкой и ему пришлось отойти, чтобы принять заказ, когда он вернулся, то забыл, на каком месте задания остановился и потратил несколько минут, чтобы разобраться. Это было показательно - в жизни люди постоянно отвлекаются и нам важно видеть, что пользователь делает, чтобы вернуться к процессу, который он оставил на середине. Это новый опыт и возможность посмотреть взаимодействие с интерфейсом в реальной жизни

Маша

Иногда респонденты выходят на связь из парка, шумного кафе и даже со стройки. Если условия проведения позволяют работать в “реальной среде” и не ухудшают слышимость, то мы разрешаем проходить тестирование там, где удобно пользователю. Однажды респондент Любы во время тестирования попросился выйти на балкон покурить. Так как исследование проходило на мобильном телефоне, он даже не отрывался от процесса, продолжая выполнять задание. А вот Мария как-то раз тестировала респондента в неожиданном месте.

В первый момент я не поняла, что вообще происходит. В Zoom появилась девушка в белом халатике и с маской на лице. Она сидела на кушетке на фоне белой стены. Под глазами у нее были темные круги, а голос подрагивал. Я заерзала на стуле, пытаясь сохранить спокойствие. Девушка сняла маску и тихо произнесла:

- Я готова к опросу. Вы только не обращайте внимания на шум, я в больнице.

- Вы точно можете проходить тестирование? - с сомнением уточнила я.

- Да, - кивнула она и мы начали.

Дальше тестирование проходило как обычно, прервавшись только один раз, когда девушке принесли градусник.

Маша

webp

Источник изображения freepik

 

Будут ли загружаться и работать прототипы, приложения и сайты на телефонах респондентов?

Прототипы интерфейсов заказчики чаще всего присылают в Figma. У нее есть несколько особенностей: перед тестированием важно отключить подсветку кликабельных зон, чтобы не “прототип не подсказывал” пользователю, куда нажимать. На мобильных телефонах некоторые элементы интерфейса, если открывать его браузером, отображаются не целиком, чтобы решить эту проблему модератор просит респондента создать ярлык прототипа на рабочем столе телефона, тогда прототип открывается в полноэкранном режиме без потери элементов управления. Еще одна особенность Figma в том, что для загрузки она требует больших ресурсов и поэтому прототип может не запускаться на простых телефонах.

Пару раз приходилось отменять тестирование, потому что прототип не загружался на телефоне. В лаборатории у нас был мощный смартфон, на котором работало все, здесь приходится учитывать модель устройства.

Любовь

Надеемся со временем, Figma станет дружелюбнее к смартфонам, а пока мы стараемся спрашивать, что за модель телефона у пользователя, чтобы сразу отфильтровать тех, у кого прототип не откроется.

webp

Источник изображения freepik

 

Будет ли эффективным тестирование, если пользователь не хочет включать веб-камеру?

У удаленного тестирования есть один явный плюс - если пользователь не хочет показывать лицо, то может не включать веб-камеру. Например, когда мы проводили тестирование с женщиной из Арабских Эмиратов, она была дома и ей не хотелось на время исследования надевать хиджаб, поэтому она не стала включать видео и общалась только голосом.

Если человек не хочет показывать себя через камеру, то он точно не придет к тебе в офис лично. А удаленно без видео его можно протестировать.

Мария

В принципе, когда видишь пользователя, его мимику, жесты, то получаешь больше информации о его реакции на продукт. Однако, если человек не может или не хочет показывать себя, то можно ограничиться голосом. Анализируя интонацию и построение фраз специалист понимает, какие эмоции испытывает респондент и какой подтекст скрывается за его словами.

webp

Источник изображения freepik

 

Страх №5. Заказчики будут доверять удаленным тестированиям меньше чем очным

Удаленные тестирования для клиентов неожиданно оказались еще благотворнее, чем для респондентов. Самое очевидное - это возможность протестировать пользователей из регионов и других стран.

Раньше на тестирование в лабораторию почти никто из клиентов не доезжал, а удаленную трансляцию смотрели редко. Теперь заказчики - частые гости в Zoom. Они заходят по несколько человек в конференцию, и, не включая аудио и видео, следят за исследованием.

Поначалу мы опасались, что пользователи могут чувствовать себя неуютно под пристальными взглядами нескольких человек, но оказалось что они практически не смущаются. Мы представляем клиентов как наших коллег-разработчиков, которые хотят больше узнать о проблемах интерфейса. Буквально через пару минут пользователь забывает об их существовании и погружается в процесс.

Во время тестирования клиенты отправляют в чат по проекту дополнительные вопросы для пользователя, которые модератор задает сразу же. После окончания тестирования иногда мы устраиваем обсуждение результатов в той же конференции Zoom, которую уже покинул пользователь.

Иногда клиенты так вдохновляются тестированием, что сразу после него устраивают дизайн-сессию для поиска решений. Это бывает очень увлекательно и полезно. После таких сессий я сохраняю для клиентов отдельно видео тестирования, отдельно дизайн-сессию, чтобы они могли пересмотреть их позже.

Виктория

 

Вернемся ли мы в офис?

За год мы привыкли работать удаленно. Время, которое раньше уходило на дорогу, теперь не пропадает впустую. Каждый сотрудник организовал себе рабочее место - кто-то сидит в своей комнате, кто-то на кухне, у кого-то кабинет на балконе. В 2020 году к нашей команде присоединились сильные специалисты из регионов: Омска, Екатеринбурга, Уфы, Петербурга, Сочи. Теперь в исследовательском отделе работает почти 30 юзабилити-специалистов.

webp

Наша география

Некоторые сотрудники переживают из-за отсутствия живого общения с коллегами во время рабочего дня, когда можно запросто подойти к кому-то и задать вопрос, поделиться проблемой, получить совет, поболтать и почувствовать дружеское плечо рядом. Мы стараемся восполнить этот пробел общаясь в whatsapp-группе компании и устраивая общие созвоны по Zoom. На этих встречах у всех включены камеры, и мы обсуждаем текущие и только что завершившиеся проекты, делимся опытом и лайфхаками. Для новых сотрудников опытные коллеги проводят видео-встречи по Zoom, на которых рассказывают о том, как устроены процессы в компании и как идет работа на проектах.

В будущем, когда пандемия закончится, мы скорее всего будем работать в комбинированном формате, совмещая преимущества офисной и удаленной работы.