Как краудтестинг помогает улучшить конверсию?

Мы проводим функциональное тестирование силами крауд-тестировщиков с нашей платформы. В этот раз наш кейс посвящен сервису одной из крупнейших образовательных платформ в России.

У образовательной платформы возникла проблема «отвалов» при регистрации новых пользователей на портале. Это заметил отдел маркетинга на основании данных WEB аналитики (Google Analytics). KPI любого отдела маркетинга складывается из множества метрик. Например, часто используется коэффициент конверсии (CR). Он представляет собой процент пользователей, которые совершили целевое действие, например успешно прошли регистрацию на платформе. У нашего клиента CR был ниже ожидаемых значений: посетителей было много, а регистраций мало.

Возникла гипотеза, что одной из причин низкой конверсии являются функциональные проблемы. У образовательной платформы есть своя команда разработки. Между тем она не смогла помочь с локализацией проблемы, потому что была сильно загружена. Система логирования на платформе отсутствует. Без неё поиски решения проблемы потребовали бы серьезных временных затрат. Поэтому клиент обратился к нам, чтобы выяснить, действительно ли проблема функциональная.

Какое решение предложили мы

Мы решили провести сценарное тестирование на 50 крауд-тестировщиках, чтобы обеспечить покрытие разных мобильных операторов. Для тех тестов, где нужно использовать сим-карты для регистрации, есть два способа: публичные сервисы или реальные сим-карты. В проекте мы использовали реальные сим-карты, когда пользователи указывают свой номер и им приходит смс для подтверждения. В нашем случае публичные смс-сервисы на образовательной платформе не поддерживаются.

Объем работ уложился в три дня. Что мы сделали? 

В первый день нами был подготовлен и согласован сценарий из 4 шагов.

Во второй день наши тестировщики прошли сценарий, написали отчеты и баг-репорты.

В третий день мы провели валидацию отчетов, внесли все исправления в них и составили итоговый отчет с high-level аналитикой полученных результатов.

Результаты

За время функционального тестирования регистрации на образовательной платформе мы выявили 4 крайне критических дефекта, 2 дефекта высокой критичности, 8 дефектов средней критичности и 27 дефектов с низкой критичностью. Итого 41 дефект, что достаточно много.

Стоит отметить, что 10% тестировщиков не смогли пройти сценарий регистрации.

Мы считаем, что это серьезная проблема, потому что реальные пользователи не имеют высокой мотивации завершить регистрацию.  В условиях тестирования, перед нашими тестировщиками стояла явная цель — зарегистрироваться, несмотря ни на что. В реальных условиях количество «отказов» обычных пользователей будет несравнимо выше.

Ранее мы упомянули о конверсии. Стоит рассказать о таком термине как воронка продаж. Она представляет собой последовательность действия пользователя до совершения целевого результата. Это четыре этапа: знакомство, интерес, желание и действие.

В нашем случае целевым результатом была регистрация на портале образовательной платформы.

Согласно статистике, на каждом этапе могут отсеиваться от 25% до 75% пользователей.

Примерно 50% пользователей отсеивалось на финальном этапе «действия». При этом не менее 10% пользователей уходили из-за функциональных проблем в форме регистрации.

Причины, по которым пользователи не смогли пройти регистрацию, были вызваны устаревшими браузерами и проблемами в работе смс-шлюза. Для отдела маркетинга это ощутимые проблемы. Как мы писали ранее, KPI отдела складывается из коэффициента конверсии, а функциональные дефекты в форме регистрации привели к снижению конверсии посетителей в пользователей на ±10%.

Мы направили результаты нашего тестирования в отдел разработки для решения выявленных функциональных проблем.