HADI— это фреймворк, который позволяет проверить гипотезу на практике и понять, стоит её брать в разработку или нет. Он состоит из четырёх блоков, которые можно визуализировать в таблице колонками:
- H — hypothesis — гипотеза формата «если сделать это — случится то».
- A — action — действие. Список всего, что нужно сделать. Например, запустить лендинг или опросить пользователей.
- D — data — данные. Метрика, которая будет определять успех провалидированной гипотезы.
- I — insights — выводы. Какие результаты показала гипотеза в итоге.
Возьмём гипотезу «Если использовать глаголы в названиях кнопок, повысится количество кликов». Для неё действием будет замена текста кнопок на глаголы. Для аналитики потребуется настроить события и отследить переходы. А результатом будет «количество кликов увеличится на 30%».
Как записывать каждый из элементов HADI
Гипотезы нужно формулировать по методу SMART — то есть они должны быть конкретными, измеримыми, достижимыми, значимыми и ограниченными во времени.
Например, так:
- плохо: Запустить доставку. хорошо: Если мы запустим приложение по доставке суши в Москве и Санкт-Петербурге, в следующем году ресторан увеличит выручку вдвое.
- плохо: Начать продавать в онлайне. хорошо: Если сделать лендинг с товарами и корзиной, мы на 40% увеличим количество продаж.
Действия. Чтобы понять, какие шаги потребуются для проверки гипотезы, можно использовать матрицу неопределённости и стоимости исследования. Она разделена на четыре зависимых блока: чем дороже и сложнее продукт, тем больше тестов и исследований потребуется.
Данные. При анализе продукта важно помнить, что:
- Необходимо определить способ получения, обработки и интерпретации данных до запуска эксперимента.
- Необходима интеллектуальная обработка данных. Никакой фреймворк не заменит «голову». Аналитик или продуктовый менеджер должен понимать сплитование аудитории, репрезентативность выборки, доверительных интервалов и так далее.
- Данные могут быть не только количественные, но и качественные.
Выводы. Эксперимент закончился — время подводить итоги. В зависимости от результатов будут различаться дальнейшие шаги:
При неудачном исходе есть два сценария:
- Неудачный дизайн эксперимента. Нужно провести ретроспективу, сделать редизайн и запустить эксперимент заново.
- Неудачная гипотеза. Эксперимент прошёл хорошо, но доказал, что гипотеза неверна. Значит придётся закрыть гипотезу и взять следующую.
Три выхода из эксперимента, если он удачный:
- Гипотеза подтвердилась. Масштабируем, но продолжаем аккуратно смотреть за метриками.
- Гипотеза подтвердилась, но непонятна монетизация. В этом случае проводим эксперимент по гипотезам роста и монетизации.
- Проблематика подтвердилась, а решения нет. Тогда можно попробовать придумать другое решение и сделать пивот или запустить новый эксперимент, развернув продукт в другом направлении — и тогда решение может найтись в процессе.
PDCA-цикл и фреймворк LEAN StartUp
Для проверки гипотез можно использовать и другие фреймворки. Например, PDCA-цикл — подход для постоянного улучшения качества продукта, услуг или процессов. Он состоит из четырёх этапов:
- P — plan — планируй,
- D — do — делай,
- C — check — проверяй,
- A — act — действуй.
Каждая итерация цикла либо совершенствует продукт, либо даёт полезный опыт. PDCA можно раздробить на конкретные шаги. Например, EPM предлагает 12-ступенчатую модель, в которой на этапе планирования нужно выбрать проблему, разобраться в ситуации, найти первопричину, а уже после — поставить цели и сгенерировать решения.
LEAN StartUp позволяет убрать всё лишнее из производственного процесса. Этот фреймворк тоже цикличен и состоит из следующих шагов:
- генерация идеи,
- быстрая разработка продукта,
- отслеживание метрик,
- сбор данных,
- изучение данных и корректировка продукта с их учётом.
Далее важно максимально ускорить цикл, чтобы фичи выходили в прод максимально быстро.
Евгений Абрамзон, Яндекс