Tinkoff Product Analytics Meetup: A/B-тесты (online)

Расскажу, как можно решать проблему подглядывания с помощью последовательного анализа. Поделюсь историей конкретного теста: как мы его ускорили с помощью последовательного анализа, результатами исследования последовательного анализа, корректна ли методология и насколько она ускоряет тесты, а также покажу, как начать применять последовательный анализ у себя. 

В докладе расскажу о том, как в hh.ru внедрили Self-service процесс тестирования email-коммуникаций, проинтегрировав его с внутренней А/В-платформой и автоматизировав принятие решений по экспериментам. Покажу типы тестов и метрики, на основе которых принимаются решения, а также поделюсь, почему было решено делать собственный инструмент, а не взять готовый рыночный продукт.

В Алисе еженедельно проводятся десятки экспериментов на разные аспекты качества. У каждой команды есть свои метрики. И часто бывает, что у экспериментатора прокрашено много метрик, иногда таких, которые он видит впервые. И как принимать решение по такому эксперименту, где прокрашено 100+ метрик? Я расскажу о том, что мы сделали в команде аналитики Алисы, чтобы экспериментаторам стало проще дебажить эксперименты и принимать по ним решения