Программирование [karpov.courses] Симулятор A/B тестов продвинутая практика (2023)

  • Автор темы Trinity
  • Дата начала
[karpov.courses] Симулятор A/B тестов продвинутая практика (2023)

alhi2w7.png


Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.

В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.

Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.

Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.

Для кого этот курс:

1. Продакт-менеджер

Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.

2. Аналитик

Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.

Как проходит обучение:

1. Решайте настоящие задачи бизнеса

  • Пройдите путь начинающего аналитика
  • Запускайте A/B-тесты, анализируйте их результаты и помогайте бизнесу принимать оптимальные решения на основе данных
  • Получайте обратную связь от практикующих специалистов
2. Работайте с реальной инфраструктурой

  • Практикуйтесь в боевых условиях, учитесь не допускать типичные ошибки при проведении экспериментов
  • Работайте на настоящей платформе A/B-тестирования, созданной для симулятора
  • Разрабатывайте дизайн экспериментов и анализируйте результаты
Чему Вы научитесь:

1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов

2. Применять современные методы повышения чувствительности A/B-тестов

3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают

4. Проводить множество экспериментов параллельно

Какие задачи будем решать:

1. Дизайн эксперимента

Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.

2. Анализ метрики отношений

Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.

3. Чувствительные тесты

Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.

4. Множественное тестирование

У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.

Подробнее:
Скачать:
 

Похожие темы