Привет! Это команда курса «Аналитик данных» в Практикуме. Мы подготовили подборку статей и видео, которые помогут сделать первые шаги в аналитике и поучиться у экспертов рынка. Здесь вы найдёте объяснения базовых принципов A/B-тестирования, узнаете о типичных ошибках, способах ускорения экспериментов и проверке гипотез. А ещё сможете познакомиться с опытом экспертов и крупных корпораций, которые делятся своими практиками и лайфхаками.
Видео «Дешёвые и дорогие тесты гипотез», Светлана Аюпова из Skyeng
Те, кто только начинает принимать решения на основе проверки гипотез, обычно сталкиваются с двумя проблемами: 1. Очень долго, дорого и бессмысленно проверять гипотезу «до конца». 2. Если упрощать проверку, то данных не хватает, и решение принимается по старинке, на ощупь.
Светлана рассказывает, как на старте понять, какие гипотезы точно не нужно проверять, как построить цикл проверки гипотез, а также как шагать от дешёвой проверки с низкой достоверностью к дорогим и очень точным сплит-тестам.
Видео «13 способов ускорить А/В-тест, или „Не CUPED-ом единым“», Иван Максимов
Многие аналитики для ускорения А/В-тестов в первую очередь используют достаточно сложные статистические приемы (например, CUPED). Однако существует огромное множество более простых и эффективных способов ускорить А/В-тесты.
В лекции Иван разбирает именно такие способы — от улучшения процесса дизайна теста до применения статистического критерия и финального принятия решения о выкатке фичи. А также оценивает потенциальный trade-off между эффектом и затратами от внедрения каждого из способов.
Статья и видео «Как у нас устроено A/Б-тестирование», Академия Яндекса
A/Б-тестирование на сервисах Яндекса проводится постоянно. «Раскатить на такую-то долю аудитории» и посмотреть на реакцию людей — настолько стандартная практика, что ни у кого в команде не возникает вопроса, зачем это нужно. А чтобы не было проблем с самим тестированием, есть специальная инфраструктура для экспериментов.
Разработчики команды экспериментов рассказывают, что такое A/B-тестирование, а затем говорят о нюансах проведения экспериментов в корпорации и немного об инфраструктуре. Отличная вводная лекция для новичков. Советуем посмотреть видеоверсию, но можно выбрать и выжимку в виде статьи.
Статья «Материалы по математической статистике и экспериментам 1.0», EXPF
Блог команды экспертов, разрабатывающих технологическую платформу для продуктовых экспериментов EXPF Sigma. В этом году EXPF стали частью AvitoTech, их блог не обновляется, но в нём всё равно можно найти полезную информацию.
В этой статье команда поделилась подборкой книг, блогов и статей, которые пригодятся для погружения в тему математической статистики и экспериментов. Материалы не дублируют подборку, которую вы читаете сейчас.
Статья «Множественные эксперименты: теория и практика», Яндекс
Когда стандартного A/B-тестирования недостаточно, на помощь приходят множественные эксперименты — в этом случае проходит тестирование более чем двух групп. В статье объясняются основные методы расчёта результатов тестов и математические принципы, на которых эти методы основаны. А также приведены примеры программной реализации, которые можно использовать в своих проектах.
Статья «Как не надо анализировать A/B-тесты. Проблема подглядывания», GoPractice
«Проблема подглядывания» — одна из самых коварных ошибок, которую допускают даже опытные исследователи, уже умеющие оценивать статистическую значимость наблюдаемых изменений. Она возникает, когда решение об изменениях в продукте принимается на основе промежуточных результатов.
В статье авторы разбирают, зачем измерять статистическую значимость и как проблема подглядывания мешает правильному анализу результатов эксперимента. Полный текст доступен по бесплатной подписке.
Статья «Как провести A/B-тестирование: 6 простых шагов», Яндекс Образование
Статья для абсолютных новичков или специалистов, не занимающихся аналитикой данных, — материал структурирован максимально просто. Авторы разбирают каждый этап базового A/B-тестирования: планирование, выбор метрик, разработку гипотезы, подготовку и проведение эксперимента, а также оценку результатов.
Статья «Как улучшить ваши A/B-тесты: лайфхаки аналитиков Авито», AvitoTech
Статья для аналитиков, которые получают статистически незначимые результаты, применяют критерий Манна — Уитни или логарифмируют метрики для борьбы с выбросами, сомневаются в корректности используемых статистических методов или стремятся предоставлять стейкхолдерам более понятные и интерпретируемые результаты.
Автор рассказывает про CUPED, бутстрап-критерии для тестирования более чувствительных гипотез, стратификацию, и про очень простой метод деления выборок на тест и контроль, который позволит значительно улучшить результаты будущих A/B-тестов. Кроме того, он объясняет, как правильно бороться с выбросами, проверять корректность методов и представлять результаты максимально наглядно.