Название: Доверительное А/В-тестирование. Практическое руководство по контролируемым экспериментам
Автор: Рон Кохави, Диана Тан, Я Сюй
Издательство: ДМК Пресс
Год: 2021
Страниц: 286
Язык: русский
Формат: pdf
Размер: 10.2 MB

Оригинальное название: "Trustworthy Online Controlled Experiments"

Сложно понять ценность идеи, пока она не опробована на практике. В этой книге рассказывается о том, как контролируемые онлайн-эксперименты (или, как их еще называют, A/B-тесты) позволяют оценить эффективность тех или иных идей по оптимизации веб-сайтов и добиться максимальной отдачи от их использования. Вы узнаете, как правильно подобрать инструменты для тестирования, провести сбор данных и обеспечить измеримость результатов. На конкретных примерах показано, как при помощи A/B-тестов были улучшены веб-ресурсы известных компаний. Контролируемые онлайн-эксперименты широко применяются в Amazon, Booking.com, eBay, Facebook, Google, LinkedIn, Microsoft, Twitter, Яндекс и других компаниях. Эта методика становится неотъемлемой частью культуры бизнеса, основанной на данных.

Получить числа легко; получить числа, которым можно доверять, сложно. Это практическое руководство от ведущих специалистов по экспериментам в Google, LinkedIn и Microsoft научит вас, как ускорить внедрение инноваций, используя доверительные контролируемые онлайн-эксперименты (trustworthy online controlled experiments), или, как их чаще называют, A/B-тесты. Основываясь на практическом опыте компаний, каждая из которых проводит более 20 000 контролируемых экспериментов в год, авторы делятся примерами, советами и предостережениями со студентами и профессионалами отрасли, приступающими к экспериментам, а также детально раскрывают сложные темы для опытных практиков, которые хотят усовершенствовать процесс принятия решений на основе экспериментальных данных в своей организации.

Прочитав эту книгу, вы научитесь:
- использовать научные методы для оценки гипотез с помощью контролируемых экспериментов;
- определять ключевые показатели и в идеале общий критерий оценки;
- проверять достоверность результатов и предупреждать экспериментаторов о нарушении предположений;
- выполнять быструю интерпретацию и итерации на основе полученных результатов;
- устанавливать ограничения для защиты ключевых бизнес-целей;
- создавать масштабируемые платформы, снижающие предельную стоимость экспериментов почти до нуля;
- избегать ловушек, таких как эффекты переноса, закон Тваймана, парадокс Симпсона и сетевые взаимодействия;
- решать на практике проблемы статистики, в том числе общие нарушения предположений.

Издание адресовано техническим специалистам и менеджерам, заинтересованным в увеличении прибыльности своих онлайн-проектов.