9 декабря 2019
Москва, SAP Digital Space

Эксперименты над пользователями: самообман через данные Индустрия

Доклад принят в программу конференции
Роман Поборчий
self-employed

В числе мест работы Романа - Sun Microsystems, где он делал Java; Intel, где он опять делал Java (проект Apache Harmony, части которого впоследствии были включены в платформу Android) и Яндекс, где он занимался оценкой качества поиска, в том числе и пользовательскими экспериментами. С середины 2015 года Роман изменил род деятельности и занимается тренингами по презентациям для IT'шников, но накопленный опыт-то никуда не девается, и поделиться им хочется.

Тезисы

Проверка гипотез через эксперименты основывается на солидной математической базе: теории вероятностей и статистике. К сожалению, эта часть математики во многом контринтуитивна и плохо поддаётся здравому смыслу.

Я видел множество случаев, когда менеджеры продукта и разработчики убеждали себя и окружающих, что новая функциональность прекрасно показала себя в эксперименте, а на самом деле у них просто были кривые данные.

Мы разберём несколько самых типовых ошибок, которые люди допускают при обработке экспериментальных данных.

Другие доклады секции Индустрия