Эксперименты над пользователями: самообман через данные Пользователи
Работал в разработке в Sun Microsystems, где делал Java; в Intel, где опять делал Java (проект Apache Harmony, части которого впоследствии были включены в платформу Android); в поиске Яндекса, где оценивал качество поиска, в том числе и пользовательскими экспериментами; занимался маркетингом в JetBrains и аналитикой данных во ВК.
С середины 2015 года Роман изменил род деятельности и занимается тренингами по презентациям для IT'шников и подготовкой докладов на технологических конференциях. За это время успел поработать более чем с двумя тысячами спикеров. Накопленный опыт никуда не девается, и поделиться им хочется.
Проверка гипотез через эксперименты основывается на солидной математической базе: теории вероятностей и статистике. К сожалению, эта часть математики во многом контринтуитивна и плохо поддаётся здравому смыслу.
Я видел множество случаев, когда менеджеры продукта и разработчики убеждали себя и окружающих, что новая функциональность прекрасно показала себя в эксперименте, а на самом деле у них просто были кривые данные.
Мы разберём несколько самых типовых ошибок, которые люди допускают при обработке экспериментальных данных.