Эксперименты над пользователями: самообман через данные Пользователи
В числе мест работы Романа — Sun Microsystems, где он делал Java; Intel, где он опять делал Java (проект Apache Harmony, части которого впоследствии были включены в платформу Android) и Яндекс, где он занимался оценкой качества поиска, в том числе и пользовательскими экспериментами. С середины 2015 года Роман изменил род деятельности и занимается тренингами по презентациям для IT'шников, но накопленный опыт-то никуда не девается, и поделиться им хочется.
Проверка гипотез через эксперименты основывается на солидной математической базе: теории вероятностей и статистике. К сожалению, эта часть математики во многом контринтуитивна и плохо поддаётся здравому смыслу.
Я видел множество случаев, когда менеджеры продукта и разработчики убеждали себя и окружающих, что новая функциональность прекрасно показала себя в эксперименте, а на самом деле у них просто были кривые данные.
Мы разберём несколько самых типовых ошибок, которые люди допускают при обработке экспериментальных данных.