И это может пригодиться так же в том случае, когда A/B провести уже невозможно, к примеру:
Квазиэксперимент - это эксперимент, в котором ваши контрольные группы разделены естественным процессом, который не является по-настоящему случайным, но считается достаточно близким для вычисления оценок. Я хотел бы выделить два метода, которые я использую. Первый - линейная регрессия с фиксированными эффектами. В этом методе предполагается, что мы собрали данные обо всех факторах, которые разделяют индивидуумов в контрольных группах. Если это так, то простая линейная регрессия по интересующей метрике, контролирующей эти факторы, дает хорошую оценку причинно-следственного эффекта.
Второй метод также очень популярен в причинно-следственных выводах: разница в разнице. Для того, чтобы этот метод был применен, необходимо найти контрольную группу, которая показывает тенденцию, параллельную вашей группе контрольной группе для схожей метрики, до того, как какое-либо изменение будет применено. Затем, после проведения изменений, вы предполагаете, что перелом параллельной тенденции обусловлен только самим изменением. Это суммируется на диаграмме ниже:
Наконец, был случай, когда пришлось обнаружить причинно-следственные факторы по данным, которые состоят только из наблюдений за изменениями. Классическим примером в технике является оценка эффекта от новой функции, которая была выпущена для всех пользователей одновременно: не было проведено A/B-теста и нет абсолютно никого, кто мог бы быть контрольной группой. В этом случае можно попробовать сделать контрфактическую оценку
Идея, лежащая в основе контрфактуальной оценки, заключается в создании модели, которая позволяет вычислить контрфактуальную контрольную группу. Другими словами, вы оцениваете, что бы произошло, если бы этой функции не существовало. Вычислить оценку не всегда просто.
При использовании контрфактуальных методов качество вашего прогноза является ключевым. Если сбивающий с толку фактор, не зависящий от Вашего новейшего развертывания, меняется, Вы не хотите приписывать это изменение Вашей функции. Например, если у вас есть модель, которая предсказывает ежедневное использование определенной функции, а конкурент запускает подобную функцию сразу после вашего, ваша модель не сможет учесть этот новый фактор. Компетентность тестирование являются лучшими инструментами для проведения контрфактуальных причинно-следственных связей. Давайте погрузимся в это немного подробнее.
Квази-эксперименты и контрфакты являются отличными методами, когда вы не можете выполнить полную рандомизацию,но эти методы стоят недешево! Компромисс заключается в том, что гораздо сложнее вычислить разумные доверительные интервалы, и, как правило, приходится иметь дело с гораздо большим количеством неопределенности - часто встречаются ложные срабатывания. Ключом к тому, чтобы не попасть в ловушки, являются проверки на прочность, запущенные внутри продукта.