A
давайте возьмем терминальный случай, что нет различий. все пять измерений незначимо отличаются от какого-то исторического среднего
Как отдельное измерение может (не)значимо отличаться?
Size: a a a
2019 November 08
PU
в обратную сторону, одновыборочный т-критерий, например
ГД
Это же конверсия - есть какое-то кол-во пользователей в день, какое-то кол-во событий
PU
конверсия сложный и детерминированный процесс, на него много факторов влияют ведь
A
Ну так не может 100500 значимо отличаться от какой-то выборки
A
Это все равно 1 число
ГД
конверсия сложный и детерминированный процесс, на него много факторов влияют ведь
Я Андрею про отдельные измерения отвечал)
ИП
в том-то и дело, что выборка каждый раз независима. у меня каждый день новые пользователи, новый день недели, новые предлолжения в магазине, новый глобальный контекст, например, начало праздников или выход конкурентов.
то есть, мы каждый раз делаем выборку из новой совокупности. и как раз сильные изменения в метриках интерпретируем как результат изменения всех этих внешних факторов. обычно это контролируемые вещи, типа новый релиз, но иногда наоборот - надо найти, что случилось и починить.
то есть, мы каждый раз делаем выборку из новой совокупности. и как раз сильные изменения в метриках интерпретируем как результат изменения всех этих внешних факторов. обычно это контролируемые вещи, типа новый релиз, но иногда наоборот - надо найти, что случилось и починить.
А, понятно, а что означает новая совокупность? Или имеется в виду новая выборка?
A
в обратную сторону, одновыборочный т-критерий, например
Это так не работает
ИП
Ну так не может 100500 значимо отличаться от какой-то выборки
ну а если мы знаем распределение признака, знаем, что признак, скажем имеет такое среднее в популяции, такое стандартное отклонение, что распределение нормальное. Тогда мы можем оценить вероятность выпадения отклонения нового значения от среднего, что и можно было бы интерпретировать как p-value. Почему нет?
ИП
Я как-то просто об этом не думал раньше, но мб я где-то ошибся просто
V
Я бы не думала, а покопалась в процессе
A
Иван Поздняков
ну а если мы знаем распределение признака, знаем, что признак, скажем имеет такое среднее в популяции, такое стандартное отклонение, что распределение нормальное. Тогда мы можем оценить вероятность выпадения отклонения нового значения от среднего, что и можно было бы интерпретировать как p-value. Почему нет?
Потому что это не р-значение. Нельзя сравнивать значение и оценку параметра совокупности
ИП
так почему же нельзя? Мы знаем как признак распределен. Мы получаем значениею. Считаем интеграл от значения до плюс бесконечности по функции распределения. Почему это нельзя назвать p-значением?
A
Потому что нам принципиально недоступна информация об вариации этого значения
ГД
Я бы все-таки смотрел на значения и динамику, а не на больше-меньше. Но если использовать подход с бинарным состоянием (больше, меньше), то у нас нулевая гипотеза, что вероятность отклонения от среднего в ту или иную сторону равно 0.5. У нас пять событий, все нулевые - соответственно binom.test(x = 0, n =5, p =0.5), близко к значимому, но незначимо
A
И мы кагбэ считаем его измеренным с абсолютной точностью, в то время как на самом деле это всего лишь точечная оценка условного ретеншена по всему человечеству в этот день
PU
Violet
Я бы не думала, а покопалась в процессе
это может быть дорого с точки зрения времени и ресурсов
поэтому и вопрос - пора бить тревогу и направлять аналитика на расследование, что произошло, или нет
поэтому и вопрос - пора бить тревогу и направлять аналитика на расследование, что произошло, или нет
PU
Я бы все-таки смотрел на значения и динамику, а не на больше-меньше. Но если использовать подход с бинарным состоянием (больше, меньше), то у нас нулевая гипотеза, что вероятность отклонения от среднего в ту или иную сторону равно 0.5. У нас пять событий, все нулевые - соответственно binom.test(x = 0, n =5, p =0.5), близко к значимому, но незначимо
ну вот динамика нам говорит - пять дней подряд конверсия ниже, чем была месяц до этого
почему мы можем быть уверены, что у нас ничего не сломалось?
почему мы можем быть уверены, что у нас ничего не сломалось?