EP
тогда это не АБ тест, а просто какие-то бессмысленные манипуляции
почему? М.б. ответ на вопрос о равенстве винрейта в разных группах. У одной он 65%, а у другой 66% - это важное различие или нет?
Size: a a a
2020 September 12
A
почему? М.б. ответ на вопрос о равенстве винрейта в разных группах. У одной он 65%, а у другой 66% - это важное различие или нет?
Важность различий ничего общего со статической значимостью не имеет
AS
В тестах - не бессмысленная эта проверка. Но сравнение на всех юзерах тестом не является.
Вот поэтому я и спрашивал: если половина ВСЕХ посетителей сайта за период видела одно, а другая половина -- другое, в чём (философский) смысл стат. значимости результатов сравнения этих 2х групп.
EP
ну в смысле стат значимое или нет. речь не о magnitude
A
ну в смысле стат значимое или нет. речь не о magnitude
а какая разница, есть или нет, если эти выводы некуда распространить (вся совокупность уже в тесте)?
A
Вот поэтому я и спрашивал: если половина ВСЕХ посетителей сайта за период видела одно, а другая половина -- другое, в чём (философский) смысл стат. значимости результатов сравнения этих 2х групп.
ни в чем, и АБ тестом это называть не надо
ГД
Вот поэтому я и спрашивал: если половина ВСЕХ посетителей сайта за период видела одно, а другая половина -- другое, в чём (философский) смысл стат. значимости результатов сравнения этих 2х групп.
Тут есть момент, что исследуемый результат скорее всего генерируется случайным процессом. И у того процесса есть шум. И хотелось бы знать параметры этого шума, чтобы понять действительно есть разница или это просто случайность.
AS
ни в чем, и АБ тестом это называть не надо
Я, конечно, опрос не проводил, что что-то мне подсказывает, что большинство людей именно так его и понимает/реализует.
AS
Тут есть момент, что исследуемый результат скорее всего генерируется случайным процессом. И у того процесса есть шум. И хотелось бы знать параметры этого шума, чтобы понять действительно есть разница или это просто случайность.
Если перефразировать мой вопрос, то он звучит так: "Если все пользователи сайта за период считаются выборкой, то что тогда является генеральной совокупностью?".
A
Тут есть момент, что исследуемый результат скорее всего генерируется случайным процессом. И у того процесса есть шум. И хотелось бы знать параметры этого шума, чтобы понять действительно есть разница или это просто случайность.
разница действительно есть независимо от механизма порождения данных. Вопрос в причинах этих различий.
ГД
Оценить этот шум вы можете разбив а и б на более мелкие группы и поглядеть, как варьируется тестируемый показатель в рамках одной А и одной Б
ГД
Если он действительно строго одинаковый, то тестировать смысла нет
EP
Если перефразировать мой вопрос, то он звучит так: "Если все пользователи сайта за период считаются выборкой, то что тогда является генеральной совокупностью?".
все пользователи, которые могут зайти на сайт? Видят рекламу, н-р
AS
все пользователи, которые могут зайти на сайт? Видят рекламу, н-р
Вот именно поэтому я и считаю данный вопрос скорее философским.
A
В случае с сайтом, если есть старый дизайн А и новый дизайн Б, нет смысла половине всех юзеров показывать новый дизайн, который может быть хуже (ниже конверсия и т.д.) старого.
A
чтобы так не рисковать, нужен выборочный метод. С другой стороны, если юзеров мало, то и всех за какой-то небольшой период может не хватить, чтобы задетектить различия
AS
К таким сценариям у меня вопросов нет.
ГД
Если перефразировать мой вопрос, то он звучит так: "Если все пользователи сайта за период считаются выборкой, то что тогда является генеральной совокупностью?".
Ну так тут не про обобщение на генеральную совокупность, а про точность измерения скорее. Насколько ваш результат в одной группе изменчив. Представьте, вы термометром меряете температуру за окном. Десять измерений дадут 10 слегка разных значений. На следующий день вы тоже 10 раз померяете. И вам надо понять, изменилась ли температура или она такая же.
ГД
Так и тут - в одной группе 100 пользователей, в другой 100. Вместе составляют генеральную совокупность. Но каждый пользователь ведёт себя по разному.
AS
Так и тут - в одной группе 100 пользователей, в другой 100. Вместе составляют генеральную совокупность. Но каждый пользователь ведёт себя по разному.
Не уверен, что понял...