Size: a a a

R (язык программирования)

2020 September 29

ГД

Григорий Демин... in R (язык программирования)
Байкулов Антон
Rебяты, поясните, пожалуйста, за стат.значимость в A/B-тестах.

Цитата:
Так... я конечно не знаток статистических исследований, но где-то читал, что показатель стат.значимости может быть 10%, 5%, 1% и 0.1%
Что соответствует вероятности получить ошибку в выводе.

А если мы говорим об условной вероятности получить верный ответ, то это будет 90%, 95%, 99% и 99.9% соответственно

P.s. или подскажите, где написано понятным языком как в этом разобраться?
"вероятность получить верный ответ" - так не надо говорить. Особенно не надо на собеседованиях
источник

БА

Байкулов Антон... in R (язык программирования)
Григорий Демин
"вероятность получить верный ответ" - так не надо говорить. Особенно не надо на собеседованиях
Чукча не про статистику. Меня даже не пригласят=)
источник

КД

Кирилл Дмитриевич... in R (язык программирования)
Только вот я не помню, какой кнопкой это считается. То ли F-значением, то ли t
источник

S

Stan in R (язык программирования)
F емнип
источник

AS

Alexander Semenov in R (язык программирования)
Григорий Демин
"вероятность получить верный ответ" - так не надо говорить. Особенно не надо на собеседованиях
Я слышал, что если добавить к слову "вероятность" слово "условная", некоторые люди начинают таять =)
источник

S

Stan in R (язык программирования)
Хм
источник

ГД

Григорий Демин... in R (язык программирования)
Alexander Semenov
Я слышал, что если добавить к слову "вероятность" слово "условная", некоторые люди начинают таять =)
Мне на себе проверять не хочется:)
источник

AS

Alexander Semenov in R (язык программирования)
Мне кажется, что если на собесе сообщить точную формулировку AUC, то там не только растаят, но и потекут...
источник

S

Stan in R (язык программирования)
Кстати да
источник

ГД

Григорий Демин... in R (язык программирования)
Байкулов Антон
Rебяты, поясните, пожалуйста, за стат.значимость в A/B-тестах.

Цитата:
Так... я конечно не знаток статистических исследований, но где-то читал, что показатель стат.значимости может быть 10%, 5%, 1% и 0.1%
Что соответствует вероятности получить ошибку в выводе.

А если мы говорим об условной вероятности получить верный ответ, то это будет 90%, 95%, 99% и 99.9% соответственно

P.s. или подскажите, где написано понятным языком как в этом разобраться?
"R в действии" - небольшая хорошая книжка, есть в сети на русском в электронном виде. Всю читать не обязательно, там одна специальная глава про эксперименты
источник

БА

Байкулов Антон... in R (язык программирования)
Григорий Демин
"R в действии" - небольшая хорошая книжка, есть в сети на русском в электронном виде. Всю читать не обязательно, там одна специальная глава про эксперименты
Во, спасибо! *Ушёл образовываться
источник

AS

Alexander Semenov in R (язык программирования)
А, мы про A/B тесты тут. Я-то про p-value.
источник

S

Stan in R (язык программирования)
Полезно в последнее время. Как у меня внутренний срачЪ насчёт всего андана с весовыми параметрами. Нормального пакета с единым функционалом найти не могу, чтобы тебе и кросстабы, и корреляция, и регрессия считалась бы с заданными весами
источник

YS

Yuriy Saraikin in R (язык программирования)
survey посмотрите, но он немного специфический
источник

YS

Yuriy Saraikin in R (язык программирования)
Прежде чем что-то считать нужно задать дизайн выборки
источник

S

Stan in R (язык программирования)
О! Как я не хотел к нему идти :)))
источник

КД

Кирилл Дмитриевич... in R (язык программирования)
Байкулов Антон
Rебяты, поясните, пожалуйста, за стат.значимость в A/B-тестах.

Цитата:
Так... я конечно не знаток статистических исследований, но где-то читал, что показатель стат.значимости может быть 10%, 5%, 1% и 0.1%
Что соответствует вероятности получить ошибку в выводе.

А если мы говорим об условной вероятности получить верный ответ, то это будет 90%, 95%, 99% и 99.9% соответственно

P.s. или подскажите, где написано понятным языком как в этом разобраться?
` a <- c(0, 2, 2, 5, 3, 1,1,4, 6, 5)
b <- c(1, 2, 3, 4, 5, 1, 2, 3, 4, 5)
df <- data.frame(a = a, b = b)
fisher.test(df) `

При запуске кода тебе покажет следующий текст:
p-value = 0.9922
Это значит, что различия между а и b не являются статистически значимыми. Если бы было p-value = 0.032513, то твои выборки значимо отличаются
источник

БА

Байкулов Антон... in R (язык программирования)
Кирилл Дмитриевич
` a <- c(0, 2, 2, 5, 3, 1,1,4, 6, 5)
b <- c(1, 2, 3, 4, 5, 1, 2, 3, 4, 5)
df <- data.frame(a = a, b = b)
fisher.test(df) `

При запуске кода тебе покажет следующий текст:
p-value = 0.9922
Это значит, что различия между а и b не являются статистически значимыми. Если бы было p-value = 0.032513, то твои выборки значимо отличаются
А можно тоже самое но для A/B теста юзеров и конверсий? А то я не могу осилить. Одна запись в моём случае это число юзеров или конверсий, за промежуток времени надо полагать(день или неделя)?
источник

КД

Кирилл Дмитриевич... in R (язык программирования)
У тебя есть два вектора. А и В. В первом у тебя одни показатели конверсии, в другом - другие, после внесения изменений на странице сайта.
источник

БА

Байкулов Антон... in R (язык программирования)
Вектор ибо по дням?
a <- c(0, 2, 2, 5, 3, 1) - число конверсий в А тесте
b <- c(1, 2, 3, 4, 5, 1) - число конверсий в B тесте
с <- c(1, 2, 3, 4, 5, 6) - номера дней
источник