Size: a a a

R (язык программирования)

2021 January 25

ГД

Григорий Демин... in R (язык программирования)
Yuriy Saraikin
Коллеги, добрый день! вебинары Филиппа подтолкнули к изучению data.table.  Нужно отфильтровать только те  строки, где для всех id переменная dx равна i10.

df <- structure(list(id = c(1L, 2L, 2L, 3L, 3L, 4L, 4L),
dx = c("E70", "I10", "I10", "I10", "J15", "I10", "I10")),  class = "data.frame", row.names = c(NA, -7L))

setDT(df)

вариант 1:
df[, .SD[all(dx == "I10")], by = id]
вариант 2:
df[all(dx == "I10"), .SD, by = id]

не могу понять почему вариант 2 не работает? подскажите
Для i-выражения by не действует, к сожалению. Так что либо создавать переменную заранее, либо как ваш первый способ
источник

YS

Yuriy Saraikin in R (язык программирования)
Григорий Демин
Для i-выражения by не действует, к сожалению. Так что либо создавать переменную заранее, либо как ваш первый способ
Спасибо!
источник

AS

Alexander Semenov in R (язык программирования)
Тут у Карпова из-за парадокса Симпсона когнитивный диссонанс или это какой-то другой статистический спецэффект? https://youtu.be/dFCJysbOJ8c?t=2053
источник

AS

Alexander Semenov in R (язык программирования)
Ну и ещё меня в его докладе смутило то, что он удивляется графику, который я вижу каждый первый раз, когда scatterplot в бигдатке строю. А он его чуть ли не "графиком Карпова" называет.
источник

AS

Alexander Semenov in R (язык программирования)
Речь про вот такой график.
источник

IY

Igor Yakubovskiy in R (язык программирования)
Ну он там скорее для манагеров рассказывал, а не аналитиков
источник

AS

Alexander Semenov in R (язык программирования)
И что? Меня смущает то, что его лично удивляют такие вещи.
источник

AS

Alexander Semenov in R (язык программирования)
В частности эффект, очень похожий на парадокс Симпсона.
источник

ЮМ

Юта Мата Ссс... in R (язык программирования)
Alexander Semenov
Ну и ещё меня в его докладе смутило то, что он удивляется графику, который я вижу каждый первый раз, когда scatterplot в бигдатке строю. А он его чуть ли не "графиком Карпова" называет.
он же там сам стебётся над этим
источник

ЮМ

Юта Мата Ссс... in R (язык программирования)
В курсе на степике он рассказывал про семейство методов «изменения масштаба осей».
Ну и да, как заметили выше, это же преза на «Матемаркетинге», конфе скорее для digital-маркетологов и причастных, чем для статистиков. Так что риторика и подача материала объяснима.
источник

AS

Alexander Semenov in R (язык программирования)
Т.е. человек не спит ночами и строит симуляции в попытках понять вещи, про которые он рассказывал на курсе?
источник

PU

Philipp Upravitelev in R (язык программирования)
Alexander Semenov
Т.е. человек не спит ночами и строит симуляции в попытках понять вещи, про которые он рассказывал на курсе?
это нормально, стоить симуляции. плюс рассказывают на курсе обычно то, что сам понял, все же. в частности, никто не мешает прогнать тезис, про который хочешь рассказать на курсе, на симуляции, чтобы удостовериться в нем.

*это безотносительно темы, доклад на матемаркетинге видел, но вполглаза, ничего интересного для себя не нашел. так как я не согласен с подходом трансформации осей %)
источник

AS

Alexander Semenov in R (язык программирования)
Тогда остаётся вопрос: это его парадокс Симпсона так озадачил или всё же там что-то другое?
источник

AS

Alexander Semenov in R (язык программирования)
Philipp Upravitelev
это нормально, стоить симуляции. плюс рассказывают на курсе обычно то, что сам понял, все же. в частности, никто не мешает прогнать тезис, про который хочешь рассказать на курсе, на симуляции, чтобы удостовериться в нем.

*это безотносительно темы, доклад на матемаркетинге видел, но вполглаза, ничего интересного для себя не нашел. так как я не согласен с подходом трансформации осей %)
А что вы таки имеете предложить взамен?
источник

PU

Philipp Upravitelev in R (язык программирования)
Alexander Semenov
А что вы таки имеете предложить взамен?
всяческий бутстраппинг и монте-карло симуляции, по идее
источник

IY

Igor Yakubovskiy in R (язык программирования)
а причем тут бутстраппинг к регрессии в логарифмах ?
источник

AS

Alexander Semenov in R (язык программирования)
Philipp Upravitelev
всяческий бутстраппинг и монте-карло симуляции, по идее
Их он на докладе упоминал.
источник

PU

Philipp Upravitelev in R (язык программирования)
уважаемые, запись и конспект третьего и заключительного вебинара по data.table. мы разбирали всякие полезные функции, слайсинг колонок при агрегациях, чуть-чуть поговорили про set* и про ключи.

на первой странице есть опрос, про какие пакеты стоит еще делать вебинары - если вам мои вебинары помогают, ответьте, пожалуйста.

точно также, если вы хотите поддержать проект, на первой странице есть форма яндекс-денег :)
https://upravitelev.gitlab.io/r_webinars/index.html
источник

AC

Andrey C. in R (язык программирования)
Alexander Semenov
Тогда остаётся вопрос: это его парадокс Симпсона так озадачил или всё же там что-то другое?
Вроде это не про парадокс Симпсона, а про то как себя ведет шум в малых выборках для этих переменных.
Я далек от маркетинга, но показы и клики очевидно не независимы и не нормально распределены (poisson + conditional poisson? + меняется форма распределения на больших выборках наверняка). Чтобы понять интуитивно, почему CTR отличается, а медиана CTR - нет, надо понять форму их совместного распределения.
источник

М

Машка in R (язык программирования)
Привет привет 🙂 Подскажите, пожалуйста, как красиво разделить датафрейм на массив датафреймов, разделение нужно сделать сразу после каждого ивента
источник