Есть очень обобщенный подход к выбору фичей на основе мультиинформации. Я говорю только про дискретный случай (так как для непрерывного там нужны  оценки pdf многомерные, брр). Теоретически, мультиинформация ухватывает зависимости любого вида в наборе фичей.

Я ее скрестил с также очень общим методом оптимизации (ГА).

И это все вроде работает, но статистик тут плачет, потому что оценки МИ точечные и они все растут при увеличении количества фичей, то есть, все фичи дают максимум. А плачет статистик потому, что нет метода вывести доверительные интервалы для МИ как-то аналитически, хотя есть грубые поправки

И весь алгоритм в том, чтобы перебирать поколения кандидатов из произвольного набора фичей, пока не упрешься во временные ограничения

Вы про Mutual information ?

Ее обобщение

шапли насколько я понимаю ещё любят за то что это один из немногих алгоритмов с строгим математическим доказательством эффективности

Я почитаю про него, отстал

Тут есть тоже эффективность, если научиться считать unbiased MI. И также попытка решить задачу избыточно присутствует

На моих синтетических данных, где были как бы размечены важные и неважные фичи, решение было близко к оптимальному, но все равно хуже стандартного GBM Importance. А это уже не то)))

Всем привет! такой вопрос
Есть большой датасет ~100M строк. В датасете есть поле ID (уникальный) и три поля с таймстемпами.

задача  найти наиболее оптимальный по времени работы способ выбрать для каждого ID минимальный таймстемп из трех и положить его в новое поле

пример в лоб

dd1 %>% rowwise()  %>% mutate( min_date=min(timestamp1,timestamp2,timestamp3,na.rm = T))->dd2

через цепочку ifelse и apply работает быстрее. data_table пользуюсь редко - в следующую итерацию напишу (сча считает). Еще из кандидатов parSapply

Пока жду - есть ли какие идеи какой подход будет быстрее?

Я тоже склоняюсь к прагматическому подходу в определении истины.

dd1 %>% rowwise()  %>% mutate( min_date=min(timestamp1,timestamp2,timestamp3,na.rm = T))->dd2

pmin, без rowwise

Спасибо - включил в тест)

data.table[,row.min:=pmin(t1,t2,,t3)] (напишите пожалуйста о разнице в скорости)

Вот, я почитал про Шепли, в приложении к линейным моделям и трактовке предиктов бустинга. Я не очень понял, помимо попытки объяснить предикт вкладом каждого предиктора, как Шепли использовать для выбора набора предикторов? Ясно, что предикторы можно отранжировать, а как выбрать значение отсечки слабых/избыточных?

В дефолтном варианте ни как. Но можно как в боруте докинуть фичи с случайно перемешанными строчками от других колонок. Такие переменные называют теневыми. Если у какой-то из исходных переменных важность ниже чем у теневой, то она объективно не лучше шума

Ага. Спасибо. По сути, сравнение с шумовыми признаками

Ну да, это стандартный подход

Ещё одна мысль по ходу чтения про Шепли. Пишут, что он решает проблему коллинеарности в лин.моделях. Ну, ок, пока не попробую, не ясно, как скоррелированные фичи будут оценены, но, полагаю, низко. Но мысль, вообще, в другом. Коллинеарность вредна только для оценок ст.ошибок коэффициентов, а не самих коэффициентов (afaik). Для того, чтобы просто сделать предсказание, это вообще не важно, тем паче, если регрессия решается градиентным спуском. В этом свете Шепли полезен в том, что делает модель менее переобученной?