ИК
и где же собственно spark? ))
я обычно использую petastorm чтобы spark df сконвертить в tf Dataset, а потом через Spark+Horovod задистрибьютить:
https://horovod.readthedocs.io/en/stable/spark_include.html
Size: a a a
2021 April 29
R
ИК
Оо! Мощно
R
хз кстати почему так - хорошо навел на мысль что можно отказаться от каких-то кусков
NN
Конвертится лучше, чем toPandas?)
R
естественно - плюс с картинками toPandas это прям не очень хорошая идея
NN
Не только с картинками)
R
ну да, в целом toPandas это способ стрельнуть в ногу
NN
@sharthZ23 а мы так не пробовали вместо toPandas?
R
насчет обучения на sklearn/xgboost/any-other-typical-python-lib есть два подхода:
- вертикально нарезать - при таком подходе мы делаем groupBy.apply() и внутри apply строим модельку по заданному куску данных - я рассказывал про это на DE or DIE 3
- копировать везде и обучать параллельно от гиперпараметров - тут работает hyperopt+spark как вот тут расписаноhttps://docs.databricks.com/_static/notebooks/hyperopt-spark-mlflow.html
- вертикально нарезать - при таком подходе мы делаем groupBy.apply() и внутри apply строим модельку по заданному куску данных - я рассказывал про это на DE or DIE 3
- копировать везде и обучать параллельно от гиперпараметров - тут работает hyperopt+spark как вот тут расписаноhttps://docs.databricks.com/_static/notebooks/hyperopt-spark-mlflow.html
ДМ
Можно покопать в эту тему. Собственно, я и начинаю)
ДМ
Это что за способ через apply несколько xgboost склеить?
ДМ
Процесс выглядит как воскрешение франкештейна)
R
не не, еще проще - просто по каждому сегменту данных своя модель.
ну типичный пример - есть 10 сегментов данных с разным поведением - для каждого сегмента строим отдельную модельку, в параллель
ну типичный пример - есть 10 сегментов данных с разным поведением - для каждого сегмента строим отдельную модельку, в параллель
PK
Бэггинг называется.
ДМ
Ааа, специфичная штука. У нас скорее задачи выглядят как табличка на 10^6 - 10^8 строк и на 10^3 - 10^4 столбцов, которую надо умудриться в xgboost/lightgbm/catboost впихнуть
ДМ
Беггинг объединен одной целью, а тут прямо ручное разделение задачи на подзадачи. Субоптимальное решение, которое сильно зависит от решаемой задачи
AZ
А может надо просто сделать выборку, с охраняющую свойства исходного датасет виа .sample и учиться любой малой либой?
R
классика ML говорит что для хорошей модельки N (строки) должны быть строго > M (столбцы) (ну как минимум если мы линейное что-то строим)
PK
Ну я думаю построением нескольких моделек дело не ограничвается.