вашу Big Dat'у и тут и там показывают)

Теперь понятно, зачем он ту картинку спрашивал)

Всё так )))

Не зря же я картинку искал

А можешь кинуть ссылку в личку на хайрез

BTW, они и для аналитических движков тоже применяются. Там довольно широкий спект фичей в запросах.

,главное иметь хобби , которое поможет отвлечься от ада

Ребят, есть профильный чатик по подбору джавакодеров с желанием убиться в спарк, хадуп и мпп?

Спасиб

Если есть резюме - могу попробовать зареферить, киньте в личку. У нас в конторе обучают джавистов на биг дату

можно мне эту картинку тоже? 😁

Блин, я опять её потерял…

@pklemenkov а можешь закрепить? Мы её постоянно теряем

Добрый день, подскажите пожалуйста, есть задача нужно посчитать одну CPU интенсивную задачу с использованием python библиотеки Rdkit. При подсчете столкнулся с нехваткой мощностей одного компьютера по этому решил использовать PySpark. На данный момент все расчеты используют обычный pandas, multiprocessing pool и саму библиотеку Rdkit. На вход приходит массив строк, на выходе получается 70к числовых фич для каждой строки. Для того чтобы распаралелить это всё я так понял нужно использовать pandas_udf. Собственно вопрос: как написать UDF так, чтобы к спарк датафрему добавлять просчитанный pandas датафрейм или возможно есть другой более эффективный подход?

Заранее спасибо

Что значит добавлять? Ты всегда можешь сделать из пандас датафрейма спарковский и поджойнить два спарковских.

из каждой строки я генерирую много фич и мне эти фичи нужно добавить в датафрейм со строками как отдельные колонки этот процесс я назвал "добавлять"

Мне джоинить нечего, так как фичи создаются из колонки со строчками, я думал сделать что-то аля df.select(pandas_udf_name(col('STRING_COLUMN_NAME')))

Ну так все ровно, ты определяешь pandas_udf, которая в качестве аргументов принимает столбцы твоего спарковского DF, из которых генерятся фичи, а возвращаешь Series, каждый элемент которой содерджит все фичи.