ЕБ
нет, airflow на питоне - это большая система менеджмента задач, с загрузками, связями друг с другом, логами и тд.
ага, именно то что надо
Size: a a a
2020 July 27
AS
)) два противополжных ответа я получил
ЕБ
но и ошибки там можно смотреть
ЕБ
если задача зафейлилсь
AS
а нет, запутался просто
PU
я не работаю с R в таком нагруженном проде, честно говоря
поэтому не знаю, что есть
поэтому не знаю, что есть
ЕБ
ну вот щас стоит вопрос – либо переезжать на питон, либо остатсья на R, но найти инструмент
YS
Евгений Балакловский
ну вот щас стоит вопрос – либо переезжать на питон, либо остатсья на R, но найти инструмент
Перейти на компилируемые языки не вариант?
ЕБ
не вариант
JS
Евгений Балакловский
Кто-то делает дата-пайплайны на R? На питоне есть airflow и luigi. Есть ли какие-то тулзы, но с использованием R? или у кого как это реализовано?
У меня сейчас все скрипты стоят на cron’е и мониторию их через терминал. Понял что не масштабируемо и сложно отслеживать факапы. Хочу услышать чей нибудь опыт
У меня сейчас все скрипты стоят на cron’е и мониторию их через терминал. Понял что не масштабируемо и сложно отслеживать факапы. Хочу услышать чей нибудь опыт
а зачем на R? есть специализированные вещи, та же Pentaho Data Integration, или Talend
а если все же на R - пакет mlr3 c его PipeOps - крутая штука, логирование прикручивайте - и вперед, там вообще сложность только фантазией и оперативкой ограничена
а если все же на R - пакет mlr3 c его PipeOps - крутая штука, логирование прикручивайте - и вперед, там вообще сложность только фантазией и оперативкой ограничена
JS
т.е. пишете свой PipeOp (расширяя подходящий базовый класс) - а он пусть вызывает Ваши скрипты и логирует в какую-то базу данных - профит
JS
потом "рисуете" граф из этих PipeOps - и вуаля, почти airflow на R
АК
Евгений Балакловский
Кто-то делает дата-пайплайны на R? На питоне есть airflow и luigi. Есть ли какие-то тулзы, но с использованием R? или у кого как это реализовано?
У меня сейчас все скрипты стоят на cron’е и мониторию их через терминал. Понял что не масштабируемо и сложно отслеживать факапы. Хочу услышать чей нибудь опыт
У меня сейчас все скрипты стоят на cron’е и мониторию их через терминал. Понял что не масштабируемо и сложно отслеживать факапы. Хочу услышать чей нибудь опыт
Посмотри
drake. Для ML задач есть mlr3.JS
mlr3 для предобработки тоже годится
АК
Вполне годиться.
ЕБ
Интересно. Спасибо за наводку, пойду курить
АК
Евгений Балакловский
ну вот щас стоит вопрос – либо переезжать на питон, либо остатсья на R, но найти инструмент
Опиши конкретный кейс и что требуется, а то абстрактный вброс получишь только абстрактные отписки. Если хочется питон, то не стоит искать лишний повод.
JS
Евгений Балакловский
ну вот щас стоит вопрос – либо переезжать на питон, либо остатсья на R, но найти инструмент
я бы остался на R, но оркестровку сделал бы на спец. инструменте, типа пентахи...
JS
»» Если хочется питон, то не стоит искать лишний повод.
точно )))
точно )))
ЕТ
А возможно, вообще, на R написать API, которое будет принимать на вход датасет, предобрабатывать его, применять к нему заранее настроенную модель и выдавать ответ в json или ином формате? И всё это так, чтобы я мог просто дать образ любому админу, и тот его задеплоил себе на сервер и подвязал вывод API к рисовальщику диаграмм, например.
Я такое уже делал примерно, но там был один поток и я с помощью Артёма демоном просто клал на сервер.
Я такое уже делал примерно, но там был один поток и я с помощью Артёма демоном просто клал на сервер.