БА
я вот засел смотреть. мы с дата саентистом всё ищем что-то для пайплайнов сложных. От эйрфлоу отказались, больше ничего не нашли пока
А почему airflow не зашёл?
Size: a a a
2021 February 18
PU
я вот засел смотреть. мы с дата саентистом всё ищем что-то для пайплайнов сложных. От эйрфлоу отказались, больше ничего не нашли пока
мы эйрфлоу используем сугубо для запуска скриптов агрегаций для дашбордов
ДВ
често говоря, сложно сказать. посчитали, что проще разрабу кинуть скрипт в крон, чем держать ещё одну сущность примерно для таких же задач
PU
и там просто иерархия дагов, в кнайме именно флоу данных по обработчикам
PU
често говоря, сложно сказать. посчитали, что проще разрабу кинуть скрипт в крон, чем держать ещё одну сущность примерно для таких же задач
при масштабировании это может быть узким местом
у нас в эйрфлоу десятка три скриптов запуска (дагов), каждый из которых дергает с десяток скриптов с запросами и агрегатами
у нас в эйрфлоу десятка три скриптов запуска (дагов), каждый из которых дергает с десяток скриптов с запросами и агрегатами
PU
особенно тяжело будет, когда скрипты будут зависеть друг от друга
IS
Ivan Plyushchenko
Понял, всем спасибо
Будем надеяться, в ближайшем будущем эти процессы упростят
Будем надеяться, в ближайшем будущем эти процессы упростят
то что произошло - это и есть упрощение. Долгое время была гиптеза что без гуя работать с данными тяжело. Но внезапно оказалось, что визивиг подход - не очень. Гуй сложный, передачи данных нет
IP
Да совсем забыл, вероятно KNIME и RapidMiner вместе с Shiny - являются лучшими решениями
Всем спасибо за обсуждение
Всем спасибо за обсуждение
DK
я вот засел смотреть. мы с дата саентистом всё ищем что-то для пайплайнов сложных. От эйрфлоу отказались, больше ничего не нашли пока
Попробуйте targets, это новая инкарнация пакета drake... построен на функциональной парадигме и специально для R с его особенностями
ДВ
Dm Kb
Попробуйте targets, это новая инкарнация пакета drake... построен на функциональной парадигме и специально для R с его особенностями
Спасибо, гляну
DK
Спасибо, гляну
Почему кстати отказались от airflow?
EP
Dm Kb
Попробуйте targets, это новая инкарнация пакета drake... построен на функциональной парадигме и специально для R с его особенностями
О, спасибо за targets.
Этот пакет, оказыается, Eli Lilly поддерживает. Они очень любят идти своим путем и всякие кастомные форматы, но не знал про их потуги с R
Этот пакет, оказыается, Eli Lilly поддерживает. Они очень любят идти своим путем и всякие кастомные форматы, но не знал про их потуги с R
ДВ
Dm Kb
Почему кстати отказались от airflow?
Ну не напрочь отказались. Пока приняли решение всё внутри кликхаусе сделать на его удивительных материализованных вьюхах (они как after insert триггеры работают) и необычных движках таблиц (вроде тех, которые хранят не результаты вычисления агрегатной функции, а промежуточное состояние). А если нужны джоины большие, - пишем р/питон сервисы
DK
О, спасибо за targets.
Этот пакет, оказыается, Eli Lilly поддерживает. Они очень любят идти своим путем и всякие кастомные форматы, но не знал про их потуги с R
Этот пакет, оказыается, Eli Lilly поддерживает. Они очень любят идти своим путем и всякие кастомные форматы, но не знал про их потуги с R
Там вроде главный разраб с говорящей для физиков фамилией Ландау))
ДВ
Dm Kb
Почему кстати отказались от airflow?
У нас просто и так зоопарк систем на 5 человек команды: Кафка, Аэероспайк, Кликхаус, Power BI. И всякие кастомные сервисы между ними. Впихивать куда-то ещё контейнер с эйрфлоу - пока на это нет сил) Хотя может и ошибаемся и будет намного проще. Ни у кого в команде особо опыта с эйрфлоу нет, хотя выглядит он совсем не сложным.
ДВ
Dm Kb
Там вроде главный разраб с говорящей для физиков фамилией Ландау))
И его друг Лифшиц, надеюсь, ещё есть?))
DK
И его друг Лифшиц, надеюсь, ещё есть?))
Да, такое совпадение было бы крайне забавным )))
AS
вообще, очень прикольный тул, я его еще года три назад видел, у меня лид в нем иногда что-то на скорую руку пилит
Да, неплохая тема. Деревья симпатично рисует.
DK
У нас просто и так зоопарк систем на 5 человек команды: Кафка, Аэероспайк, Кликхаус, Power BI. И всякие кастомные сервисы между ними. Впихивать куда-то ещё контейнер с эйрфлоу - пока на это нет сил) Хотя может и ошибаемся и будет намного проще. Ни у кого в команде особо опыта с эйрфлоу нет, хотя выглядит он совсем не сложным.
Ого, хороший такой набор)) чем то схожий с нашим ... вот только мы Postgres используем и похоже, что было бы правильнее перейти на кликхаус т.к. коллеги на скорость выгрузки жалуются((
ДВ
Dm Kb
Ого, хороший такой набор)) чем то схожий с нашим ... вот только мы Postgres используем и похоже, что было бы правильнее перейти на кликхаус т.к. коллеги на скорость выгрузки жалуются((
Подумайте хорошенько. Клик не панацея. Он очень классный, но иногда я скучаю по стандартным реляционкам(