VS
хз, мы такое не делаем и не собираемся делать
Всем привет
Подскажите, пожалуйста, как корректно прописать условие для sqlsensor
Size: a a a
2021 March 19
SK
2021 March 20
EG
товарищи, может у кого есть пример, как воркеров раскидывать по удаленным машинам?
в примерах, которые нашел все воркеры сложены в один compose файл и плодятся на одном сервере
ну или совсем дебри с кубером, которого, я, к сожалению, не знаю
может, что-то рабочее на основе docker swarm имеется?
в примерах, которые нашел все воркеры сложены в один compose файл и плодятся на одном сервере
ну или совсем дебри с кубером, которого, я, к сожалению, не знаю
может, что-то рабочее на основе docker swarm имеется?
GB
товарищи, может у кого есть пример, как воркеров раскидывать по удаленным машинам?
в примерах, которые нашел все воркеры сложены в один compose файл и плодятся на одном сервере
ну или совсем дебри с кубером, которого, я, к сожалению, не знаю
может, что-то рабочее на основе docker swarm имеется?
в примерах, которые нашел все воркеры сложены в один compose файл и плодятся на одном сервере
ну или совсем дебри с кубером, которого, я, к сожалению, не знаю
может, что-то рабочее на основе docker swarm имеется?
Ну у тебя обычные celery worker-ы, которым нужен доступ к питон-коду, очереди и в случае с эирфлоу вроде как точно с бэкендом для результатов.
Запускай, где угодно, главное, чтобы совпадали настройки, ну и воркеры были в той же сети, как и очередь с базой
Запускай, где угодно, главное, чтобы совпадали настройки, ну и воркеры были в той же сети, как и очередь с базой
ME
Вот красивая картинка с коннектами
ME
Не важно, где всё будет, главное, чтобы могло законнектиться
ME
Отсюда
GB
Вот красивая картинка с коннектами
Вот если бы я не мямлил – попал бы в яблочко без вопросов 😂
ME
А на практике у нас пока тоже докер компоуз на 1 машинке 😅
EG
да, это я видел, вопрос, как утилизировать)
когда airflow локально установлен, я понимаю
а если через докер, то не очень, как это сделать без сварма или чего-то подобного
когда airflow локально установлен, я понимаю
а если через докер, то не очень, как это сделать без сварма или чего-то подобного
EG
там же даже сеть между контейнерами по умолчанию не видна с других хостов
ME
Возможно, тут лучше кубер взять? Там это из коробки вроде бы
GB
да, это я видел, вопрос, как утилизировать)
когда airflow локально установлен, я понимаю
а если через докер, то не очень, как это сделать без сварма или чего-то подобного
когда airflow локально установлен, я понимаю
а если через докер, то не очень, как это сделать без сварма или чего-то подобного
Вот похоже на нормальный вариант про swarm https://medium.com/analytics-vidhya/setting-up-airflow-to-run-with-docker-swarms-orchestration-b16459cd03a2
А так вроде кубер самое удобное решение для таких задач. Но я кручу в амазоновском ECS и пока не страдаю от куберпроблем
А так вроде кубер самое удобное решение для таких задач. Но я кручу в амазоновском ECS и пока не страдаю от куберпроблем
ME
Сварм - по сути аналог кубера (если честно, я думал он уже всё)
GB
Сварм - по сути аналог кубера (если честно, я думал он уже всё)
Ну да, он какой-то мертворожденный
EG
Вот похоже на нормальный вариант про swarm https://medium.com/analytics-vidhya/setting-up-airflow-to-run-with-docker-swarms-orchestration-b16459cd03a2
А так вроде кубер самое удобное решение для таких задач. Но я кручу в амазоновском ECS и пока не страдаю от куберпроблем
А так вроде кубер самое удобное решение для таких задач. Но я кручу в амазоновском ECS и пока не страдаю от куберпроблем
спасибо, поковыряю,
похоже, что пора осваивать кубер)
похоже, что пора осваивать кубер)
IL
ок, но как все равно создавать таблицы в мета базе?)
Мб в plugins посмотреть?
СГ
Мб в plugins посмотреть?
Да, сделал уже, но там нужно руками прописывать само создание таблицы, и airflow при запуске трегирит этот скрипт