VS
Size: a a a
2020 December 24
VS
Ну не согласен, что костыль. Логи пишутся-то по дефолту в локальные файлы воркера https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#worker-log-server-port
да, пишутся, и причем тут данная ссылка?
GB
да, пишутся, и причем тут данная ссылка?
В качестве пруфа)
«When you start an airflow worker, airflow starts a tiny web server subprocess to serve the workers local log files to the airflow main web server»
«When you start an airflow worker, airflow starts a tiny web server subprocess to serve the workers local log files to the airflow main web server»
VS
В качестве пруфа)
«When you start an airflow worker, airflow starts a tiny web server subprocess to serve the workers local log files to the airflow main web server»
«When you start an airflow worker, airflow starts a tiny web server subprocess to serve the workers local log files to the airflow main web server»
непонятно только, зачем он нам, если мы как раз и решаем проблему локальных логов и подпроцесса, который отвечает за предоставление логов с воркеров на вебсервер
VS
2.0, конечно, очень круто, особенно шедуллер, но я и так только недавно перевел с 1.9 на 1.10.12, так что я наверное пока подожду еще пару версий)
а мне уже поставили таску на поднятие 2.0 в следующем году 😬
А
а мне уже поставили таску на поднятие 2.0 в следующем году 😬
О, расскажешь потом на что конкретно нужно обратить внимание?) А то, чую, не за горами и моя аналогичная тасочка залетит)
GB
непонятно только, зачем он нам, если мы как раз и решаем проблему локальных логов и подпроцесса, который отвечает за предоставление логов с воркеров на вебсервер
Ок, решение с общим хранилищем, может и не кажется самым изящным, но оно рабочее.
Если воркеры ребутнутся, локальные логи никак не достанешь
Если воркеры ребутнутся, локальные логи никак не достанешь
VS
Ок, решение с общим хранилищем, может и не кажется самым изящным, но оно рабочее.
Если воркеры ребутнутся, локальные логи никак не достанешь
Если воркеры ребутнутся, локальные логи никак не достанешь
Да, это логично, но из коробки есть вариант только S3, но не у всех он есть и не всем он нужен
GB
Тогда остаётся либо писать свой логгер не на s3, либо очень костыльно добавить какой-нибудь localstack (ну или другое self-hosted S3, не знаю других) и складировать туда 🤷🏻♂️
VS
Или же поправить логику работы, чтобы она была корректной...
ИХ
nfs mw вообще топ 👍
VS
Кстати, с сенсорами тоже все весело, там в рамках одного ретрая может раскидываться по нодам...
VS
А в вебке будет вообще пусто, и похоже это потому, что вебсервер не понимает, куда идти
VS
а не, вру, это у нас база что-то тупит похоже
2020 December 25
ИК
Есть у кого нибудь пример Дага, с переносом данных из базы в базу, 1в1? не нашёл в просторах
SG
Илья Китов
Есть у кого нибудь пример Дага, с переносом данных из базы в базу, 1в1? не нашёл в просторах
Так много вопросов, и так мало ответов...
SG
Вы не смогли найти, потому что с такой формулировкой не очень понятно, что надо делать. Просто делать бэкап-рестор, выгрузку в файл, всё в памяти? Всю таблицу разам, по частям, как делить?
Таблица большая или маленькая? Если большая, то без ответа на вышеидущие вопросы ничего у вас не выйдет, если маленькая, то в чём проблема? И т.д.
Таблица большая или маленькая? Если большая, то без ответа на вышеидущие вопросы ничего у вас не выйдет, если маленькая, то в чём проблема? И т.д.