VS
А то может вы в датагрипе лимит 1000 делаете, а там 100500 лямов записей фетчится в airflow 😂
Size: a a a
2021 May 04
AM
Эирфлоу просто запрос в базу отправляет, не фетчит записи. Типа insert into Table1(...) select ... from Table2 join ....
VS
при инсерте тоже 100500 тонкостей
VS
разбирайтесь, как работать с базой
SK
Индексы есть в таблице?
При массовой вставке это хорошо добавляет времени
При массовой вставке это хорошо добавляет времени
AM
Ну много тонкостей, конечно. Только оба раза идет запуск запроса на стороне базы, как я понимаю.
AM
Да есть! Думаете, индексы не строятся и вывести в консоль план запроса? Мысль...
SK
Я обычно дропаю их перед и создаю заново после
AM
Кстати, мы вот так не делаем. Спасибо за совет!!
AM
Спасибо за ответы. Буду решать проблему, обязательно напишу как решим🙏
P
Проверьте самые базовые метрики: таймауты, квоты на сложность запросов. Если другие запросы к этой базе и с этим коннектом ОК, то явно проблема в том, что уперлись в какие-то лимиты. Может еще ьыть конечно причина в том, что по какой-то причине таблица/бд/итп блоируется.
Если запрос возвращает овердохуя данных и все они пихаются в xcom, то может страдать бд airflow, в которую пишется результат.
Если запрос возвращает овердохуя данных и все они пихаются в xcom, то может страдать бд airflow, в которую пишется результат.
2021 May 05
AS
Всем привет! Хотел спросить по execution_date, это можно понимать как идентификатор Dag run, то есть определенный Dag был запущен в execution_date и execution_date = previous_execution_date + scheduled_interval
Я правильно это понимаю? Потому что много видел в статьях что это только правдиво когда даг не имеет scheduled_interval(scheduled_interval=None), в документации не нашел четкого ответа
Я правильно это понимаю? Потому что много видел в статьях что это только правдиво когда даг не имеет scheduled_interval(scheduled_interval=None), в документации не нашел четкого ответа
ME
Выглядит вроде так. Если нет интервала, даг руками выходит запускать надо?
AS
Если руками то, execution_date указывается тот, который был на момент триггера дага
AS
Можно руками или через оператор который триггерит другой Даг
ME
Дату указать можно
ME
The execution date passed inside the DAG can be specified using the -e argument. The default is the current date in the UTC timezone.
ME
Ну да, если не указать, то текущая
GI
Привет! Можете подсказать для airflow 1.10.15, для того что бы использовать elasticsearch hook, хочу создать коннекшн в airflow UI, какой тип коннекшана правильно будет выбрать? Просто "elasticsearch" нету, когда http ругается что нету атрибута host
ME
Можно записать что-то в хост