А
Size: a a a
2021 January 14
PA
это БДшки приложенек
Ну создать репликации там
PA
Не прод
PA
И оттуда в клауд забирать
SG
Всем доброго времени суток!
Ребят, может кто уже пробовал и знает... Каким образом эффективнее выгружать большие таблицы из постгреса? Есть задача перегонять в GCS, но встроенный оператор, увы, вычитывает все в память, что, в случае большого объема данных, может привести к нехорошим последствиям
Ребят, может кто уже пробовал и знает... Каким образом эффективнее выгружать большие таблицы из постгреса? Есть задача перегонять в GCS, но встроенный оператор, увы, вычитывает все в память, что, в случае большого объема данных, может привести к нехорошим последствиям
Скорость не замерял, но думаю, что так будет максимально быстро, если исключить wal-журнал
https://www.postgresqltutorial.com/export-postgresql-table-to-csv-file/
https://www.postgresqltutorial.com/export-postgresql-table-to-csv-file/
А
Скорость не замерял, но думаю, что так будет максимально быстро, если исключить wal-журнал
https://www.postgresqltutorial.com/export-postgresql-table-to-csv-file/
https://www.postgresqltutorial.com/export-postgresql-table-to-csv-file/
вот я и думаю по поводу copy или pg_dump. А не обращал внимание, как оно с памятью работает?
SG
вот я и думаю по поводу copy или pg_dump. А не обращал внимание, как оно с памятью работает?
Увы, нет, доводилось работать лишь как с сервисом поверх копи. Полагаю, что ответ можно найти в доке. Теоретически должна быть возможность задать параллелизм и потребление и прочее
AS
подскажите пожалуйста как строку в темплейте скастовать к листу?
проблема когда я из dag_run.conf['send_to_emails'] достаю airflow походу лист к строке приводит, и все падает((
{ "send_to_emails": [..] }
проблема когда я из dag_run.conf['send_to_emails'] достаю airflow походу лист к строке приводит, и все падает((
{ "send_to_emails": [..] }
EmailOperator(task_id='send_email',
to="{{ dag_run.conf['send_to_emails'] }}", ..)
J
Aleh Sauko
подскажите пожалуйста как строку в темплейте скастовать к листу?
проблема когда я из dag_run.conf['send_to_emails'] достаю airflow походу лист к строке приводит, и все падает((
{ "send_to_emails": [..] }
проблема когда я из dag_run.conf['send_to_emails'] достаю airflow походу лист к строке приводит, и все падает((
{ "send_to_emails": [..] }
EmailOperator(task_id='send_email',
to="{{ dag_run.conf['send_to_emails'] }}", ..)
Не уверен что jinja распаковывает list, попробуйте
{{ dag_run.conf['send_to_emails']|join(', ') }}
{{ dag_run.conf['send_to_emails']|join(', ') }}
Р
Привет, господа.
Обновил квадраты в своём ДАГе, в итоге они за прошлые дни стали белыми. При этом в ДАГе стоит depends_on_past=True. Правильно ли я понимаю, что следующий раз по расписанию он не запустится, тк прошлые инстансы не пробежали? И можно ли что-нибудь сделать, если я не хочу прогонять их за прошлые дни?
Обновил квадраты в своём ДАГе, в итоге они за прошлые дни стали белыми. При этом в ДАГе стоит depends_on_past=True. Правильно ли я понимаю, что следующий раз по расписанию он не запустится, тк прошлые инстансы не пробежали? И можно ли что-нибудь сделать, если я не хочу прогонять их за прошлые дни?
РШ
можно пометить все предыдущие таски успешными
AT
Mark success руками)
AT
Руслан Шарафутдинов
можно пометить все предыдущие таски успешными
привет, Руслан)
РШ
Mark success руками)
приветик)