Ну зависит от того как вы развернули аерфлоу...

Но я не об этом

А о том, что если в логах нет причины погашения, то либо его гасят как процесс, либо есть другие  логи

Постараюсь ещё внимательно поискать причину в логах. Спасибо!

можно попробовать воркер запускать с уровнем логирования debug, есть опция командной строки

Добро пожаловать в самое дружелюбное комьюнити.

А можете подсказать делаю запускаю два паралельно двух скриптов питона для разных дней, для загрузки с БД1 в БД2, у меня выходить когда их запускаю  паралельно скорость в 2 раза ниже чем когда 1 запускаю, делаю так

import cx_Oracle
import sys

dsn_tns2 = cx_Oracle.makedsn('10.125.122.191', '1521', service_name='tt')
targetConnection = cx_Oracle.connect(user=r'test', password='123', dsn=dsn_tns2,encoding="UTF8")
targetCursor = targetConnection.cursor()
targetCursor.arraysize = 50000

dsn_tns = cx_Oracle.makedsn('10.255.111.81', '1521', service_name='pp')
hh = cx_Oracle.connect(user='test', password='123', dsn=dsn_tns)
sql = "select * from test.test_tab partition (P_20200209) "
src_cursor = hh.cursor()
src_cursor.execute(sql)
while True:
   rec=src_cursor.fetchmany(50000)
   if not rec:
       break
   targetCursor.executemany("insert into test.test_tab values (:1, :2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14,:15,:16,:17,:18,:19,:20,:21)", rec)
   targetConnection.commit()
src_cursor.close()
targetCursor.close()
targetConnection.close()

ну, как бы логично

а можете как то более развернуто

я вообще не понял тест кейса ) опиши подробнее

по идее если у тебя уперлось все в проц или сеть - увеличение количества потоков не даст прироста общей скорости

проблема явно не в airflow, тут много вопросов как к реализации при взаимодействии с бд, так и администрирования самой бд и инфры

у меня есть данные в 1 БД они там в разных таблицах лежат по дням, планирую каждый день по дню партиции для каждой таблицы забирать данные и ложить в подобную таблицу на БД2, кусок кода привел что я хотел запихнуть в разные DAG но когда я запускаю 1 такой процес переливки он занимает к примеру 300 секунд а когда два паралельно приблизительно с одинаковым количеством в дне в таблице то у меня каждый процес сьедает больше в два раза времени чем еслиб я его одного запускал(

ну, все правильно )
я не понимаю - что вызывает удивление

удивление почему у меня при паралели медленей происходят , процессы я расчитывал что скорость не будет меняться

значит они упираются в общий ресурс, который делят

и который не изменился от параллельного запуска

Можно помониторить загрузку базы

мб там в проц или iops упирается