ME
на одном локальный спарк, а на другом подключение к спарку кластерному...
Size: a a a
2021 March 25
RF
всем привет
RF
почему-то таски висят в очереди и не запускаются
RF
хотя пул свободен
RF
RF
RF
подскажите пожалуйста, ни кто с таким не сталкивался?
GB
подскажите пожалуйста, ни кто с таким не сталкивался?
Смотри логи шедулера
RF
Смотри логи шедулера
в логах воркера интересное
ERROR/MainProcess] Task airflow.executors.celery_executor.execute_command[22ac29ec-c054-4f00-ae74-963db41748e8] raised unexpected: OperationalError('(psycopg2.OperationalError│
) FATAL: remaining connection slots are reserved for non-replication superuser connections\n
ERROR/MainProcess] Task airflow.executors.celery_executor.execute_command[22ac29ec-c054-4f00-ae74-963db41748e8] raised unexpected: OperationalError('(psycopg2.OperationalError│
) FATAL: remaining connection slots are reserved for non-replication superuser connections\n
RF
эирфло занял все соединения на постгресе
GB
эирфло занял все соединения на постгресе
Ага, постгря не тянет
RF
но... почему 30 дагов насоздавали 100 коннекшнов?
RF
и почему sql_alchemy_pool_size = 15
не работает
не работает
RF
или я что-то не понимаю и он работает как-то иначе
RF
он должен держать пул
RF
а не создавать 100 соединений
GB
и почему sql_alchemy_pool_size = 15
не работает
не работает
Есть ещё max_overflow в той же части конфига
RF
sql_alchemy_max_overflow = 20
RF
и того 35
RF
на каждый воркер
2 * 35
70
2 * 35
70