OI
по-факту pickle отсылает с "Cannot serialize socket object", в целом логично
может кто-то извращается с передачей сессии БД между операторами, понимаю что может быть решение в виде упаковки в свой оператор
но у меня может быть например ряд временных таблиц (какие-то параллельно считаются, какие-то последовательно) для достижения конечного результата
и хотелось бы средставами airflow выстраивать зависимости, хотя бы например если расчет какой-то темповой таблицы по середине упал, не нужно было бы заного заполнять те, которые были до нее
Retrieve an XCom value, optionally meeting certain criteria.
TODO: "pickling" has been deprecated and JSON is preferred.
"pickling" will be removed in Airflow 2.0.
Версию 2.0 обещают уже года три как минимум и неизвестно, когда она появится, но если в какой-то момент всё-таки уберут pickle из xcom, всё развалится.
https://airflow.apache.org/docs/stable/_modules/airflow/models/xcom.html