всем привет, есть вопрос по xCom...
SSHOperator-ом я получаю имя файла и хочу его передать в livyOperator в args.
Проблема в том, что {{task_instance.xcom_pull(task_ids='first')}} у меня подставляется как - b'text.txt' .
Можно ли как то избавиться от этой 'b' перед именем файла? Или как то подругому это реализовать?

second =  LivyOperator
 args=["--new_file=hdfs:///xxxx/{{task_instance.xcom_pull(task_ids='first')}}"]

.decode()

Где можно посмотреть мануал для разработки своих сенсеров?

Да можно просто в код любого сенсора посмотреть. Наследуетесь от basesensor и перегружаете метод poke, который должен вернуть булево значение.

Я так и сделал. Но есть несколько проблем, я даже пока не соображу куда копать. Я пишу сенсор для кафки и он почему-то не получает сообщения.   И потом - внутри хука падает соединение с кафкой по количеству запросов. Как в таком случае помечать сенсор как неудачный?

Ну разберитесь обычным скриптом что у вас за проблема с чтением сообщений для начала.
Airflow тут врятли как-то замешан.

Обычным скриптом все нормально отрабатывает