PP
какие бд?
Одна Mssql вторая Posrges
Size: a a a
2020 November 18
L
Друзья, приветствую. Начал знакомство с airflow и интересует следующий вопрос. Как лучше посоветуете реализовать следующую механику:
Есть 2 БД source_db и dest_db.
Надо осуществлять периодический перенос данных из одной в другую, при этом хочется отслеживать появление новых записей с нужной периодичностью в source_db, и при появлении новых записей, осуществлять select этих записей из source_db и insert в dest_db.
Нужно ли обращаться к сенсорам, которые будут опрашивать бд и запускать таск, который уже будет делать выборку строк из source_db, которых еще нет в dest_db. Или можно просто предусмотреть опросы все этих баз в рамках одного таска? Какие best practice существуют в таких ситуациях
Есть 2 БД source_db и dest_db.
Надо осуществлять периодический перенос данных из одной в другую, при этом хочется отслеживать появление новых записей с нужной периодичностью в source_db, и при появлении новых записей, осуществлять select этих записей из source_db и insert в dest_db.
Нужно ли обращаться к сенсорам, которые будут опрашивать бд и запускать таск, который уже будет делать выборку строк из source_db, которых еще нет в dest_db. Или можно просто предусмотреть опросы все этих баз в рамках одного таска? Какие best practice существуют в таких ситуациях
У меня такой же вопрос, 2 postrgres)
Всем добрый вечер)
Всем добрый вечер)
GB
Друзья, приветствую. Начал знакомство с airflow и интересует следующий вопрос. Как лучше посоветуете реализовать следующую механику:
Есть 2 БД source_db и dest_db.
Надо осуществлять периодический перенос данных из одной в другую, при этом хочется отслеживать появление новых записей с нужной периодичностью в source_db, и при появлении новых записей, осуществлять select этих записей из source_db и insert в dest_db.
Нужно ли обращаться к сенсорам, которые будут опрашивать бд и запускать таск, который уже будет делать выборку строк из source_db, которых еще нет в dest_db. Или можно просто предусмотреть опросы все этих баз в рамках одного таска? Какие best practice существуют в таких ситуациях
Есть 2 БД source_db и dest_db.
Надо осуществлять периодический перенос данных из одной в другую, при этом хочется отслеживать появление новых записей с нужной периодичностью в source_db, и при появлении новых записей, осуществлять select этих записей из source_db и insert в dest_db.
Нужно ли обращаться к сенсорам, которые будут опрашивать бд и запускать таск, который уже будет делать выборку строк из source_db, которых еще нет в dest_db. Или можно просто предусмотреть опросы все этих баз в рамках одного таска? Какие best practice существуют в таких ситуациях
Если есть периодичность, и согласны терпеть edge case, когда не обнаружите новые файлы спустя минимальную единицу времени после запуска дага (прождать до переноса чуть меньше периода), то просто пишите идемпотентый DAG.
Внутри соответственно таски, проводящие необходимую синхронизацию
Внутри соответственно таски, проводящие необходимую синхронизацию
PP
Если есть периодичность, и согласны терпеть edge case, когда не обнаружите новые файлы спустя минимальную единицу времени после запуска дага (прождать до переноса чуть меньше периода), то просто пишите идемпотентый DAG.
Внутри соответственно таски, проводящие необходимую синхронизацию
Внутри соответственно таски, проводящие необходимую синхронизацию
Ну а в целом sql сенсор способен отслеживать появление новых записей в таблице?
GB
Ну а в целом sql сенсор способен отслеживать появление новых записей в таблице?
Сенсор слот воркера съест, как ни крути
GB
Там две стратегии запуска вроде: при одной он просто шедулится постоянно (в пределах, заданных расписанием), при другой висит работающим какое-то время просто.
Но могу ошибаться)
Но могу ошибаться)
GB
Проще написать логику синка имхо
M
Ну а в целом sql сенсор способен отслеживать появление новых записей в таблице?
sql сенсор просто запускает любой sql и дальше вызывает функцию на нем, которая возвращает true или false
PP
говорю — всё зависит от того как таблицы сделаны
если инкремент по pk, то просто написать идемпотентный таск, который догружает недостающее
если нужен полноценный cdc, то надо смотреть на конкретный движок
если инкремент по pk, то просто написать идемпотентный таск, который догружает недостающее
если нужен полноценный cdc, то надо смотреть на конкретный движок
Спасибо за совет
2020 November 19
МЖ
Всем привет. Столкнулся со следующей проблемой: при использовании коннектора для ClickHouseHook всплывает следующая ошибка. В коннекторе пробовал прописывать verify=false, пробовал прописывать создание и апдейт SSL сертификата в Dockerfile при деплое докером среды, но все равно всплывает эта же ошибка. Причем в другом модуле, где используется точно такой же хук, но с подключением к другому кластеру кликхауса, хватает просто прописывать создание и апдейт SSL-сертификата в Dockerfile. Есть гипотеза, что что-то не так с настройками аирфлоу именно для моего модуля. Кто-нибудь знает, в чем может быть проблема, или хотя бы в каком направлении стоит дальше копать?
E
Всем привет. Столкнулся со следующей проблемой: при использовании коннектора для ClickHouseHook всплывает следующая ошибка. В коннекторе пробовал прописывать verify=false, пробовал прописывать создание и апдейт SSL сертификата в Dockerfile при деплое докером среды, но все равно всплывает эта же ошибка. Причем в другом модуле, где используется точно такой же хук, но с подключением к другому кластеру кликхауса, хватает просто прописывать создание и апдейт SSL-сертификата в Dockerfile. Есть гипотеза, что что-то не так с настройками аирфлоу именно для моего модуля. Кто-нибудь знает, в чем может быть проблема, или хотя бы в каком направлении стоит дальше копать?
А откуда у вас ClickHouseHook ? что-то самописное?
МЖ
А откуда у вас ClickHouseHook ? что-то самописное?
Кликхаус развернуть на Яндекс.Облаке
E
Кликхаус развернуть на Яндекс.Облаке
в основное ветке Airflow нет такого хука (ClickHouseHook). Откуда вы его взяли?
МЖ
мы импортим airflow-clickhouse-plugin
МЖ
и там появляется хук для кликхауса