Над этим думал, но оказалось, что данные лежат в hive. В нем если не ошибаюсь такого нет

Хватайте изменённые файлы.  Ну и партиции и каталоги в помощь😂

Мне кажется , что обычно кафку ставят , что бы разные таргеты питались одним кормом 😜

добрый день.
подскажите, а какая версия спарка 3+ сейчас наиболее актуальная/стабильная? на которую стоит переезжать?

Триггеры в БД вообще нельзя использовать, это абсолютное зло.

3.1; но емр пока ток 3.0; не успели они

😱  , ну так можно прийти к тому что лучший способ хранения данных это ✏️ и бумага.

Нет. БД отличный способ. Но триггеры-зло.

Без аргументов это выглядит вот так. http://wikireality.ru/wiki/%D0%97%D0%B4%D0%B5%D1%81%D1%8C_%D1%82%D0%B0%D0%BA_%D0%BF%D1%80%D0%B8%D0%BD%D1%8F%D1%82%D0%BE#:~:text=%D0%9F%D1%80%D0%B8%20%D0%BF%D0%BE%D0%BF%D1%8B%D1%82%D0%BA%D0%B5%20%D0%BE%D0%B4%D0%BD%D0%BE%D0%B9%20%D0%B8%D0%B7%20%D0%BE%D0%B1%D0%B5%D0%B7%D1%8C%D1%8F%D0%BD,%D0%BB%D1%8E%D0%B1%D1%83%D1%8E%20%D1%82%D0%BE%D0%B2%D0%B0%D1%80%D0%BA%D1%83%2C%20%D0%BF%D1%8B%D1%82%D0%B0%D1%8E%D1%89%D1%83%D1%8E%D1%81%D1%8F%20%D0%B7%D0%B0%D0%B2%D0%BB%D0%B0%D0%B4%D0%B5%D1%82%D1%8C%20%D0%B1%D0%B0%D0%BD%D0%B0%D0%BD%D0%BE%D0%BC.

Пожалуйте:
-Триггеры делают вашу систему непрозрачной. Десятки других людей могут долго не догадываться, почему происходят те или иные действия. Дебажить и эксплуатировать такое очень противно.
-Триггеры серьёзно просаживают производительность, причём для всех. Какой-то процесс не может сказать "я не хочу использовать триггер". Это делает систему немасштабируемой.
-Триггеры не позволяют откатываться. Вы заапдейтили строку, записали триггером в лог о её изменениях, откатили апдейт-запись в логе остается.

А триггер на откат можно сделать?

хм..  
 я вот про это
https://ru.stackoverflow.com/questions/727571/Асинхронный-триггер
--
стартовать задачу (sp_start_job)
через Service Broker послать (SEND) сообщение службе, которая что-то сделает в ответ на запрос
поставить в какую-либо собственную таблицу-очередь запрос, который может быть обработан отдельным асинхронным процессом
--

Можно и на откат, но откат сам по себе хорош хД

Это же при автономных транзакциях так, сам триггер тут ни при чём, он сделает, как написано

Кто имеет опыт в Spark 3.1 + k8s? Есть ли какой-то способ иметь доступ к логам после закрытия спарк приложения? Понимаю что есть стандартный подход «положить логи подов в эластик», есть ли альтернативы?

Крайне хочется иметь что-то похожее на сетап в Yarn, где логи доступны по кнопке в браузере, но в кубере не понятно как такого добиться

А что, спарк-хистори-сервер нету?

С персистонт стораджем

Там если всё на ярне, то в логах экзекутора ссылка на ярн к логам воркер ноды)

А вот куда ссылка, если ярна нет🤔

Наверно в этом и вопрос