Конечно интересно.

Всем привет!

Приглашаем поучаствовать в русскоязычном MeetUp администраторов экосистемы Hadoop, который пройдет 2 июля 2021г. с 18 до 23 часов.
Организаторы: лаборатория инноватики МФТИ и МТС.

В программе четыре докладчика из МФТИ, МТС, Yandex и Swisscom. Они расскажут как у них живёт Hadoop, какие проблемы возникают при администрировании и как решаются.
С учетом того что Cloudera стала платной, будет особенно интересно послушать про продукт Yandex.Dataproc (это Hadoop от Яндекс.Облака) и про опыт переезда инфраструктуры с Hadoop на Kubernetes.

Приглашаются все желающие! Подробности см. на сайте https://hadoop-admins.ru .

Спасибо, но в моем случае это не работает. Так как падает екзекутор.

интересно, а как вы видите такой мердж, в одной схеме это условно Int, в другой String,  как он должен работать?

Мне нужно не развалится, для того чтобы продолжить обработку схем. Конечно я не буду мержить такие схемы. Но я уже сделал, по файлово собрал схемы ....

Привет! Скажите пожалуйста, есть 2 паралельных процесса загрузки данных. Один является источником другого, и когда они пересекаются, просходит ошибка. В спарке есть возможность грязного чтения?

Это больше зависит от источника, чем от спарка. Что за источники то?

Загрузка данных из бд mssql

Я не спец по mssql, но мне кажется он не позволяет

вот что пишет spark
It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/Data

Может есть материализация в файловом сторадже, первый процесс её формирует, второй читает. Это вполне согласуется со схемой «Один является источником другого». Если они пересекаются, то файлы действительно могут быть обновлены и это должно вызвать ошибку. JDBC для mssql про файлы ничего не напишет

спасибо, собственно и был вопрос как эту ошибку избежать? Из-за того что обновилась 1 строчка, ронять всю обработку не правильно

Вообще, правильно, потому что спарк же не знает точно, надо ему продолжать или нет. InMemoryFileIndex держит файлы в кеше, можно обновить в том числе через df.queryExecution.analyzed.refresh(), при этом индекс будет заново читать файлы. Разумеется, это не во время чтения!

val IGNORE_MISSING_FILES = buildConf("spark.sql.files.ignoreMissingFiles")
 .doc("Whether to ignore missing files. If true, the Spark jobs will continue to run when " +
   "encountering missing files and the contents that have been read will still be returned.")
 .booleanConf
 .createWithDefault(false)
Это из SQLConf, можете выставить в true, но я предупреждаю, что это выстрел в ногу

спасибо, т.е .идея перед второй обработкой, обновить предыдущую таблицу?

Основная идея в том, что эти процессы не должны пересекаться во времени

тек себе идея )
у вас есть транзакционная табличка в которую пишутся данные каждую секунду
и вы раз в час хотите посчитать количество строк. понятно что раз в час процессы пересекутся )

Проще в этом случае читать непосредственно файлы под таблицей

У меня такой таблички нет))
И я сомневаюсь, что причина в таблице БД

Они в любом случае читаются, если таблица из файлов