N
Я так понимаю читаться будут только те файлы, что есть в списке в памяти. И настройка эта просто скажет пропустить те файлы, которых нет. Но это не даст зачитать новые файлы. Я говорю о том чтобы читать непосредственно из файловой системы
Size: a a a
2021 June 10
N
Это и будет грязным чтением
A
ну и если у вас файлы изменятся под диском то есть вероятность что все ваши оффсеты пойдут лесом
N
Но опять же это не решение проблемы
A
прочитали заголовок на файле
узнали где его блоки
сделали сплит по нужным офсетам
файл поменялся
вы по старым офсетам начинаете читать и получаете кашу
вы уверены что вам это нужно?
узнали где его блоки
сделали сплит по нужным офсетам
файл поменялся
вы по старым офсетам начинаете читать и получаете кашу
вы уверены что вам это нужно?
ИК
Плюсую, каждое такое решение - это выстрел в ногу, со временем получается пулеметная очередь хД
МК
а можно чуть подробнее про задачу (как таковую) - один "процесс" грузит постоянно из базы (куда?), второй процесс эти загруженные данные анализирует? Как часто процессы запускаются?
ИК
это ещё надо, чтобы имя файла совпало, на остальное спарк мало смотрит, получив FileStatus
A
самое в лоб решение это выгружать на hdfs в хайв
после этого делаем external table/partition с указанием откуда таблица данные берёт
все новые процессы увидят уже новые файлы
старые продолжат читать из старого фолдера
отдельно процесс подчистки дохлых партиций
после этого делаем external table/partition с указанием откуда таблица данные берёт
все новые процессы увидят уже новые файлы
старые продолжат читать из старого фолдера
отдельно процесс подчистки дохлых партиций
A
такой hudi/iceberg на минималках
ПБ
Есть spark процесс, который каждые 5 минут обновляет данные в таблице 1
Есть adhoc запрос которому надо посчитать несколько агрегатов
Есть adhoc запрос которому надо посчитать несколько агрегатов
A
дописывание не уронит спарк
A
так как все старые файлы доступны
МК
таблица - в hive/hdfs?
ПБ
да, в hdfs
ПБ
не хочется hive , можется все на spark сделать ))
A
у вас чисто hdfs без hive как метастора?
AK
Если адхок запрос быстрее отрабатывает, чем 5 минут, то можно его просто в декоратор обернуть 😅
A
кто свой?
МК
и select сделанный из спарка на эту табличку дает то сообщение, с которого все началось (выше было)?