расскажи пожалуйста, как решил. И для чего это нужно?

какие варики смотрел?

это дико интересно звучит

я бы посмотрел в сторону google cloud search, меня 50ТБ как-то пугает

Жесть у них акции стоят

Откуда я 4000$ возьму)

Мб это выгодно сейчас, все хотят купить, а минималка 4к)

ну вот у эппла сплит будет скоро
а стоят они немного

Уже же

Есть много старых данных из кучи систем, наптсаных в разное время, которые бекапились методом дампов бд в SQL. И как вишенка на торте в бд данные затирались. Типа заказ выполнен - долой его из бд. Причем часть приложений нормальная была, без таких глупостей, а часть нет. Все дампы скинуты в один котелок, в котором иногда нужно найти к примеру едрпу контрагента и понять мы вообще имели с ним дела в последние лет 20 или нет. В каком из подразделений, если да - то что делали. Как вишенка на торте часть документов это просто вордовский файлы с актами. Или ещё хуже акты накиданые в Экселе. Вообщем болото из кучи не структурированных данных.

Пока смотрим в сторону еластика и приложения для индексации которое бы делало doc=>txt

Надеюсь нет, а то вон Тесла с Apple сплит сделали - и их колбасит как не в себя. А Амазон не волатильный очень, растёт плавно, падает ступенькой)

очень интересно. Смотрим — это попробовали запустить или просто думаете пока? (Я бы попробовал запустить прямо в лоб и посмотрел, что будет)

блин, тебе же даже вылить эти данные на удаленные серверы арендованные займет херову тучу времени! (50 terabytes) / (1 Gbps) = 4.62962963 days

кайф задача

https://fscrawler.readthedocs.io/en/latest/ видели наверняка? тогда кажется конвертировать не обязательно — он tika https://tika.apache.org/1.24.1/formats.html#Supported_Document_Formats под капотом использует

Да, именно.

У меня друг занимался миграцией данных в яндексе, там прям петабайты)))

мигрировали из private DC в AWS через чемоданчики AWS Snowball, там тоже были какие-то космические размеры данных, но и у амазона цены не дешевые))

парни, у меня тут memory leak в одном из сервисов который запущен в docker-compose
если я сделаю docker stop X; docker start X будут ли какие-то проблемы?

ничего себе

на али куча деталей для этого

и в интернетах

думаю даже криворукий я собрал бы 🙂

ну я не знал, что такое есть вообще