Вот передо мной были все персональные данные клиентов сбербанка, пара терабайт. 2 недели работы по 14 часов. Много кода, очень много баша (на винде через cygwin), немножко построения кластеров вычислений. 0 запросов в базу, потому что файлы - текстовые.