Мне вот всегда было интересно, действительно ли в подобных задачах нельзя переложить все на базу данных? Например, задачи типа линейной регрессии методом наименьших квадратов решаются на уровне SQL обычными аналитическими функциями, и для них и 10 терабайт информации переварить не проблема, во всяком случае аналогичный объем оперативки не потребуется.