А какие примерно рекомендации есть на размер партиции по объему на диске? Хотя бы порядок: сотни Мб, Гб, десятки Гб ? Про месячное партиционирование помню, но, я как раз, наоборот, думаю делать квартальное или годовое...
Смысл делать одну партицию больше чем 100ГБ наверно мало в общих случаях. но партиции это больше про логическую организацию. партиции лучше делать исходя из запросов и управления данными.
Дратуте! Есть где-то 100 млн строк. По ним надо посчитать формулу со всеми комбинациями параметров. Комбинаций может быть где-то 150 - 1000. Если делать cross join, то соответственно эти 100 млн умножаются еще на эти 150 - 1000 строк и эта история может перестать пролезать по памяти.
Какие есть варианты? Нужно переходить на операции с массивами? Один из вариков, который приходит на ум помимо массивов - это сгенерить sql, где будут перебираться все эти параметры
Дратуте! Есть где-то 100 млн строк. По ним надо посчитать формулу со всеми комбинациями параметров. Комбинаций может быть где-то 150 - 1000. Если делать cross join, то соответственно эти 100 млн умножаются еще на эти 150 - 1000 строк и эта история может перестать пролезать по памяти.
Какие есть варианты? Нужно переходить на операции с массивами? Один из вариков, который приходит на ум помимо массивов - это сгенерить sql, где будут перебираться все эти параметры