K
новым датасорсом
Size: a a a
2020 March 30
K
я знаю, кеп
K
Nikolay
1 терабайт в оракле. Ты перекачать, но не быстро. Расскажи какими запросами ты его бомбить будешь. По диапазону rowid? Тут я бы сказал , что сессий не надо много открывать , а то ты его затормозить ).
rowid не численный
N
rowid не численный
По нему можно делать between. Это один из подходов обрабатывать значительный кусок данных, но сначала надо все разбить на диапазоны rowid Он зато тем хорош,что читать по нему легко ораклу ( он сразу знает файл, блок и строку).
K
знаю
K
а как сделать between
K
ну что слева,что справа
K
если rowid не число
GP
он наверн лексикографически умеет?
GP
(но всеравно херня если смысл ровидов другой)
K
он наверн лексикографически умеет?
я вот не знаю, есть ли там лексиграфический порядок
N
а как сделать between
лучше найти готовый запрос. в oracle есть пакет, который сам это умеет делать ,но название его не помню. или вот тут например посмотреть https://clarodba.wordpress.com/2017/06/15/how-to-manually-break-a-full-table-scan-into-ranges-of-rowid/
N
dbms_parallel_execute.create_chunks_by_rowid
K
Nikolay
лучше найти готовый запрос. в oracle есть пакет, который сам это умеет делать ,но название его не помню. или вот тут например посмотреть https://clarodba.wordpress.com/2017/06/15/how-to-manually-break-a-full-table-scan-into-ranges-of-rowid/
пасибо
ИК
Прошу подсказки, выполнение на реальных данных в самом деле печальное.
Ещё раз рассказываю ситуацию: произвольная таблица партиционируется по некотором выражению, я получаю количество файлов в каждой партиции и выполняю функцию percentile_approx. Второй её аргумент - массив процентилей, зависит от числа файлов, то есть, динамический. Но передан может быть только фиксированный литерал. Поэтому я применяю к исходном датафрейму фильтр, выполняю percentile_approx, собираю новый датафрейм из полученных с помощью reduce(_ unión _), и на этом основные сложности заканчиваются.
Основной вопрос: как избавиться от union, сохранив расчёт значений процентилей индивидуальным по каждой партиции?
Смотрел в сторону mapPartitions, но не смог разобраться, как можно вызвать percentile_approx для итератора.
Ещё раз рассказываю ситуацию: произвольная таблица партиционируется по некотором выражению, я получаю количество файлов в каждой партиции и выполняю функцию percentile_approx. Второй её аргумент - массив процентилей, зависит от числа файлов, то есть, динамический. Но передан может быть только фиксированный литерал. Поэтому я применяю к исходном датафрейму фильтр, выполняю percentile_approx, собираю новый датафрейм из полученных с помощью reduce(_ unión _), и на этом основные сложности заканчиваются.
Основной вопрос: как избавиться от union, сохранив расчёт значений процентилей индивидуальным по каждой партиции?
Смотрел в сторону mapPartitions, но не смог разобраться, как можно вызвать percentile_approx для итератора.
ИК
Переслано от Иван Калининский...
Ребята, может еще поможете в одном кейсе: как можно применить функцию percentile_approx, чтобы ее второй параметр: массив процентилей, которым нужно сопоставить значения, был бы динамический в зависимости от значения конкретного поля. Пока что я делаю это опять через union, на больших объемах это может стать печальным.
ИК
Возможно, тоже стоит реализовать свой source?
ИК
Nikolay
dbms_parallel_execute.create_chunks_by_rowid
Это предназначено для внутреннего параллельного выполнения и вряд ли подойдет. Я не смог прикрутить к jdbc, единственное, чего смог добиться - создавать нужное количество csv файлов, чтобы их можно было загрузить в Hadoop, но это был неприемлемый способ, поскольку файлы нужно было передать, не потерять, правильно транслировать информацию о типах данных