DZ
Size: a a a
2019 December 25
DZ
вкинь драйвер в класспас
ЕГ
когда он тысячу раз сходит и посмотрит на источник
А спарком всю таблицу качнуть сразу, не?...
ЕГ
Или какое-то общее подмножество данных, достаточное для всех 1000 запросов
K
Евгений Глотов
А спарком всю таблицу качнуть сразу, не?...
не
K
не получится
K
эт терадата, там размер строки не больше мега
K
плюс там каст данных происходит сложный
N
Спарк же все равно через jdbc читает
K
Nikolay
Спарк же все равно через jdbc читает
важно не то что спарк читает, а как база отдает
ЕГ
важно не то что спарк читает, а как база отдает
Качал терабайты из ТД спарком, но вот с некоторыми типами проблемы, и больших строк не было
ЕГ
То есть ТД хранит какой-то текст в поле, но не отдаёт его по ждбц?
ЕГ
Или каким-то обрубком отдаёт?
K
лимит в 64кб на чтение блоба и слоба в терадате
K
я обошел его суперширокими вьюхами
N
важно не то что спарк читает, а как база отдает
Скуп тоже через jdbc
K
скуп не работает)
K
как только начинаются блобы
GP
мне к сожалению нужно генерировать запросы к jdbc самому, но на 1000 запросах я тупо полтора часа драйвер жду
а ты генерируй не на драйвере, зачем тебе его ждать?
K
а ты генерируй не на драйвере, зачем тебе его ждать?
DataSource API