GP
DataSource API
Сам ждбсой шли; свой датасорс сделай
Size: a a a
2019 December 25
K
Сам ждбсой шли; свой датасорс сделай
нужно больше V A L U E
2019 December 26
С
эт терадата, там размер строки не больше мега
Господи teradata to Hadoop connector выкачал, сложил, и работай как надо тот же самый spark.read.jdbc только вид сбоку
Либо переноси логику на Терадату и дергай процедуру по jaydebeapi а конечную витрину забирай себе
Либо переноси логику на Терадату и дергай процедуру по jaydebeapi а конечную витрину забирай себе
АЖ
Сюткин
Господи teradata to Hadoop connector выкачал, сложил, и работай как надо тот же самый spark.read.jdbc только вид сбоку
Либо переноси логику на Терадату и дергай процедуру по jaydebeapi а конечную витрину забирай себе
Либо переноси логику на Терадату и дергай процедуру по jaydebeapi а конечную витрину забирай себе
вот второй пункт вполне мысль
поди у той терадаты ресурсов на порядки больше, чем у спарка, который ее пытается выкачать
поди у той терадаты ресурсов на порядки больше, чем у спарка, который ее пытается выкачать
С
вот второй пункт вполне мысль
поди у той терадаты ресурсов на порядки больше, чем у спарка, который ее пытается выкачать
поди у той терадаты ресурсов на порядки больше, чем у спарка, который ее пытается выкачать
Единственное что если терадата продовская то запросы могут висеть в очереди 🤣
С
Ну по крайней мере у нас так
K
Сюткин
Господи teradata to Hadoop connector выкачал, сложил, и работай как надо тот же самый spark.read.jdbc только вид сбоку
Либо переноси логику на Терадату и дергай процедуру по jaydebeapi а конечную витрину забирай себе
Либо переноси логику на Терадату и дергай процедуру по jaydebeapi а конечную витрину забирай себе
он в st_geodata не умеет и блобы больше 64килобайт
K
короче я spark.read просто ZIO в параллели запустил в 100 потоков и оно ускорилось в 100 раз
С
DZ
короче я spark.read просто ZIO в параллели запустил в 100 потоков и оно ускорилось в 100 раз
На одной сессии?
K
DZ
Опять лысый всех обыграл
ZM
Опять лысый всех обыграл
не факт, мож оно в 100 раз быстрее, но кривда читает 100 раз одни и те же данные при этом
DZ
Так вроде ж у него список запросов к тд
С
Ну таблица то одна
С
DZ
Иииии
☭S
val load = queries
.map { x =>
UIO(unsafeExecuteSqlQuery(x.query, source))
}
def unsafeExecuteSqlQuery(query,source) = { .... spark.read.format(jdbcFormat).options(ops).load() }
.map { x =>
UIO(unsafeExecuteSqlQuery(x.query, source))
}
def unsafeExecuteSqlQuery(query,source) = { .... spark.read.format(jdbcFormat).options(ops).load() }
А чем запросы отличаются ? Я, когда нужно было сильно распаллелить чтение из HBase генерил "миллион" префиксов (у меня rowkey - UUID, потому, к примеру, генерил от 00000 до ffffff), делал репартишн и в mapPartitions делал чтение ......
GP
короче я spark.read просто ZIO в параллели запустил в 100 потоков и оно ускорилось в 100 раз
ток там зио не нужно
