ЕГ
По идее не должно возникнуть вообще проблем
Size: a a a
2021 January 18
K
поясните пожалуйста
АЖ
ты хочешь delete from или drop table?
K
ты хочешь delete from или drop table?
видимо придется делит фром тейбл делать
ПФ
Евгений Глотов
По идее не должно возникнуть вообще проблем
У человека могут быть права на delete, но не на truncate и не на drop же
АЖ
по умолчанию у спарка drop table
K
по умолчанию у спарка drop table
да я видел
ЕГ
У человека могут быть права на delete, но не на truncate и не на drop же
Ааа, блин, с такими тонкостями сложно, вроде нет параметра для того, чтоб он делал delete🤔
AA
Ребят, кто писал спарком в оракал с оверрайтом, там есть возможность так то сделать через делит, а не через транкейт? так как могут на транкейт не дать прав
На сколько я знаю именно delete нет. Легче самому перед записью заделитить.
А
truncate - это права на выполнение ddl, лучше, действительно, создать процедуру на принимающей стороне с truncate внутри, а spark дать права на execute только этой функции
ВК
Всем привет. Подскажите, отправляю задание с помощью spark-submit. При этом в хадупе в списке заданий отображается название отправленного файла (в поле Name). Как то можно произвольно задать имя?
PK
spark-submit —name “My App”
PK
Либо через SparkSession https://spark.apache.org/docs/latest/configuration.html#application-properties
2021 January 19
I
Не подскажите, а batchsize в jdbc ускоряет запись Спарк -> Оракл? Лью 70М строк в одну партицию. Пробовал batchsize 50К, 10К и без этого параметра - заливает за одно и тоже время.
NN
Не подскажите, а batchsize в jdbc ускоряет запись Спарк -> Оракл? Лью 70М строк в одну партицию. Пробовал batchsize 50К, 10К и без этого параметра - заливает за одно и тоже время.
Юзайте fetchsize
I
Юзайте fetchsize
Только fetchsize? Просто fetchsize+batchsize уже пробовал - не помогает.
NN
Только fetchsize? Просто fetchsize+batchsize уже пробовал - не помогает.
Насчёт batchsize не подскажу, но для оракла, насколько я знаю, fetchsize однозначно имеет смысл увеличить, т.к. он по умолчанию низкий (10 вроде)
I
Насчёт batchsize не подскажу, но для оракла, насколько я знаю, fetchsize однозначно имеет смысл увеличить, т.к. он по умолчанию низкий (10 вроде)
Насколько я понял из описания, fetchsize - это когда мы читаем из оракла, а я читаю из хадупа. Все равно спасибо за ответ)
NN
Насколько я понял из описания, fetchsize - это когда мы читаем из оракла, а я читаю из хадупа. Все равно спасибо за ответ)
Оу, тогда сорян
EC
Насчёт batchsize не подскажу, но для оракла, насколько я знаю, fetchsize однозначно имеет смысл увеличить, т.к. он по умолчанию низкий (10 вроде)
Оффтоп. Fetchsize зависит напрямую от размера строки, тупо увеличивать не стоит.