K
ко вообще не хочется трогать
Size: a a a
2021 April 12
ПФ
Ну так и не надо
ПФ
Запустил процесс, подключился к нему на 10 могут async profiler, получил svg'шку и ходишь по ней
K
у меня есть подозрение, что хдфс еще может не тянуть
ПФ
Ну тогда в трассе ты увидишь что всё время у тебя уходит в чтение с hdfs
ПФ
Это можно понять для начала просто сняв несколько раз thread dump.
2021 April 15
АМ
Всем доброе утро, подскажите плиз как правильно пробрасывать драйвер jdbs
что я делаю:
1)копирую драйвер себе в jupyterhub
2)добавляю в настройках спарк сессии.config('spark.jars', './jars/postgresql-42.2.19.jar')
3) пробую
что я делаю:
1)копирую драйвер себе в jupyterhub
2)добавляю в настройках спарк сессии.config('spark.jars', './jars/postgresql-42.2.19.jar')
3) пробую
df.write.format("jdbc") \
.option("url", "my_url") \
.option("dbtable", "my_table") \
.option("user", "me") \
.option("password", "password") \
.save()
4)получаюAn error occurred while calling o2639.save.
: java.sql.SQLException: No suitable driver
АА
Ты не указываешь драйвер в option
АМ
а как это сделать?) я просто неопытный)
АА
Попробуй добавить:
.option(
.option(
"driver", "org.postgresql.Driver")АА
Вообще согласно документации:
The class name of the JDBC driver to use to connect to this URL.
driverThe class name of the JDBC driver to use to connect to this URL.
АМ
большое спасибо помогло
АА
Ребят, могли бы подсказать, как можно избежать/улучшить множественный union?
Работаю с кривой api в которой ответы отличаются из раза в раз, поэтому над ответом делаю преобразования и объединяю в финальный датасет(union’ов > 300). Насколько хуже будет писать промежуточный результат на диск, а потом читать в один датасет?
Работаю с кривой api в которой ответы отличаются из раза в раз, поэтому над ответом делаю преобразования и объединяю в финальный датасет(union’ов > 300). Насколько хуже будет писать промежуточный результат на диск, а потом читать в один датасет?
ПФ
мне звучит норм
e
запрос из одной таблицы ?
АА
Не понял вопрос
АА
А есть ли какие либо методы оптимизации union? Аля clearCache?
e
это 300 разных запросов к разным источникам с разными параметрами
или 300 запросов к одному источнику ?
или 300 запросов к одному источнику ?
АА
Это 1 вариант.
Скажем есть n опросов, в рамках этих опросов есть 5 статусов, для каждого статуса есть пагинация. Каждая страница этой пагинации может отличаться по составу полей.
Скажем есть n опросов, в рамках этих опросов есть 5 статусов, для каждого статуса есть пагинация. Каждая страница этой пагинации может отличаться по составу полей.
АА
И не просто может, а с 70% шансом будет.
Так есть случаи, когда для каждой из 4х страниц api возвращала разные json’ы. С разным количеством полей и с разным уровнем вложенности :D
Так есть случаи, когда для каждой из 4х страниц api возвращала разные json’ы. С разным количеством полей и с разным уровнем вложенности :D