Д
Все привет! Кто-нибудь знает что это и как это побеждать? Падает кодогенерация во время записи уже результата запроса в хдфс
Size: a a a
2021 May 20
Д
Д
Д
Д
Д
При чем есть странное поведение, после стактрейса пишет, что кодогенерация будет отключена для данного плана запроса, потом начинает считать сначала и все повторяется, и так до тех пока вручную не прибить
Д
Думал мб айдишник плана меняется при перезапуске запроса в рамках одной сессии, но нет, везде одинаковый
t
пробовал план отрезать перед записью в хдфс?
t
localCheckpoint там
t
или cache-count
t
какая версия спарка?
t
отключение кодогенерации это там есть такое, да. Если кодогенерация не смогла и упала, можно сделать фейлбек вызов, который будет как UDFка работать емнип
t
то есть если перестанет падать кодогенерация, то и сообщение о том, что она отключена, пропадет
2021 May 21
AK
Всем привет! Не понимаю в чем дело, пытаюсь выгрузить данные из Оракла , вроде все нормально,забирает схему.а дальше когда я хочу сделать какой-нибудь action типа df.show(20,False) выдает —>
.Куда копать?
ClassNotFoundException: oracle.jdbc.driver.OracleDriver
.Куда копать?
R
Нахватает jar с драйвером на воркерах
SS
проверяйте доступность жарника на воркерах
AK
разобрался) просто в /usr/lib/spark/jars/* не лежал нужный jar.всем спасибо!
2021 May 24
I
Всем привет, может кто знает в чем дело. Пытаюсь создать датафрейм из листа, np.array, из датафрейма пандаса и везде ловлю одну и ту же ошибку
AS
dill vs cloudpicke - они не совместимы в последних версиях для 3.6. ставь pickle5 или обновляй питон.
ММ
а где об этом можно почитать?