Насколько я помню, это ограничение не паркета, а Спарка.
Он не умеет писать Null в numeric-колонки.
Вроде бы это лечится, если сделать cast нулла в IntegerType или в DoubleType

+

О как, будем знать!

Привет! Там в целом только трейс hikari, который расстроен из-за пропавшего Snowflake driver-a 🙁

21/05/25 14:28:20 INFO LineBufferedStream: Caused by: java.lang.ClassNotFoundException: net.snowflake.client.jdbc.SnowflakeDriver
21/05/25 14:28:20 INFO LineBufferedStream:  at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
21/05/25 14:28:20 INFO LineBufferedStream:  at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
21/05/25 14:28:20 INFO LineBufferedStream:  at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
21/05/25 14:28:20 INFO LineBufferedStream:  at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
21/05/25 14:28:20 INFO LineBufferedStream:  at com.zaxxer.hikari.HikariConfig.setDriverClassName(HikariConfig.java:318)
21/05/25 14:28:20 INFO LineBufferedStream:  ... 86 more
21/05/25 14:28:20 INFO LineBufferedStream:

@asm0dey  - может быть имеет смысл попробовать EMR bootstrap action и добавить этот jar Snowflake на каждый запуск EMR кластера? Это в целом нечасто происходит, от EMRа ушел в пользу k8s - но еще иногда нужен

добавить попробуй spark-snowflake

2.9.0-spark_3.1

Он самый плюс какая-то амазоновская сборка - amzn-3

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/images/emr-6.3.0.png

я кстати тож не понял что значит amzn сборки теперь) видать чтото патчат сами

спасибо, попробую! Мне так-то сам коннектор нативный неактуален был для SF, Slick молодец - но пробую 🙂

Slick в 2к21?

хм а зачем ты провайдишь через спарк жарс сноуфлейк и при том собираешь асембли?

почему нельзя в асембли пихнуть все что надо

ну или зачем тогда асмебли собирать

пакетами суй

ну ты понял вопрос надеюсь)

spark.jars/spark.jars.packages попробовал добавить в надежде, что это решит проблему - Lost task 0.0 in stage 1.0 (TID 10) (ip-10-0-2-242.eu-west-1.compute.internal executor 4): java.lang.RuntimeException: Failed to load class of driverClassName net.snowflake.client.jdbc.SnowflakeDriver - но нет (

Хотя в uber jar- он есть -

-rw-r--r--  1 plavreshin  staff   7761 May 25 18:43 net/snowflake/client/jdbc/SnowflakeDriver.class

все так, запихал туда - но что-то не едет 🙁

он как-то до сих пор не подводил и радует что работает как с postgres так и SF почти без напильника 🙂 @pomadchin думаешь стоит посмотреть на нативный коннектор SF-a вместо него?