Псст, кому стартап?

Ничоси

догадка: идея стартапа - допилить datafusion + weld c векторизацией под спарковские API

Подсткажите плиз, кто ловил такое исключение, куда копать? Гугол отмалчивается.

py4j.protocol.Py4JJavaError: An error occurred while calling o7232.collectToPython. : java.util.NoSuchElementException: key not found: numPartitions

. Причем такое не только при коллекте, но и просто джойны приводят к этому, но не везде, не могу уловить паттерн. Такое происходит на третьем спарке, на втором все ок.

py4j.protocol.Py4JJavaError: An error occurred while calling o7232.collectToPython. : java.util.NoSuchElementException: key not found: numPartitions

Отловил в одном месте. Падает при иннер джойне, а на аутер все окей (левый и правый тоже работают.). При этом фреймы не пустые, если в панду сконвертнуть то нормальный фрейм иннер джойна получается, тоже не пустой. Репартишн не помогает.

Есть подозрение что вы используете pyspark и spark core разных версий

Странно, буду разбираться. Вообще скачал пребилд с офф, и все, ничего не менял.

Не подскажите, если из сорцов соберу должно решить проблему что вы описали?

а писпарк из пребилда или из питоновского скрипта?

все отседа https://spark.apache.org/downloads.html

3.0.1, и пути прописал

+ конфиги запуска (память партиции и тд), внутри больше ничего не ковырял

spark-shell пишет 3.0.1, pyspark.__version__ == 3.0.1, это те корр версии что могли расходиться, или как-то по другому это чекается?

Самое смешное, что я эту ошибку ловлю еще и на aws emr 6.2.0, не может же у них что-то по версиям не стакаться.

может, на 3.0.0 надо откатиться? 🙂

у меня были проблемы когда что то с hive вызываешь
а так работало

Возможно:) Мы тут решили в ногу со временем пойти, обновить питон до 3.8 + все либы (наконец на 1+ панды переехать), спарк до 3.0.1 обновить. А в emr 6.2 стоит 3.7 питон, ну ладно, давайте на нем попробуем, какие-то баги в ходе тестов, провижн нормально не проходит при создании кластера. пакетный менеджер yum не работает, потому что в aws emr 6.2 выпилили питон 2. Что-то все очень не очень. Отбой планам видимо.😞

Да, вы правы, на 3.0.0 нет такой ошибки👍

Всем привет, кто нибудь сталкивался с тем что при использовании sparkling-water как package он не может найти xgboost? Запуская на emr 6.1.0 с 3 спарком и 12 скалой

@pomadchin мамкин бизнесмен