да, буду разбираться, спасибо)

Починил. В hosts дич была прописана. Еще вопрос подскажите как вы схему для чтения датафрейма формируете? Я читаю первую строку обычным python с локального файла и потом с готовой схемой читаю весь файл с hdfs уже спарком. Проблема что нужны локальные копии, решение тут либо через спарк одну строку прочесть в hdfs и сделать схему, либо ставить драйвер, чтобы прочесть эту строку через python и также читать с hdfs. Файл корявый поэтому автоматическая схема может криво отработать, необходимо явно её задать. sc.textFile().first не откроет весь файл? Из доки непонятно.

У вас csv?

да

Тогда можно просто spark.read.option("inferSchema", "true").csv("path/to/file")

файл корявенький, у него может быть вся колонка пустая, мне тогда наны нужны, поэтому я явно все (кроме одной) колонки к float привожу. InferSchema по идее некорректно отработает, не?

Можно тогда просто без инферсхемы вручную привести

мне это дороговато показалось? Или все равно быстрее чем через python?

А что дороговато-то?

Каст работает в любом случае

Ну каст типов на каждую колонку

Читается-то строковым образом

окей, видимо переусложнил

Рекомендую почитать, что в инферсхеме под капотом, например, там не кастится в date, только в timestamp

окей гляну, я пока через каст сделал.

Инфер если он как пандасовское автоопределение типов работает, будет медленный, поэтому еще предпочитаю явную схему

И samplingRatio не спасёт, если фреймы разряженные

Если схема не меняется можешь сделать раз инферн, сохранить в json и потом его использовать в качестве схемы

каждый день новая прилетает:(

тут по хорошему надо сам формат данных менять