t
поскольку видел один большой WSCG и наивно полагал, что значит, что спарк прям генерирует код для чтения csv и в него пилит все предикаты
Size: a a a
2021 May 04
GP
флинк такой ж старый как спарк)
GP
старее даж
t
а вот х*й
t
t
кстати Гриша
t
я разобрался как у спарка отжимать и выдавать воркеры
t
надо всего лишь сходить в парочку private def через py4j
t
GP
оо вот оно что
GP
А у тебя ещё и петон там был?
GP
а в чем дело было в итоге
t
в том, что обычный метод requestExecutors работает не всегда
t
Там получается трололо - когда ты делаешь requestExecutors, спарк делает pendingExecutors += someNum
t
и потом ты ждешь
t
оно может сразу прорасти
t
а может и через час
t
на пустом ярне
t
и ты такой сидишь на каждом батче стрима дергаешь этот метод, ожидая, что он тебе воркеры добавлеяет
t
а добавляет он только число в переменную)))