N
и что? был ключ (Москва, Хамовники) стал (Москва, Хамовники,199)
Size: a a a
2021 May 13
N
я понимаю смысл сделать 199 разных ключей (Москва, Хамовники,1) (Москва, Хамовники,2) (Москва, Хамовники,3) …(Москва, Хамовники,199). тогда они все на разные воркеры приедут.
ИК
Кринжатина какая-то(
По учебнику должно быть .groupBy(key, rand() * z).agg(…).groupBy(key).agg(…)
По учебнику должно быть .groupBy(key, rand() * z).agg(…).groupBy(key).agg(…)
NN
А, ну да ..
SS
где все синьоры? кто объяснит: ошибка это или глубокий алгоритмический финт?
ИК
глубокая ошибка, наверное. Но синьоров действительно нужно найти!!
N
тут нужны принципалы.
SS
я этот ваш спарк вообще не понимаю. постоянно ищу подвох и хитрую логику в чужом коде... я один такой?
ИК
да что уж тут, надо скопировать этот код, сгенерить пару гигабайт данных с перекосом, и бенчмаркать, что получится
PK
Это ошибочный слайд. Забавно, что ровно неделю назад я его разбирал и обнаружил этот кринж ))
N
он причём на серьезных щщах рассказывает, что вот тут добавится рандомизация и все размажется более лутше. можно было бы подумать, что код горбатый вставили, но голосом тоже говорят «лит колумн».
А
наверно, это говорит о том, что в реально никто размазыванием не занимается
А
есть кто реально за этим следит, вместо подкинуть памяти экзекутору и чуть подождать?)
PK
Не-не, в другой его презентации я уже видел правильный кодец. Он, правда, касался skew join. Уверен, что в этом слайде просто глупая ошибка, которую сделали в спешке.
ИК
ну, если на пару суток зависнет, то да
PK
Так в настоящим skew бывает, что ты ждешь совсем не чуть ))
N
тут вот тоже ошибка. это разные запросы с разным смыслом.
А
вот в тему стар join, было бы удобно, чтобы такие подзапросы преобразовывались бы в физический набор констант для фильтрации факта
ИК
тут вроде же было, что col(«x»).isin() генерит немеряную кучу кода