ЕГ
Апрель 2015, то есть в проде почти у никого
Это ещё какая-нибудь версия 1.5 была?)
Size: a a a
2021 March 06
A
Вот версию не помню, первый раз счупал спарк он точно не больше чем 0.8 был :(
ЕГ
Щас столько оптимизаций уже подвезли, а диски стоят на абсолютном нуле, за 5 лет не поменялось совсем нихрена
ЕГ
В итоге обратно в диски упираемся
A
С чего бы это? Ссд под ворк дир, одного мало, поставь 2, 3, хоть рейд собери
A
Вот шафл через диск даже если все в память влазит это уже другой вопрос к самому спарку :)
ЕГ
С чего бы это? Ссд под ворк дир, одного мало, поставь 2, 3, хоть рейд собери
Работал я как-то на кластере с tmp raid ssd...
A
Хотя сейчас с плагинными шафл серверами уже можно лучше делать
ЕГ
У нас больше времени тратилось на замену ссд, чем на вычисления)
ЕГ
Хотя сейчас с плагинными шафл серверами уже можно лучше делать
Вроде в 3 завезли встроенный шафл трекер
ЕГ
Но иногда он проваливает запросы из-за преемпшена
ЕГ
Вот шафл через диск даже если все в память влазит это уже другой вопрос к самому спарку :)
Инмемори вычисления
ЕГ
A
Lightning fast
Spark это не ваш древний MapReduce
Spark это не ваш древний MapReduce
A
И другие сказки нашего города
ИК
Хотя сейчас с плагинными шафл серверами уже можно лучше делать
Расскажи, пожалуйста, что это за плагинные шафл серверы, какие преимущества они дают и какие лучше адоптить?
A
раньше шафл был зашит глубоко в коде
проблема была с кубиком, у него нету возможность запустить yarn shuffle service и убить сам контейнер со спарком, оставив данные для возможности запроса со стороны
поэтому в кубике норм работает динамическое увеличение, но не уменьшение спарк кластера
проблема была с кубиком, у него нету возможность запустить yarn shuffle service и убить сам контейнер со спарком, оставив данные для возможности запроса со стороны
поэтому в кубике норм работает динамическое увеличение, но не уменьшение спарк кластера
A
https://databricks.com/session/sos-optimizing-shuffle-i-o
https://databricks.com/session/cosco-an-efficient-facebook-scale-shuffle-service
https://databricks.com/session_na20/zeus-ubers-highly-scalable-and-distributed-shuffle-as-a-service
поэтому стартануло обсуждение
https://issues.apache.org/jira/browse/SPARK-25299
“а не закидывать ли нам шафл файлы сразу в s3 или на hdfs”
было обсуждение
https://docs.google.com/document/d/1uCkzGGVG17oGC6BJ75TpzLAZNorvrAU3FRd2X-rVHSM/edit#heading=h.btqugnmt2h40
https://databricks.com/session/cosco-an-efficient-facebook-scale-shuffle-service
https://databricks.com/session_na20/zeus-ubers-highly-scalable-and-distributed-shuffle-as-a-service
поэтому стартануло обсуждение
https://issues.apache.org/jira/browse/SPARK-25299
“а не закидывать ли нам шафл файлы сразу в s3 или на hdfs”
было обсуждение
https://docs.google.com/document/d/1uCkzGGVG17oGC6BJ75TpzLAZNorvrAU3FRd2X-rVHSM/edit#heading=h.btqugnmt2h40
A
как-то так
A
то есть работа ещё не закончена, но в сабтасках уже можно глянуть что было сделано в этом направлении