DZ
Вы удивитесь но и sql движок у них свой. Dremel
Size: a a a
2020 September 18
DZ
Где-то когда-то читал что стриминг в дата флоу millwheel
DZ
MillWheel: Fault-Tolerant Stream Processing at Internet Scale – Google Research
https://research.google/pubs/pub41378/
https://research.google/pubs/pub41378/
2020 September 21
GP
‼️Самое важное в Moscow Spark‼️
🔹 Moscow Spark #10 будет в онлайне. Всем потенциальным докладчикам писать @pklemenkov
🔹 SmartData 2020 CFP https://smartdataconf.ru/callforpapers/ cc @asm0dey
🔹 Moscow Spark #10 будет в онлайне. Всем потенциальным докладчикам писать @pklemenkov
🔹 SmartData 2020 CFP https://smartdataconf.ru/callforpapers/ cc @asm0dey
GP
@pklemenkov го такой же формат как в инжах поддерживать
PK
Еженедельный?
GP
Еженедельный?
как получится)))
PK
Да, я согласен )
GP
я просто про формат пина 😄
PK
Ток в инжах 1000 сообщений в день, а у нас в полгода ))
ПФ
Чатик, подавайтесь и коллегам скажите подаваться! Я в ПК, так что ко мне спокойно можно с вопросами
DZ
Ток в инжах 1000 сообщений в день, а у нас в полгода ))
Полезного примерно равное количество
JF
привет, подскажите, пожалуйста, какая такую ситуацию решить: No more replicas available for rdd - сыпятся в логах. Поставила "spark.maxRemoteBlockSizeFetchToMem": "2147483135". Но все равно отваливаются экзекьютеры с exit кодом 143. Джоба проезжает, но долго. Спасибо!
AS
привет, подскажите, пожалуйста, какая такую ситуацию решить: No more replicas available for rdd - сыпятся в логах. Поставила "spark.maxRemoteBlockSizeFetchToMem": "2147483135". Но все равно отваливаются экзекьютеры с exit кодом 143. Джоба проезжает, но долго. Спасибо!
https://stackoverflow.com/questions/50420874/are-failed-spark-executors-a-cause-for-concern
ищи почему экзекютеры отваливаются
ищи почему экзекютеры отваливаются
JF
https://stackoverflow.com/questions/50420874/are-failed-spark-executors-a-cause-for-concern
ищи почему экзекютеры отваливаются
ищи почему экзекютеры отваливаются
спасибо, гуглила, находила этот вопрос/ответ.
AS
спасибо, гуглила, находила этот вопрос/ответ.
так там в ответе ничего нет про spark.maxRemoteBlockSizeFetchToMem
у меня подобное было когда я замучил эластик запросами, уменьшение кол-ва запросов и многое другое помогло
у меня подобное было когда я замучил эластик запросами, уменьшение кол-ва запросов и многое другое помогло
GP
привет, подскажите, пожалуйста, какая такую ситуацию решить: No more replicas available for rdd - сыпятся в логах. Поставила "spark.maxRemoteBlockSizeFetchToMem": "2147483135". Но все равно отваливаются экзекьютеры с exit кодом 143. Джоба проезжает, но долго. Спасибо!
а посмотри на загрузку кластера; на момент фейла
GP
иногда такое бывает когда машины без памяти или дисков остаются (просто все валится и спарк странные логи плодит)
GP
а когдал таски закнаичваются у тебя все может подтираться
T
привет, подскажите, пожалуйста, какая такую ситуацию решить: No more replicas available for rdd - сыпятся в логах. Поставила "spark.maxRemoteBlockSizeFetchToMem": "2147483135". Но все равно отваливаются экзекьютеры с exit кодом 143. Джоба проезжает, но долго. Спасибо!
143 значит его внешний кто то прибывает можно с ходить на году и посмотреть что там твориться