K
типа было 100к авге процессинг рейт, стало 800к
Size: a a a
2021 June 29
t
ну.. надо смотреть спаркуи почему так
t
там в разных местах могут быть проблемы
K
я сча уменьшу число ядер до 8 и гляну
K
чтоб исключить кафку саму
t
t
у тя партиций то хватает в кафке?
K
да, там много партиций
t
вообще если вот такой скачок как ты сказал
t
очень похоже, что партиции неравномерно ложаться на воркеры
t
это spark.locality.wait надо в 0 сделать
K
короче там был момент когда было 142 таски из 144 обработано отпут был типа 100 мегов в секунду
а когда 45 экзекьюторов работало, то отпут из кафки был 300 мегов вс секунду
а когда 45 экзекьюторов работало, то отпут из кафки был 300 мегов вс секунду
K
спасибо за соочувствие
t
ну вот эт странно канеш
K
@pklemenkov а что насчет оффлайн московспарка ток привитым?)
GP
яб советовал начать с одной машины и посмотреть чо ей не хватает
K
я сча посомтрю
K
примерно как ты сказал
GP
там если не ясно из уи будет
GP
то глянь или jstack