вcем привет! что делать с ворнингом в спарк стриминге-

WARN streaming.ProcessingTimeExecutor: Current batch is falling behind. The trigger interval is 15000 milliseconds, but spent 17817 milliseconds

выключить, чтобы глаза не мазолил

так и сделаю

Это не может быть изза того что мощностей не хватает в положенное время переварить окно?(просто мысля -  сам работал с флинком больше)

Ок,спасибо Andrew!)

не за что - возможно еще гдето ботлнек изза этого отставание -  у нас было что не успевали данные из кафки отпроцессить

Ну что, мне кажется настало время очередного Moscow Spark. Тем более @fediq подкинул заманчивый доклад из Яндекса. Короче, объявляется call for talks, присылайте ваши темы мне в личку!

Ребят, могли бы подсказать, есть ли какие либо методики тестирования нового кластера?
Интересует тест производительности и корректности работы спарка

запустить свои етлки. проверить, что они работают. не очень долго. запустить саентологов. собрать от них жалобы.

раскройте что вы понимаете под "производительностью" и "корректностью", есть у вас понимание типовых профилей нагрузки (штатная, пиковая) и каких SLA вам нужно достигать под данными нагрузками (перцентили задержек ответов, длительности работы стриминговых сервисов и т.д.)

так-то тема очень интересная! вот бы расшевелить коллег на предмет поделиться своим опытом тестирования производительности

мне кажется любые синтетические тесты не имеют смысла. вот залил ты power plant dataset, погонял на нем тестовые запросы, все типа норм. как это гарантирует или коррелирует с тем, что продакшон ето будет работать в заданное время?

Для сравнения баз между собой используют tpc-ds бенчмарк

в олтп системах тестируют до отказа, чтобы узнать предел возможностей. И штатную нагрузку на много часов, чтобы определить провисания со временем

Я понял, что зашел не с той стороны. Я ранее не занимался подобными вещами, поэтому какие метрики как правило используются при тестировании кластера?
В первоначальном вопросе под "производительностью" понималась скорость работы при типовой нагрузке, а так же как выше косвенно подсказали, какие синтетические тесты можно использовать для сравнения скорости на нынешнем кластере и целевом.
Под "корректностью" подразумевалась стабильность работы самого spark развернутого на кластере, есть ли какие либо "моменты", которые должны быть предусмотрены, что бы при дальнейшей эксплуатации не возникло фатальных сбоев.

Ну так что, личка моя пуста. Все на хайлоаде что ли? )

судя по погоде, на даче в огороде

ну хотя бы даты понятны теперь

Если мы в онлайне, то про даты договоримся. Главное, чтоб контент был