Size: a a a

2021 April 12

K

KrivdaTheTriewe in Moscow Spark
спарк третий
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну так ты запусти на любом экзекьюторе jfr, запиши профиль и посмотри что происходит
источник

K

KrivdaTheTriewe in Moscow Spark
это оч лоулевельно
источник

K

KrivdaTheTriewe in Moscow Spark
и ничего фундаментально не даст
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Это почему это?
источник

K

KrivdaTheTriewe in Moscow Spark
а что мне jfr даст?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Как раз даст, увидишь где у тебя затыки
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Чтобы что-то оптимизировать надо понять что у тебя тормозит
источник

ПФ

Паша Финкельштейн... in Moscow Spark
У тебя же там флеймчарт. Можно уходить так глубоко или подниматься так высоко, как надо чтобы понять что медленно
источник

K

KrivdaTheTriewe in Moscow Spark
у меня много событий очень процессится
источник

K

KrivdaTheTriewe in Moscow Spark
я получу слишком лоулевельную штуку, которую сложно непосредственно с структурным стримингом связать
источник

K

KrivdaTheTriewe in Moscow Spark
и конкретными параметрами которые можно для структурного стриминга настроить
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Чувак, ты оттуда увидишь какие методы вызываются и трассу к ним
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Не бывает серебряной пули оптимизации
источник

K

KrivdaTheTriewe in Moscow Spark
а ну и у меня не 272
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Тогда async profiler, он на чём угодно заработает
источник

K

KrivdaTheTriewe in Moscow Spark
конечно не бывает)  но мне верхнеуровнево паркаметры потыкать и посомтреть что быстрее будет , не переписывая код
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Какие параметры? Ну количество экзекьюторов и памяти на них и ядер ты можешь и так поьыкать
источник

K

KrivdaTheTriewe in Moscow Spark
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Но да использования вышеназванных профайлеров код писать не надо
источник