В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2020 October 21

VM

Vladimir Morozov in Moscow Spark
например простой кейс, есть входящий поток с кафки который раскидывается на разные топики, мне надо как-то смотреть сколько куда уходит....
источник
23:35пожаловаться#1

ПФ

Паша Финкельштейн... in Moscow Spark
Vladimir Morozov
например простой кейс, есть входящий поток с кафки который раскидывается на разные топики, мне надо как-то смотреть сколько куда уходит....
не надо ли это с самой кафки мониторить?
источник
23:35пожаловаться#2

K

KrivdaTheTriewe in Moscow Spark
Паша Финкельштейн
не надо ли это с самой кафки мониторить?
это нужно и там и там мониторить
источник
23:37пожаловаться#3

K

KrivdaTheTriewe in Moscow Spark
Vladimir Morozov
например простой кейс, есть входящий поток с кафки который раскидывается на разные топики, мне надо как-то смотреть сколько куда уходит....
статсд+прометеус+графана
источник
23:37пожаловаться#4

VM

Vladimir Morozov in Moscow Spark
KrivdaTheTriewe
статсд+прометеус+графана
есть какой-то плагин в спарк для статсд?
источник
23:39пожаловаться#5

K

KrivdaTheTriewe in Moscow Spark
встроенный
источник
23:41пожаловаться#6
2020 October 22

GP

Grigory Pomadchin in Moscow Spark
KrivdaTheTriewe
встроенный
а что он кстати шлет
источник
00:07пожаловаться#7

K

KrivdaTheTriewe in Moscow Spark
Grigory Pomadchin
а что он кстати шлет
принятно, получено, агрегации вроде даже какие -то
источник
00:07пожаловаться#8

K

KrivdaTheTriewe in Moscow Spark
там в коде можно найти
источник
00:07пожаловаться#9

K

KrivdaTheTriewe in Moscow Spark
но зависит от версии спарка, третий больше шлет, кстати
источник
00:07пожаловаться#10

K

KrivdaTheTriewe in Moscow Spark
Vladimir Morozov
есть какой-то плагин в спарк для статсд?
Едиственное и самое главное, нужно задавать queryName для стрима
источник
00:08пожаловаться#11

VM

Vladimir Morozov in Moscow Spark
KrivdaTheTriewe
Едиственное и самое главное, нужно задавать queryName для стрима
Да это я уже вижу... Что там может null мелькать если не делать ничего
источник
00:28пожаловаться#12

K

KrivdaTheTriewe in Moscow Spark
не, там просто будет каждый рестарт  теряться связь метрик
источник
00:31пожаловаться#13

НК

Николай Крупий... in Moscow Spark
https://t.me/data_events/452
Telegram
Data online events & Moscow meetups
‼️Самое важное в Data Engineers Group‼️
🔹 Дорогие Скаланы! (И не только скаланы, дорогие инженеры!) // Специально для ру сообщества выпросила скидку на Scale By The Bay, с промокодом SUPPORT билеты стоят 30$, регистрируйтесь! https://www.eventbrite.com/e/scale-by-the-bay-tickets-119978213065

🔹 Из особенно важных для нас спикеров: Matei Zaharia(!), Prashant Sharma (CODAIT, the IBM OSS center), David Talby (the CTO of John Snow Labs, with present the Spark NLP library)
источник
10:53пожаловаться#14

G

Gev in Moscow Spark
Может кто сталкивался. ПРоблема при попытке записать данные PostgreSQL. Поток падает из-за перебора количества соединений с базой. Данных много. Все пытаюсь записать одним бачем. Можно ли как то ограничить коичество соединений, или это моно сделать как то на уровне DataFrame.
источник
20:42пожаловаться#15

AA

Aleksandr Aleksandro... in Moscow Spark
Gev
Может кто сталкивался. ПРоблема при попытке записать данные PostgreSQL. Поток падает из-за перебора количества соединений с базой. Данных много. Все пытаюсь записать одним бачем. Можно ли как то ограничить коичество соединений, или это моно сделать как то на уровне DataFrame.
Можно ограничить количество работающих тасок, либо сделать репартитшн на меньшее кол-во партиций перед записью
источник
20:45пожаловаться#16

G

Gev in Moscow Spark
Вероятно скорее правильней использовать coalesce и указать максимально возможное количество соединений?
источник
20:49пожаловаться#17

AA

Aleksandr Aleksandro... in Moscow Spark
Gev
Вероятно скорее правильней использовать coalesce и указать максимально возможное количество соединений?
Ага
источник
20:49пожаловаться#18

AA

Aleksandr Aleksandro... in Moscow Spark
Может коллеги ещё что-то подскажут
источник
20:50пожаловаться#19

G

Gev in Moscow Spark
В общем да. Для контроля количества соединений можно использовать numPartitions для jdbc соединения и оно ограничит количество соединений либо использовать coalesce что по идее тоже самое
источник
21:02пожаловаться#20