В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 September 02

t

tenKe in Moscow Spark
Mikhail
Привет, чат! Поделитесь опытом кто как в стриминговых джобах обновляет static DataFrame. Есть задача джойнить поток из Кафки с батчевыми данными из БД. При этом желательно БД читать не чаще раза в день, поэтому данные после чтения кешируются в датафрейм. Но как правильно обновлять такой датафрейм без рестарта стриминговой джобы?
streamDf.writeStream.foreachBatch
источник
14:13пожаловаться#1

t

tenKe in Moscow Spark
spark 2.4.0+
источник
14:13пожаловаться#2

t

tenKe in Moscow Spark
и внутри обновляй чо хочешь)
источник
14:13пожаловаться#3

t

tenKe in Moscow Spark
либо останавливай стрим, обновляй свой df и запускай стрим заного с чекпоинта
источник
14:14пожаловаться#4

t

tenKe in Moscow Spark
внутри кода естессно
источник
14:15пожаловаться#5

M

Mikhail in Moscow Spark
Андрей, спасибо!
источник
14:23пожаловаться#6

M

Mikhail in Moscow Spark
До 2.4 foreachBatch нету же, да?
источник
14:24пожаловаться#7

GP

Grigory Pomadchin in Moscow Spark
Mikhail
До 2.4 foreachBatch нету же, да?
ага, новая фича
источник
14:26пожаловаться#8

GP

Grigory Pomadchin in Moscow Spark
https://issues.apache.org/jira/browse/SPARK-24565
источник
14:27пожаловаться#9

G

George in Moscow Spark
источник
15:23пожаловаться#10

G

George in Moscow Spark
источник
15:23пожаловаться#11

G

George in Moscow Spark
Совпадение?
источник
15:23пожаловаться#12

AS

Andrey Sutugin in Moscow Spark
Mikhail
Привет, чат! Поделитесь опытом кто как в стриминговых джобах обновляет static DataFrame. Есть задача джойнить поток из Кафки с батчевыми данными из БД. При этом желательно БД читать не чаще раза в день, поэтому данные после чтения кешируются в датафрейм. Но как правильно обновлять такой датафрейм без рестарта стриминговой джобы?
Можно добавить кастомный листенер, хранить в аккомуляторе последнюю отсечку, и в листенере, если прошло нужное время обновлять кеш
источник
15:30пожаловаться#13

M

Mikhail in Moscow Spark
Andrey Sutugin
Можно добавить кастомный листенер, хранить в аккомуляторе последнюю отсечку, и в листенере, если прошло нужное время обновлять кеш
Листенер будет срабатывать на onQueryProgress()?
источник
15:34пожаловаться#14

M

Mikhail in Moscow Spark
tenKe
либо останавливай стрим, обновляй свой df и запускай стрим заного с чекпоинта
@tenKe , код для рестарта query будет примерно такой? https://www.codepile.net/pile/gEV9YmNa
www.codepile.net
CodePile | Easily Share Piles of Code
{{ description }}
источник
15:40пожаловаться#15

GP

Grigory Pomadchin in Moscow Spark
Mikhail
Листенер будет срабатывать на onQueryProgress()?
да
источник
15:40пожаловаться#16

t

tenKe in Moscow Spark
Mikhail
@tenKe , код для рестарта query будет примерно такой? https://www.codepile.net/pile/gEV9YmNa
www.codepile.net
CodePile | Easily Share Piles of Code
{{ description }}
примерно. Не забудь, что awaitTermination бросается исключениями
источник
15:41пожаловаться#17

M

Mikhail in Moscow Spark
Tathagata Das из Databricks пишет, что оба метода (периодический рестарт и листенер) - норм, но типа с листенером он асинхронный и простоя будет меньше
источник
15:44пожаловаться#18

AS

Andrey Sutugin in Moscow Spark
Mikhail
Листенер будет срабатывать на onQueryProgress()?
Да, уже ответили, так и есть, свои тонкости, но это работает...
источник
20:32пожаловаться#19
2019 September 03

DZ

Dmitry Zuev in Moscow Spark
Коллеги, кто использует k8s spark operator?
Какие есть способы дождаться выполнения джобы(batch) при деплое через helm?
источник
16:50пожаловаться#20