Vendor lock@hardware )

Неудобно выходит, что Moscow Spark #10 будет одновременно с DE or DIE #4

Да сейчас столько ивентов развелось, что я уже забил проверять.

Эвентов для дата инжиров?

Ну и около того, да

Согласен, какой-то канал агрегатора напрашивается. Если кто нибудь знает такой - дайте ссылку

Коллеги, есть способ шарить pipeline model между spark и pyspark?

Мету руками поменял 😬

о, мы как раз готовим доклад по zio

Всем привет, рассылка со ссылкой на Zoom (для самых быстрых) и YouTube live (вообще для всех) Moscow Spark #10 ушла в модерацию TimePad. Надеюсь, что до завтрашнего утра она прилетит всем зарегистрировавшимся! Увидимся завтра!

YouTube live начнется на канале Moscow Spark ровно в 18:30. Приходите сами и друзей зовите https://www.youtube.com/channel/UCb5cNv__wJLSbbc1k7iXXeQ

Всем привет!

мне нужно реализовать следующий флоу:
1) получить сообщения из Kafka топика `raw
2) распарсить их в case class
3) отправить ошибки парсинга в Kafka топик error
4) Сделать reduceByKey для всего что спарсилось
5) Отправить результаты reduce в кафку в токик data
6) commit offset for Kafka topic raw
GOTO (1)


Модель данных (Scala):

sealed trait Message

case class ParsedMessage(...) extends Message
case class ParseError(raw: String, exception: Throwable) extends Message

Я попытался решить проблему двумя способами:
1)Через Spark RDD - не работает потому что после reduceByKey невозможно получить Kafka offset, rdd.asInstanceOf[HasOffsetRanges].offsetRanges падает, потому что после первого же RDD.map{...} из типа RDD теряется связь с кафкой
2)Я попытался прикрутить Structured streaming, в доках обещают что офсеты будут магически комитится самостоятельно, код на Scala:

.f

latMap {
    case raw: RawMessage =>
        implicit val mapperInfo: ProviderKey = ProviderKey(RawMessageParser.name, RawMessageParser.version, 0)

        Try(parse[List[ParsedMessage]](Left(raw.message))) match {
            case Success(msg) =>
                msg
            case Failure(ex) =>
                Seq(ParseError(raw.nxMessage, ex))
        }
}

Но он падает или на компиляции или на запске (зависит от того указывать тип переменной или нет)

foun

d   : org.apache.spark.sql.Dataset[Product with Serializable with Message]
 required: org.apache.spark.sql.Dataset[Message]
Note: Product with Serializable with Message <: Message, but class Dataset is invariant in type T.

Ес

ли вопрос не сюда, то подскажите чат где могут теоретически помочь с данным вопросом

sealed trait Message

case class ParsedMessage(...) extends Message
case class ParseError(raw: String, exception: Throwable) extends Message

latMap {
    case raw: RawMessage =>
        implicit val mapperInfo: ProviderKey = ProviderKey(RawMessageParser.name, RawMessageParser.version, 0)

        Try(parse[List[ParsedMessage]](Left(raw.message))) match {
            case Success(msg) =>
                msg
            case Failure(ex) =>
                Seq(ParseError(raw.nxMessage, ex))
        }
}

d   : org.apache.spark.sql.Dataset[Product with Serializable with Message]
 required: org.apache.spark.sql.Dataset[Message]
Note: Product with Serializable with Message <: Message, but class Dataset is invariant in type T.

Ес

Причем тут офсет?

если в случае с RDD его на закомитить, то после перезапуска всё начнёт читаться с начала

А чем ДС не подходит?

ДС = ?

Датасеты

Если не сложно - дайте пожалуйста менее односложный коментарий, со скидкой на то что я со спарком, всего лищь, второй месяц пытаюсь общаться