GP
День откровений в моску Спарк чяте
Size: a a a
2018 May 19
SK
сам стриминг с Кафкой норм работает, причём хорошо; хз чо за наброс
Вопрос про питхон) есть мнение что стриминг и питхон - непрод, при этом про батч речи не идёт
GP
Питон и прод
SK
Ну с точки зрения стандартного функционала почему нет, например, без удф и тд
SK
В батче
D
сам стриминг с Кафкой норм работает, причём хорошо; хз чо за наброс
работает да через одно место,
https://github.com/apache/spark/blob/434d74e337465d77fa49ab65e2b5461e5ff7b5c7/external/kafka-0-10/src/main/scala/org/apache/spark/streaming/kafka010/KafkaUtils.scala#L200
вот эта штука офигеть как production решение, но вот баг при этом висит дофига времени уже:
https://issues.apache.org/jira/browse/SPARK-19680
dstreams в spark-kafka 0.8 работали стибильней гораздно
https://github.com/apache/spark/blob/434d74e337465d77fa49ab65e2b5461e5ff7b5c7/external/kafka-0-10/src/main/scala/org/apache/spark/streaming/kafka010/KafkaUtils.scala#L200
вот эта штука офигеть как production решение, но вот баг при этом висит дофига времени уже:
https://issues.apache.org/jira/browse/SPARK-19680
dstreams в spark-kafka 0.8 работали стибильней гораздно
PB
вот еще про поддержку скалы 2.12 https://docs.google.com/document/d/1P_wmH3U356f079AYgSsN53HKixuNdxSEvo8nw_tgLgM/edit
GP
я не уверен что оно имеет смысл в том виде в котором сейчас существует (я про этот старый док)
потому что под скалой 2.12 спарк норм себя чувствует (компилится точно); ток валятся определенные тесты
вот ищща для трека прогресса
https://issues.apache.org/jira/browse/SPARK-14220
и вот пр с кложой последний самый; с коментами джейсона (retronym); про него кривда говорил
https://github.com/apache/spark/pull/19675
потому что под скалой 2.12 спарк норм себя чувствует (компилится точно); ток валятся определенные тесты
вот ищща для трека прогресса
https://issues.apache.org/jira/browse/SPARK-14220
и вот пр с кложой последний самый; с коментами джейсона (retronym); про него кривда говорил
https://github.com/apache/spark/pull/19675
ZM
сейчас вопрос больше что с 2.13
ZM
2.12 проще скипнуть
2018 May 22
GP
поддерживает 1.0 (0.10 юзай)
D
1. Поддерживает , должно работать , у Кафки обратная совместимость есть
2. Я эту проблему решил через Кассандру
2. Я эту проблему решил через Кассандру
GP
3. храни в кафке; более того у тебя кафка уже хранит там полследний оффсет для группы в топике
D
Пиши офсеты в базу и вычитывай при старте
GP
^ ну это для большей устойчивости конечно правильный подход.
D
3. храни в кафке; более того у тебя кафка уже хранит там полследний оффсет для группы в топике
Есть куча подводных камней
GP
разумеется)
D
На длительных стримах не работает