K
а как попасть на спарк саммит?
Size: a a a
2020 October 02
A
зрителем или докладчиком?
2020 October 03
K
докладчиком
R
докладчиком
Перед каждым саммитом есть CFP - можно подать заявку, и если она будет одобрена - выступить
2020 October 05
VM
Коллеги, подскажите как через Structured Streaming реазиловать
reduceByKeyAndWindow ?DZ
groupBy
VM
А как в agg потом передать scala функцию? Через RDD просто используется обычный код... А тут не понятно как сделать... Потому что мне нужно не просто sum делать или что-то подобное
DZ
а что нужно?
VM
а что нужно?
По спецефисечкому алгоритму склеить событие из нескольких сообщений...
VM
Тоже не совсем то, потому что идёт сборка только по времени... А это далеко не все по чему мне нужно сгруппировать
DZ
DZ
это пример
DZ
группируй как хош
2020 October 08
2020 October 09
AG
привет, столкнулся с очень странной проблемой: spark dataframe сохраняю в csv и в некоторых местах значения в датафрейме заменяются на имя колонки, если же датафрейм сначала в пандас потом в csv, то все окей, и в hive тоже все нормально, может кто сталкивался с таким? Спарк 2.4, в гугле не гуглится
AG
привет, столкнулся с очень странной проблемой: spark dataframe сохраняю в csv и в некоторых местах значения в датафрейме заменяются на имя колонки, если же датафрейм сначала в пандас потом в csv, то все окей, и в hive тоже все нормально, может кто сталкивался с таким? Спарк 2.4, в гугле не гуглится
ответ на свой вопрос: это битые значения и спарк их именем колонки заменяет, вот параметр за это отчевающий: columnNameOfCorruptRecord – allows renaming the new field having malformed string created by
PERMISSIVE mode. This overrides spark.sql.columnNameOfCorruptRecord. If None is set, it uses the value specified in spark.sql.columnNameOfCorruptRecord.2020 October 12
VM
Всем привет
кто сталкился с
В spark-submit добавлено
кто сталкился с
Caused by: java.lang.ClassNotFoundException: kafka.DefaultSourceВ spark-submit добавлено
--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0 что еще надо сделать что бы заработало?ME
Всем привет
кто сталкился с
В spark-submit добавлено
кто сталкился с
Caused by: java.lang.ClassNotFoundException: kafka.DefaultSourceВ spark-submit добавлено
--packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.0 что еще надо сделать что бы заработало?Должно хватать