GP
Nikolay
Всем привет. На чем тесты для Спарка пишите ?
петон у тебя пиши на петоне, на скале пищи на скале и так далее
Size: a a a
2018 October 11
ZM
петон у тебя пиши на петоне, на скале пищи на скале и так далее
петон - пиши на скале, скала - пиши на скале, джава - уволься
GP
петон - пиши на скале, скала - пиши на скале, джава - уволься
этот вариант тоже норм; ты про Р забыл
ZM
и не вспомню, мне одного раза хватило
2018 October 15
PK
Такой вопрос. Кто-то пытался структурным стриммингом вычитывать из СУБД? Есть какие-то наработки, советы по этому поводу?
2018 October 16
PK
Друзья мои, мы, потихонечку, начинаем готовить Moscow Spark #6. Состоится он, видимо, во второй половине ноября. Когда пройдет, по крайней мере, Highload++. Если у кого-то есть материал, чтобы сделать клевый доклад, жду вас в личку )
2018 October 18
D
Всем привет, кто-то сталкивался с проблемой в спарке - push down predicate(PDP) не работает если таблица была создана Импалой.
Если таблицу создать Спарком или читать паркет файлы напрямую типа spark.read.load.filter то все работает.
Если таблицу создать Спарком или читать паркет файлы напрямую типа spark.read.load.filter то все работает.
D
D
Вот 2 плана для сравнения
PK
А HiveTableScan вообще умеет predicate pushdown?
D
Я не знаю , где то можно почитать об этом? Кассандра например умеет, если таблицу в Кассандре создать
D
Плюс если формат файла ORC то в HiveTableScan секции я вижу PDP
AA
Dima
Всем привет, кто-то сталкивался с проблемой в спарке - push down predicate(PDP) не работает если таблица была создана Импалой.
Если таблицу создать Спарком или читать паркет файлы напрямую типа spark.read.load.filter то все работает.
Если таблицу создать Спарком или читать паркет файлы напрямую типа spark.read.load.filter то все работает.
Может попробовать parquet-tools сравнить файлы?
D
Так это тот же тот же фаил и на него смотрим Импала
D
Тут проблема с метаданными, тк если я добавлю в Импала таблицу свойства (TBLPRPOPERTIES spark.sql.source.provider=parquet ... И еще и схему) то тогда когда я буду читать спарком он будет знать метаданные и б
D
Будет испрльзовать FileScan вместо HiveTableScan
2018 October 19
D
Если интересно то проблема была с параметром spark.sql.hive.convertMetastoreParquet
MV
Переслано от Mitya Volodin
Коллеги, всем привет!
Расскажите, есть ли опыт использования инструментов Data Quality. Типа SAS DQ, IBM Data Quality Server, Informatica DQ, Collibra, Ataccama
Буду признателен за отзывыв, особенно по двум последним
Расскажите, есть ли опыт использования инструментов Data Quality. Типа SAS DQ, IBM Data Quality Server, Informatica DQ, Collibra, Ataccama
Буду признателен за отзывыв, особенно по двум последним
PK
Я тыкался в них, какой-то шлак это все, в итоге на спарке пилим сами