KL
пытался незадеанониться (сори)
и где поле id ?
это все очень неправильно, для этого запроса.
и такая длина индекса тоже один бессмысленный расход оперативки
Size: a a a
2020 May 14
KL
не только я один хожу в эту табличку. Я и думаю, что мб, стоит сделать табличку поменьше с нужными полями.
DC
а сколько операторов? их наверное мало< 100
надо сделать таблицу MergeTree partition by toYYYYMM(startDate) order by (operator, hotelId,startDate)
надо сделать таблицу MergeTree partition by toYYYYMM(startDate) order by (operator, hotelId,startDate)
KL
а сколько операторов? их наверное мало< 100
надо сделать таблицу MergeTree partition by toYYYYMM(startDate) order by (operator, hotelId,startDate)
надо сделать таблицу MergeTree partition by toYYYYMM(startDate) order by (operator, hotelId,startDate)
да, их всего 12
KL
Спасибо большое за помощь, буду разбираться
VE
Всем привет!
Ай нид хелп.
Переношу спарком данные из hive в clickhouse и натыкаюсь на ошибки.
1) Это, если переносить данные с помощью Java.sql.connection;
"Caused by: java.lang.Throwable: Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: ),(\'main,,,view,,communication.notificationsBell,0,6.8.5,,bx,home,ios,,0,0,Device iPhone10,4; IOS 13.3; SDK 0.1.0,,composer,,,,,,,,,2020-05-10,,,,,,0,1,1:"
2) Это, если через df.write()
Column 49, name: object_marketing_action_id, type: UInt64, parsed text: "0"
ERROR: garbage after UInt64: ".0<TAB><TAB>0<TAB>0<TAB><TAB>0"
Уже по датафрейму прошелся несколько раз и причесал null. Числовые в 0, стринговые в "". Схемы у таблиц совпадают.
Если кто сталкивался, то буду рад любой помощи.
Ай нид хелп.
Переношу спарком данные из hive в clickhouse и натыкаюсь на ошибки.
1) Это, если переносить данные с помощью Java.sql.connection;
"Caused by: java.lang.Throwable: Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: ),(\'main,,,view,,communication.notificationsBell,0,6.8.5,,bx,home,ios,,0,0,Device iPhone10,4; IOS 13.3; SDK 0.1.0,,composer,,,,,,,,,2020-05-10,,,,,,0,1,1:"
2) Это, если через df.write()
Column 49, name: object_marketing_action_id, type: UInt64, parsed text: "0"
ERROR: garbage after UInt64: ".0<TAB><TAB>0<TAB>0<TAB><TAB>0"
Уже по датафрейму прошелся несколько раз и причесал null. Числовые в 0, стринговые в "". Схемы у таблиц совпадают.
Если кто сталкивался, то буду рад любой помощи.
DC
1) это вообще какой-то сон разума -- непонятное безумие
2) у вас почему-то 0.0 вместо 0 в поле с целыми заливается.
3) я бы формировал CSV / TSV спарком и заливал/insert-ил в КХ https://github.com/ClickHouse/clickhouse-jdbc#configurable-send
2) у вас почему-то 0.0 вместо 0 в поле с целыми заливается.
3) я бы формировал CSV / TSV спарком и заливал/insert-ил в КХ https://github.com/ClickHouse/clickhouse-jdbc#configurable-send
VE
Спасибо, попробую через csv / tsv
DA
Всем привет,
есть возможность error логи в sentry отправлять?
есть возможность error логи в sentry отправлять?
2020 May 15
KG
Добрый день! Подскажите что может быть не так в использовании параметров для запросов в clickhouse-client? Даже пример из документации падает с ошибкой. ClickHouse client version 19.8.3.8 (official build).
clickhouse-client --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
Bad arguments: unrecognised option '--param_parName=[1, 2]'
clickhouse-client --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
Bad arguments: unrecognised option '--param_parName=[1, 2]'
MM
Добрый день! Подскажите что может быть не так в использовании параметров для запросов в clickhouse-client? Даже пример из документации падает с ошибкой. ClickHouse client version 19.8.3.8 (official build).
clickhouse-client --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
Bad arguments: unrecognised option '--param_parName=[1, 2]'
clickhouse-client --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
Bad arguments: unrecognised option '--param_parName=[1, 2]'
На версии 20.3.8.53 работает.
clickhouse-client --host clickhouse-server --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
[1,2]
clickhouse-client --version
ClickHouse client version 20.3.8.53 (official build).KS
Добрый день! Подскажите что может быть не так в использовании параметров для запросов в clickhouse-client? Даже пример из документации падает с ошибкой. ClickHouse client version 19.8.3.8 (official build).
clickhouse-client --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
Bad arguments: unrecognised option '--param_parName=[1, 2]'
clickhouse-client --param_parName="[1, 2]" -q "SELECT * FROM table WHERE a = {parName:Array(UInt16)}"
Bad arguments: unrecognised option '--param_parName=[1, 2]'
ну, судя по всему, просто в вашей версии нет этого функционала)
AA
Товарищи, каким образом вы понимаете к какой секции конфиг-файла относится та или иная настройка?
Вот я хочу ограничить потребление памяти, нашёл нужную настройку в документации https://clickhouse.tech/docs/ru/operations/settings/query-complexity/#max-memory-usage-for-all-queries
и куда мне её вписывать? В <yandex>, или в <profiles><default> или куда то ещё?
Вот я хочу ограничить потребление памяти, нашёл нужную настройку в документации https://clickhouse.tech/docs/ru/operations/settings/query-complexity/#max-memory-usage-for-all-queries
и куда мне её вписывать? В <yandex>, или в <profiles><default> или куда то ещё?
AA
Может это есть в доке, а я просто не вижу?
EM
Добрый день
на некоторых митапах упоминалась возможность создания веб-страничек и веб API силами CH (вместо того, чтобы создавать API средствами приложений). А как это правильно называется (если уже доступно), чтобы про это в документации почитать?
на некоторых митапах упоминалась возможность создания веб-страничек и веб API силами CH (вместо того, чтобы создавать API средствами приложений). А как это правильно называется (если уже доступно), чтобы про это в документации почитать?
EM
A
Товарищи, каким образом вы понимаете к какой секции конфиг-файла относится та или иная настройка?
Вот я хочу ограничить потребление памяти, нашёл нужную настройку в документации https://clickhouse.tech/docs/ru/operations/settings/query-complexity/#max-memory-usage-for-all-queries
и куда мне её вписывать? В <yandex>, или в <profiles><default> или куда то ещё?
Вот я хочу ограничить потребление памяти, нашёл нужную настройку в документации https://clickhouse.tech/docs/ru/operations/settings/query-complexity/#max-memory-usage-for-all-queries
и куда мне её вписывать? В <yandex>, или в <profiles><default> или куда то ещё?
Конкретно эта пропертя пишется в профиль
AA
спасибо!
AA
патченный clickhouse-backup
А почему бы PR не сделать?)
l
А почему бы PR не сделать?)
мы это обсуждали, пару месяцев назад в чатике clickhouse-backup
далеко не весь изначальный функционал работает(кое что сломано) и есть некоторые места написанные мной, чья реализация мне не нравится.
далеко не весь изначальный функционал работает(кое что сломано) и есть некоторые места написанные мной, чья реализация мне не нравится.