В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4264 membersпожаловаться на группу
2020 September 03

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Руслан
Правильно понимаю, что нужно использовать kafka_format='JSONAsString'? У нас просто версия КХ в которой его ещё нет, и чтобы обновиться, надо точно понять что поможет..
я не знаю. Я не понимаю умеет-ли кафка многострочный json в одну строку записать
обновится? зачем ? докер с любой версией за 30 сек взлетает локально.
источник
20:13пожаловаться#1

DC

Denny Crane [not a Y... in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/pull/11599#issuecomment-645485960
GitHub
Kafka work with formats based on PeekableReadBuffer and other improvements by filimonov · Pull Request #11599 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en
Changelog category (leave one):

Improvement

Changelog entry (a user-readable short description of the cha...
источник
20:14пожаловаться#2

Р

Руслан in ClickHouse не тормозит
Спасибо!
источник
20:19пожаловаться#3

Р

Руслан in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
я не знаю. Я не понимаю умеет-ли кафка многострочный json в одну строку записать
обновится? зачем ? докер с любой версией за 30 сек взлетает локально.
А, ну насчёт многострочности - это для наглядности было, жсоны всегда приходят однострочные. Это что-то меняет?
источник
20:52пожаловаться#4

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Руслан
А, ну насчёт многострочности - это для наглядности было, жсоны всегда приходят однострочные. Это что-то меняет?
тьфу, блин, слов нет.
источник
20:54пожаловаться#5

Р

Руслан in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
тьфу, блин, слов нет.
{"a1": "val1","b2": {"c3": "val3"}}
Всмысле вот так. Сути это вроде не меняет.
источник
21:04пожаловаться#6

SZ

Sergey Zelenskiy in ClickHouse не тормозит
Sergey Zelenskiy
Всем привет! Вопрос такой, при использовнании движка HDFS если у поля типа String указать DEFAULT например str String DEFAULT '!!!DEFAULT!!!’, то при отсутствии ключа при заливке, будет подставлен не тот DEFAULT который указали, а пустаая строка. Собственно вопрос, является ли проблема известной и есть ли какие нибудь варианты обойти это?
Продублирую, мб кто то все-таки встречался и решил это
источник
21:21пожаловаться#7

У

Ухудшанский... in ClickHouse не тормозит
Sergey Zelenskiy
Продублирую, мб кто то все-таки встречался и решил это
заведите Issue на гитхабе
источник
21:24пожаловаться#8

AK

Alexey Kostarev in ClickHouse не тормозит
Доброго времени  суток коллеги!
Можно ли в dictGet() использовать в качестве ключа поле типа UUID
CREATE DICTIONARY IF NOT EXISTS BG.Источник (
 primarykey UUID,
 createtime DateTime,
...
 ) PRIMARY KEY primarykey
SOURCE(ODBC(
...
))
LAYOUT(complex_key_hashed ())
LIFETIME (300)
;

SELECT * FROM Источник LIMIT 1;

┌───────────────────────────primarykey─┬──────────createtime─┬
│ 07053072-31a0-4303-bfb7-a3ef03b356ab │ 2018-10-29 14:37:30 │

Но
select dictGetUUID(Источник,'createtime'. '18434a07-0cdf-4c98-b54a-2f87e99086e6');

Syntax error: failed at position 53 (''18434a07-0cdf-4c98-b54a-2f87e99086e6''):

select dictGetUUID(Источник,'createtime'. '18434a07-0cdf-4c98-b54a-2f87e99086e6');

Expected unsigned integer
источник
22:15пожаловаться#9

l

lnuynxa in ClickHouse не тормозит
Alexey Kostarev
Доброго времени  суток коллеги!
Можно ли в dictGet() использовать в качестве ключа поле типа UUID
CREATE DICTIONARY IF NOT EXISTS BG.Источник (
 primarykey UUID,
 createtime DateTime,
...
 ) PRIMARY KEY primarykey
SOURCE(ODBC(
...
))
LAYOUT(complex_key_hashed ())
LIFETIME (300)
;

SELECT * FROM Источник LIMIT 1;

┌───────────────────────────primarykey─┬──────────createtime─┬
│ 07053072-31a0-4303-bfb7-a3ef03b356ab │ 2018-10-29 14:37:30 │

Но
select dictGetUUID(Источник,'createtime'. '18434a07-0cdf-4c98-b54a-2f87e99086e6');

Syntax error: failed at position 53 (''18434a07-0cdf-4c98-b54a-2f87e99086e6''):

select dictGetUUID(Источник,'createtime'. '18434a07-0cdf-4c98-b54a-2f87e99086e6');

Expected unsigned integer
Да, а в чем проблема?
источник
22:15пожаловаться#10

l

lnuynxa in ClickHouse не тормозит
Alexey Kostarev
Доброго времени  суток коллеги!
Можно ли в dictGet() использовать в качестве ключа поле типа UUID
CREATE DICTIONARY IF NOT EXISTS BG.Источник (
 primarykey UUID,
 createtime DateTime,
...
 ) PRIMARY KEY primarykey
SOURCE(ODBC(
...
))
LAYOUT(complex_key_hashed ())
LIFETIME (300)
;

SELECT * FROM Источник LIMIT 1;

┌───────────────────────────primarykey─┬──────────createtime─┬
│ 07053072-31a0-4303-bfb7-a3ef03b356ab │ 2018-10-29 14:37:30 │

Но
select dictGetUUID(Источник,'createtime'. '18434a07-0cdf-4c98-b54a-2f87e99086e6');

Syntax error: failed at position 53 (''18434a07-0cdf-4c98-b54a-2f87e99086e6''):

select dictGetUUID(Источник,'createtime'. '18434a07-0cdf-4c98-b54a-2f87e99086e6');

Expected unsigned integer
select dictGet(Источник,'createtime',('18434a07-0cdf-4c98-b54a-2f87e99086e6'));

dictGetUUID означает что ты хочешь получить UUID а на самом деле ты запрашиваешь DateTime
источник
22:16пожаловаться#11

AK

Alexey Kostarev in ClickHouse не тормозит
select dictGet(Источник,'createtime',('18434a07-0cdf-4c98-b54a-2f87e99086e6'));

SELECT dictGet(Источник, 'createtime', '18434a07-0cdf-4c98-b54a-2f87e99086e6')


Received exception from server (version 20.7.2):
Code: 43. DB::Exception: Received from localhost:9000. DB::Exception: Illegal type String of third argument of function dictGet, must be UInt64 or tuple(...).
источник
22:17пожаловаться#12

AK

Alexey Kostarev in ClickHouse не тормозит
lnuynxa
select dictGet(Источник,'createtime',('18434a07-0cdf-4c98-b54a-2f87e99086e6'));

dictGetUUID означает что ты хочешь получить UUID а на самом деле ты запрашиваешь DateTime
Ошибся
Конечно же dictGet(...)
источник
22:18пожаловаться#13

l

lnuynxa in ClickHouse не тормозит
Alexey Kostarev
select dictGet(Источник,'createtime',('18434a07-0cdf-4c98-b54a-2f87e99086e6'));

SELECT dictGet(Источник, 'createtime', '18434a07-0cdf-4c98-b54a-2f87e99086e6')


Received exception from server (version 20.7.2):
Code: 43. DB::Exception: Received from localhost:9000. DB::Exception: Illegal type String of third argument of function dictGet, must be UInt64 or tuple(...).
Ну так оберните в tuple, скобочки (либо tuple())
источник
22:18пожаловаться#14

AK

Alexey Kostarev in ClickHouse не тормозит
SELECT dictGet(Источник, 'createtime', tuple('18434a07-0cdf-4c98-b54a-2f87e99086e6'))


Received exception from server (version 20.7.2):
Code: 53. DB::Exception: Received from localhost:9000. DB::Exception: Key type at position 0 does not match, expected UUID, found String.
источник
22:20пожаловаться#15

AK

Alexey Kostarev in ClickHouse не тормозит
Спасибо
Нашел:
select dictGet(Источник,'createtime',tuple(toUUID('18434a07-0cdf-4c98-b54a-2f87e99086e6')));

SELECT dictGet(Источник, 'createtime', tuple(toUUID('18434a07-0cdf-4c98-b54a-2f87e99086e6')))

┌─dictGet(Источник, 'createtime', tuple(toUUID('18434a07-0cdf-4c98-b54a-2f87e99086e6')))─┐
│                                                                    2018-02-13 03:28:16 │
└────────────────────────────────────────────────────────────────────────────────────────┘
источник
22:21пожаловаться#16

l

lnuynxa in ClickHouse не тормозит
Alexey Kostarev
Спасибо
Нашел:
select dictGet(Источник,'createtime',tuple(toUUID('18434a07-0cdf-4c98-b54a-2f87e99086e6')));

SELECT dictGet(Источник, 'createtime', tuple(toUUID('18434a07-0cdf-4c98-b54a-2f87e99086e6')))

┌─dictGet(Источник, 'createtime', tuple(toUUID('18434a07-0cdf-4c98-b54a-2f87e99086e6')))─┐
│                                                                    2018-02-13 03:28:16 │
└────────────────────────────────────────────────────────────────────────────────────────┘
нз, неприятно что не умеет из строчки кастить в UUID
источник
22:22пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
да нафиг тут каст нужен, обычно же поле передается, а у него уже нужный тип, и тяжело вывести что там каст аргумента нужен
источник
22:26пожаловаться#18

l

lnuynxa in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да нафиг тут каст нужен, обычно же поле передается, а у него уже нужный тип, и тяжело вывести что там каст аргумента нужен
Ну тоже верно, хотя вот для совместимости сделали же для WHERE сравнение int и строки
источник
22:28пожаловаться#19
2020 September 04

DK

Dmitry Kozeev in ClickHouse не тормозит
Привет всем. вопрос пытаюсь загрузить данные так :
cat report_labexa_main_requests.csv | clickhouse-client -h 172.20.140.44  --format_csv_delimiter=";" --format_csv_allow_single_quotes=0  --query="INSERT INTO reports.click_report_labexa_main_requests_log FORMAT CSV"
и получаю ошибку через несколько секунд Killed файл на 6млн строк.
Как понять по какой именно причине не загрузилось?
источник
10:31пожаловаться#20