Size: a a a

ClickHouse не тормозит

2021 March 18

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Aleh Sauko
Всем привет)
Не подымается кх, подскажите пожалуйста куда капать?

2021.03.18 11:33:27.734584 [ 283 ] {} <Fatal> BaseDaemon: ########################################
2021.03.18 11:33:27.734750 [ 283 ] {} <Fatal> BaseDaemon: (version 20.8.11.17 (official build), build id: 043CBA0C5D760D9A) (from thread 88) (no query) Received signal Segmentation fault (11)
2021.03.18 11:33:27.734839 [ 283 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
2021.03.18 11:33:27.734915 [ 283 ] {} <Fatal> BaseDaemon: Stack trace: 0x164ca9b0 0x1646cb0d 0x163e821b 0x16038e7d 0x16039fe4 0x155611cd 0x1558415e 0x160140e7 0x16014b79 0x15717c29 0x157180b2 0x157181e2 0xe65fba7 0xe65e093 0x7f4a8cb32609 0x7f4a8ca48293
2021.03.18 11:33:27.735055 [ 283 ] {} <Fatal> BaseDaemon: 3. DB::JSONEachRowRowInputFormat::readPrefix() @ 0x164ca9b0 in /usr/bin/clickhouse
2021.03.18 11:33:27.735161 [ 283 ] {} <Fatal> BaseDaemon: 4. DB::IRowInputFormat::generate() @ 0x1646cb0d in /usr/bin/clickhouse
2021.03.18 11:33:27.735247 [ 283 ] {} <Fatal> BaseDaemon: 5. DB::ISource::work() @ 0x163e821b in /usr/bin/clickhouse
2021.03.18 11:33:27.735326 [ 283 ] {} <Fatal> BaseDaemon: 6. ? @ 0x16038e7d in /usr/bin/clickhouse
2021.03.18 11:33:27.735432 [ 283 ] {} <Fatal> BaseDaemon: 7. DB::KafkaBlockInputStream::readImpl() @ 0x16039fe4 in /usr/bin/clickhouse
2021.03.18 11:33:27.735566 [ 283 ] {} <Fatal> BaseDaemon: 8. DB::IBlockInputStream::read() @ 0x155611cd in /usr/bin/clickhouse
2021.03.18 11:33:27.735660 [ 283 ] {} <Fatal> BaseDaemon: 9. DB::copyData(DB::IBlockInputStream&, DB::IBlockOutputStream&, std::__1::atomic<bool>*) @ 0x1558415e in /usr/bin/clickhouse
2021.03.18 11:33:27.735758 [ 283 ] {} <Fatal> BaseDaemon: 10. DB::StorageKafka::streamToViews() @ 0x160140e7 in /usr/bin/clickhouse
2021.03.18 11:33:27.735843 [ 283 ] {} <Fatal> BaseDaemon: 11. DB::StorageKafka::threadFunc() @ 0x16014b79 in /usr/bin/clickhouse
2021.03.18 11:33:27.735927 [ 283 ] {} <Fatal> BaseDaemon: 12. DB::BackgroundSchedulePoolTaskInfo::execute() @ 0x15717c29 in /usr/bin/clickhouse
2021.03.18 11:33:27.736011 [ 283 ] {} <Fatal> BaseDaemon: 13. DB::BackgroundSchedulePool::threadFunction() @ 0x157180b2 in /usr/bin/clickhouse
2021.03.18 11:33:27.736093 [ 283 ] {} <Fatal> BaseDaemon: 14. ? @ 0x157181e2 in /usr/bin/clickhouse
2021.03.18 11:33:27.736181 [ 283 ] {} <Fatal> BaseDaemon: 15. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0xe65fba7 in /usr/bin/clickhouse
2021.03.18 11:33:27.736264 [ 283 ] {} <Fatal> BaseDaemon: 16. ? @ 0xe65e093 in /usr/bin/clickhouse
2021.03.18 11:33:27.736427 [ 283 ] {} <Fatal> BaseDaemon: 17. start_thread @ 0x9609 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
2021.03.18 11:33:27.736522 [ 283 ] {} <Fatal> BaseDaemon: 18. clone @ 0x122293 in /usr/lib/x86_64-linux-gnu/libc-2.31.so
Можно временно убрать в строну файлик .sql с таблицей-кафка
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Otabek Μansurov
Я пока таким образом вставляю 1 строку в таблицу:

$ echo '{"moscow":"russia"}' | curl 'http://localhost:8123/?query=INSERT%20INTO%20test%20FORMAT%20JSONEachRow' --data-binary @-

А больше 1 строк данных через цикл.
Не совсем понятно какая структура у вас за такой вставкой. По колонке на каждую пару?
Вот так что ли?
clickhouse-client -nm --query '
CREATE TABLE test11
(
   `moscow` String,
   `berlin` String
)
ENGINE = MergeTree
ORDER BY moscow
';


echo '{"moscow":"russia"}' | curl 'http://localhost:8123/?query=INSERT%20INTO%20test11%20FORMAT%20JSONEachRow' --data-binary @-
clickhouse-client --query "select * from test11 format Vertical"
Row 1:
──────
moscow: russia
berlin:


Возможно вы хотели что то вроде этого?
clickhouse-client -nm --query '
CREATE TABLE test12
(
   `capital_city` String,
   `country` String
)
ENGINE = MergeTree
ORDER BY country
';

data='[
   {"moscow":"russia"},
   {"berlin":"germany"}
]
'
echo "$data"|jq -c '.[]|to_entries|{capital_city:.[0].key,country:.[0].value}'|curl 'http://localhost:8123/?query=INSERT%20INTO%20test12%20FORMAT%20JSONEachRow' --data-binary @-
clickhouse-client --query "select * from test12 format Vertical"
Row 1:
──────
capital_city: berlin
country:      germany

Row 2:
──────
capital_city: moscow
country:      russia
источник

Otabek Μansurov in ClickHouse не тормозит
Константин Трофимов
Не совсем понятно какая структура у вас за такой вставкой. По колонке на каждую пару?
Вот так что ли?
clickhouse-client -nm --query '
CREATE TABLE test11
(
   `moscow` String,
   `berlin` String
)
ENGINE = MergeTree
ORDER BY moscow
';


echo '{"moscow":"russia"}' | curl 'http://localhost:8123/?query=INSERT%20INTO%20test11%20FORMAT%20JSONEachRow' --data-binary @-
clickhouse-client --query "select * from test11 format Vertical"
Row 1:
──────
moscow: russia
berlin:


Возможно вы хотели что то вроде этого?
clickhouse-client -nm --query '
CREATE TABLE test12
(
   `capital_city` String,
   `country` String
)
ENGINE = MergeTree
ORDER BY country
';

data='[
   {"moscow":"russia"},
   {"berlin":"germany"}
]
'
echo "$data"|jq -c '.[]|to_entries|{capital_city:.[0].key,country:.[0].value}'|curl 'http://localhost:8123/?query=INSERT%20INTO%20test12%20FORMAT%20JSONEachRow' --data-binary @-
clickhouse-client --query "select * from test12 format Vertical"
Row 1:
──────
capital_city: berlin
country:      germany

Row 2:
──────
capital_city: moscow
country:      russia
Я решил проблему всё работает без переноса строки в виде json-а как вверху сказал @den_crane
источник

Otabek Μansurov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Без переводов строки и массив строк должен работать
👍 Спасибо
источник

RB

Rodion Baskakov in ClickHouse не тормозит
Господа, подскажите, что может быть не так с общением Clickhouse и Zookeeper? Настроил 3 docker-контейнера с zookeeper на разных серверах. Подключил в качестве сервисов в контейнеры с шардами Clickhouse и указал узлы zookeeper в конфигурации. Теперь при попытке выполнять запросы в Clickhouse получаю следующие сообщения:

Received exception from server (version 20.12.5):
Code: 999. DB::Exception: Received from localhost:9000. DB::Exception: All connection tries failed while connecting to ZooKeeper. nodes: 10.42.193.66:2181, 10.42.173.130:2181, 10.42.245.74:2181
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.12.5.14 (official build)), 10.42.193.66:2181
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.12.5.14 (official build)), 10.42.173.130:2181
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.12.5.14 (official build)), 10.42.245.74:2181



Перерыл весь интернет по этим текстам ошибок — ничего не нашёл 🙁
Что я делаю не так?
источник

AS

Aleh Sauko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Можно временно убрать в строну файлик .sql с таблицей-кафка
там много таблиц с движком кафка и много схем...

я уже парочку пробовал убирать, пока не удалось поднять
mv db.sql db.sql.backup так же будет работать временое  отключение?
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Потому что в кх автору захотелось что бы работало

Select 5*b as x
Group by x
Order by x

Это класно. Теперь у нас несовместимый классный sql.
люто плюсую, это лучшая несовместимость с SQL которую всегда хотелось иметь
источник

AK

Alexey Kh in ClickHouse не тормозит
select 2 as a, a+a тоже прекрасно и мало где работает
источник

AK

Alexey Kh in ClickHouse не тормозит
всю жизнь об этом мечтал короче (:
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
а то что половина BI тулов, типа табло, не работает, это никому не интересно
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Aleh Sauko
там много таблиц с движком кафка и много схем...

я уже парочку пробовал убирать, пока не удалось поднять
mv db.sql db.sql.backup так же будет работать временое  отключение?
а там выше не видно что [ 283 ] делал?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Rodion Baskakov
Господа, подскажите, что может быть не так с общением Clickhouse и Zookeeper? Настроил 3 docker-контейнера с zookeeper на разных серверах. Подключил в качестве сервисов в контейнеры с шардами Clickhouse и указал узлы zookeeper в конфигурации. Теперь при попытке выполнять запросы в Clickhouse получаю следующие сообщения:

Received exception from server (version 20.12.5):
Code: 999. DB::Exception: Received from localhost:9000. DB::Exception: All connection tries failed while connecting to ZooKeeper. nodes: 10.42.193.66:2181, 10.42.173.130:2181, 10.42.245.74:2181
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.12.5.14 (official build)), 10.42.193.66:2181
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.12.5.14 (official build)), 10.42.173.130:2181
Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 0. Bytes expected: 4.: while receiving handshake from ZooKeeper (version 20.12.5.14 (official build)), 10.42.245.74:2181



Перерыл весь интернет по этим текстам ошибок — ничего не нашёл 🙁
Что я делаю не так?
а ЗК работает? echo stat|nc ... 2181 ?
источник

AS

Aleh Sauko in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а там выше не видно что [ 283 ] делал?
нет с [ 283 ] больше ничего нет выше, пока выщемливаю херовую таблицу
источник

MM

Mikhail Mayorov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Есть комбинатор -resample
это вообще идеально! Спасибо!
источник

M

Mishanya in ClickHouse не тормозит
Dj
люто плюсую, это лучшая несовместимость с SQL которую всегда хотелось иметь
дак а что с ней не так ?
очень много запросов простых из кх не работают в других бд
порой даже одни и те же запросы в одной бд разных версий не робят

тут скорее просто дали возможность писать вот таким образом. Если вы напишете такую группирвку на дефолтном скл и скопируете ее в кх, с вероятностью почти в 100 это заработает
источник

RB

Rodion Baskakov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а ЗК работает? echo stat|nc ... 2181 ?
Вот результат команды из контейнера с Clickhouse:

nc -zv 10.42.193.66 2181
Connection to 10.42.193.66 2181 port [tcp/*] succeeded!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Rodion Baskakov
Вот результат команды из контейнера с Clickhouse:

nc -zv 10.42.193.66 2181
Connection to 10.42.193.66 2181 port [tcp/*] succeeded!
ну это не то совсем, абсолютно, ЗК там будет отвечать даже если он лежит (сам ансамбль)

вы echo "stat" | nc localhost 2181 покажите
источник

RB

Rodion Baskakov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ну это не то совсем, абсолютно, ЗК там будет отвечать даже если он лежит (сам ансамбль)

вы echo "stat" | nc localhost 2181 покажите
echo "stat" | nc 10.42.193.66 2181
stat is not executed because it is not in the whitelist
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Rodion Baskakov
echo "stat" | nc 10.42.193.66 2181
stat is not executed because it is not in the whitelist
в конфиге ЗК надо добавить в wl (4lw.commands.whitelist=*)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mishanya
дак а что с ней не так ?
очень много запросов простых из кх не работают в других бд
порой даже одни и те же запросы в одной бд разных версий не робят

тут скорее просто дали возможность писать вот таким образом. Если вы напишете такую группирвку на дефолтном скл и скопируете ее в кх, с вероятностью почти в 100 это заработает
с вероятностью 100% вы не знаете SQL
источник