Size: a a a

ClickHouse не тормозит

2020 July 09

D

Dj in ClickHouse не тормозит
Grigorii Morozov
уже смотрел, ничего интересного там не вижу. Например, метадата: metadata format version: 1
date column:
sampling expression: intHash32(user_hash)
index granularity: 8192
mode: 0
sign column:
primary key: date, <4 других колонки>
data format version: 1
partition key: toYYYYMM(date)
granularity bytes: 10485760

cZxid = 0x10012e35c
ctime = Sat May 23 03:14:04 UTC 2020
mZxid = 0x1333ff5d1
mtime = Wed Jul 08 17:29:50 UTC 2020
pZxid = 0x10012e35c
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 273
numChildren = 0
короче columns - должен быть одинаковым с вашим ДДЛ на хосте
источник

GM

Grigorii Morozov in ClickHouse не тормозит
Ошибки, которые в логе я скидывал выше
источник

D

Dj in ClickHouse не тормозит
Grigorii Morozov
Ошибки, которые в логе я скидывал выше
а в replication_queue для этой таблицы есть что-нибудь? может вы ДДЛ запустили на новой версии, и он не такой же ДДЛ на старой версии (поправил(
источник

GM

Grigorii Morozov in ClickHouse не тормозит
Grigorii Morozov
И еще 2020.07.09 01:36:53.768956 [ 40 ] {} <Error> <db.table> (ReplicatedMergeTreeRestartingThread): void DB::ReplicatedMergeTreeRestartingThread::run(): Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected \n before: alter_version\n1\nhave_mutation\n0\ncolumns_str_size:\n2534\ncolumns format version: 1\n55 columns:\n`date` Date\n`time` DateTime\n`source` UInt32\tDEFAULT\tCAST(0, \\\'UInt3, Stack trace:

0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x30) [0x7f6a570]
1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x25) [0x3c464b5]
2. /usr/bin/clickhouse-server() [0x37b7879]
3. /usr/bin/clickhouse-server(DB::assertString(char const*, DB::ReadBuffer&)+0x8c) [0x3c6207c]
4. /usr/bin/clickhouse-server(DB::ReplicatedMergeTreeLogEntryData::readText(DB::ReadBuffer&)+0x287) [0x70f43e7]
5. /usr/bin/clickhouse-server(DB::ReplicatedMergeTreeLogEntry::parse(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, Coordination::Stat const&)+0x18a) [0x70f4eda]
6. /usr/bin/clickhouse-server(DB::ReplicatedMergeTreeQueue::pullLogsToQueue(std::shared_ptr<zkutil::ZooKeeper>, std::function<void (Coordination::WatchResponse const&)>)+0x9da) [0x710ccea]
7. /usr/bin/clickhouse-server(DB::ReplicatedMergeTreeRestartingThread::tryStartup()+0x139) [0x711b9b9]
8. /usr/bin/clickhouse-server(DB::ReplicatedMergeTreeRestartingThread::run()+0x7b0) [0x711c420]
9. /usr/bin/clickhouse-server(DB::BackgroundSchedulePoolTaskInfo::execute()+0xf9) [0x72bc449]
10. /usr/bin/clickhouse-server(DB::BackgroundSchedulePool::threadFunction()+0x6a) [0x72bcc9a]
11. /usr/bin/clickhouse-server() [0x72bcd1a]
12. /usr/bin/clickhouse-server(ThreadPoolImpl<std::thread>::worker(std::_List_iterator<std::thread>)+0x1a6) [0x3c75d46]
13. /usr/bin/clickhouse-server() [0xba3d0e0]
14. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76db) [0x7fa2d7c0f6db]
15. /lib/x86_64-linux-gnu/libc.so.6(clone+0x3f) [0x7fa2d7396a3f]
(version 19.13.2.19 (official build))
Вот эта скорей всего основная
источник

GM

Grigorii Morozov in ClickHouse не тормозит
в replication_queue пусто для этой таблицы
источник

D

Dj in ClickHouse не тормозит
в логе после систем рестарт реплика - появляется что нибудь новое?
источник

GM

Grigorii Morozov in ClickHouse не тормозит
> может вы ДДЛ запустили на новой версии, и он не может применить её для реплики со старой версией
где посмотреть отложенные ддл операции?
источник

D

Dj in ClickHouse не тормозит
Grigorii Morozov
в replication_queue пусто для этой таблицы
ДДЛ "он кластер" делали?
источник

D

Dj in ClickHouse не тормозит
отложенных ДДЛ нет... их надо руками, я наверху не то написал (поправил)
источник

GM

Grigorii Morozov in ClickHouse не тормозит
on cluster делал, но уже после отката
источник

GM

Grigorii Morozov in ClickHouse не тормозит
Dj
в логе после систем рестарт реплика - появляется что нибудь новое?
после рестарта та же ошибка. И без рестарта она периодически повторяется сама
источник

D

Dj in ClickHouse не тормозит
Dj
короче columns - должен быть одинаковым с вашим ДДЛ на хосте
1
источник

D

Dj in ClickHouse не тормозит
Dj
https://t.me/clickhouse_ru/170973
проверьте ещё конфиг свой (system.replicas)...
если там 0, то это в конфиге кластера надо править
2
источник

D

Dj in ClickHouse не тормозит
вообще, тут очень долго гадать, если никаких других логов нет, метадата и колонки между ЗК и хостом полностью совпадают, и конфиг не запрещает быть лидером - я сдаюсь...
вы просто очень выборочно отвечаете на вопросы, и это сложно...
источник

D

Dj in ClickHouse не тормозит
делайте так, это работает прям всегда )
https://t.me/clickhouse_ru/170987
источник

GM

Grigorii Morozov in ClickHouse не тормозит
Спасибо, я просто не успеваю на все вопросы ответить) Сравню еще раз колонки в зк и таблице и попробую длинный путь. Конфиг не запрещает - я скинул результат из system.replicas
источник

VS

Viktor Sakharov in ClickHouse не тормозит
Smoked Cheese
обычно складывают данные в какую-нибудь очередь типа кафки и потом пачками оттуда выгребают
а буфферные таблицы?
источник

WA

WAS AV in ClickHouse не тормозит
Добрый день
Подскажите как выдать доступ на словарь, если он не привязан к БД (настроен через xml)?
источник

MK

Max Khlystov in ClickHouse не тормозит
Добрый день. какие настройки выставляете для того чтоб сделать insert into select from для больших табличек ?
источник

WA

WAS AV in ClickHouse не тормозит
WAS AV
Добрый день
Подскажите как выдать доступ на словарь, если он не привязан к БД (настроен через xml)?
Может кому поможет, решилось дублированием словарей через DDL
источник