Size: a a a

ClickHouse не тормозит

2020 July 27

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
смотрите в каталоге distriubted таблицы , уменьшается кол-ов bin файлов или нет, похоже у вас все заработало уже
Оно то работает, но уж очень медленно. Мне пока не понятно, почему SELECT не находит данные за сегодня ни на одной из реплик. Если реплика указана как is_leader, то по-сути в нее пишутся данные и синхронизируются на slave реплики. Но если я сейчас к реплике  is_leader = 1 делаю запрос за сегодняшними данными, то в запросе пусто.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Демьянович
Оно то работает, но уж очень медленно. Мне пока не понятно, почему SELECT не находит данные за сегодня ни на одной из реплик. Если реплика указана как is_leader, то по-сути в нее пишутся данные и синхронизируются на slave реплики. Но если я сейчас к реплике  is_leader = 1 делаю запрос за сегодняшними данными, то в запросе пусто.
>реплика указана как is_leader, то по-сути в нее пишутся данные
чушь, вообще все ВСЕ ВСЕ не так
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
>реплика указана как is_leader, то по-сути в нее пишутся данные
чушь, вообще все ВСЕ ВСЕ не так
is_leader назначает мержи.

вставка идет во все реплики

у вас данные лежат в Distrbuted таблице , они вообще не вставлены по сути еще
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
надо найти сервер где они лежат в Distrbuted и читать на нем лог внимательно!
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Понял, спасибо. Сейчас поищу
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
КХ мультимастер -- все ноды мастер.

is_leader уже выпилен совсем в testing релизах КХ, и мержи теперь назначает кто первый успел
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
is_leader назначает мержи.

вставка идет во все реплики

у вас данные лежат в Distrbuted таблице , они вообще не вставлены по сути еще
В документации написано, что Distributed не хранит данные.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Демьянович
В документации написано, что Distributed не хранит данные.
🙂 не хранит. Она хранит асинхронные инсерты
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну забивайте гвозди тапком
А есть сейчас что-то более подходящее под такого рода задач, кроме как mysql, postgre, oracle?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmitry Koreckiy
А есть сейчас что-то более подходящее под такого рода задач, кроме как mysql, postgre, oracle?
не понимаю ваш воркфлоу, у вас типа КХ посчитал что-то и вам надо свалить результаты, в виде удобном для select-в витриной? ну pg или mongo
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
🙂 не хранит. Она хранит асинхронные инсерты
Если правильно вас понял, то сейчас Distributed таблица посылает асинхронный инсерт на нужную ноду  и реплику (в соответсвии с ключом шардирования) . Дожидается ли она после этого подтверждения о вставке данных? Только от одной реплики или сразу от всех?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Демьянович
Если правильно вас понял, то сейчас Distributed таблица посылает асинхронный инсерт на нужную ноду  и реплику (в соответсвии с ключом шардирования) . Дожидается ли она после этого подтверждения о вставке данных? Только от одной реплики или сразу от всех?
посылает в рандомную, дожидается, если неуспешно повторяет (но все еще зависит от флага internal_replication)
источник

AZ

Artyom Zverev in ClickHouse не тормозит
подскажите, как получить данные за месяц?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artyom Zverev
подскажите, как получить данные за месяц?
select .... from where date >= началомесяца and date <= конецмесяца
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
посылает в рандомную, дожидается, если неуспешно повторяет (но все еще зависит от флага internal_replication)
Как-то можно сказать, чтобы посылала в конкретную? Суть в том, что есть реплика на более сильной машине, а есть на более слабой. Более слабая для другого отдела, им данные прям в реалтайме не нужны.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Демьянович
Как-то можно сказать, чтобы посылала в конкретную? Суть в том, что есть реплика на более сильной машине, а есть на более слабой. Более слабая для другого отдела, им данные прям в реалтайме не нужны.
нельзя (можно будет с 20.5 или с 20.6, там в соотвествии с настройками load_balacing и prefer_localhost_replica)
источник

ДД

Дмитрий Демьянович... in ClickHouse не тормозит
Спасибо
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы даете ровно 0 информации чтобы ответить, толку от ваших SQL запросов, не видя статистику запроса, не зная сколько строк, время выполнения, я даже не понимаю чего вам надо, куда хотим выстрелить?
@den_crane прошу прощения, вот статистика по запросу:
```Row 2:
──────
type:                 ExceptionWhileProcessing
event_date:           2020-07-27
event_time:           2020-07-27 16:38:36
query_start_time:     2020-07-27 15:56:37
query_duration_ms:    2519437
read_rows:            74164676
read_bytes:           14273743898
written_rows:         0
written_bytes:        0
result_rows:          0
result_bytes:         0
memory_usage:         3262342816
query:                /* Username: graygood1@gmail.com, Query ID: adhoc, Queue: queries, Job ID: 57284df4-89ba-460d-b69b-50134929df6e, Query Hash: 51f3e4bb922a7d51cd34dc022220afd5, Scheduled: False */ -- show processlist


SELECT distinct object_content, object_type
from objects
WHERE pubDate between '2018-07-01' and '2020-07-09'
group by object_content, object_type
having uniqMerge(c) > 600
limit 1
FORMAT JSON
exception:            Code: 394, e.displayText() = DB::Exception: Query was cancelled (version 19.15.2.2 (official build))
stack_trace:          0. 0x5608a1e187a0 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x5608a1e18575 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x5608a1b78875 ? /usr/bin/clickhouse
3. 0x5608a576315c DB::ParallelAggregatingBlockInputStream::execute() /usr/bin/clickhouse
4. 0x5608a5766830 DB::ParallelAggregatingBlockInputStream::readImpl() /usr/bin/clickhouse
5. 0x5608a5024447 DB::IBlockInputStream::read() /usr/bin/clickhouse
6. 0x5608a51966e2 DB::ParallelInputsProcessor<DB::UnionBlockInputStream::Handler>::loop(unsigned long) /usr/bin/clickhouse
7. 0x5608a5196da5 DB::ParallelInputsProcessor<DB::UnionBlockInputStream::Handler>::thread(std::shared_ptr<DB::ThreadGroupStatus>, unsigned long) /usr/bin/clickhouse
8. 0x5608a519771d ThreadFromGlobalPool::ThreadFromGlobalPool<void (DB::ParallelInputsProcessor<DB::UnionBlockInputStream::Handler>::*)(std::shared_ptr<DB::ThreadGroupStatus>, unsigned long), DB::ParallelInputsProcessor<DB::UnionBlockInputStream::Handler>*, std::shared_ptr<DB::ThreadGroupStatus>, unsigned long&>(void (DB::ParallelInputsProcessor<DB::UnionBlockInputStream::Handler>::*&&)(std::shared_ptr<DB::ThreadGroupStatus>, unsigned long), DB::ParallelInputsProcessor<DB::UnionBlockInputStream::Handler>*&&, std::shared_ptr<DB::ThreadGroupStatus>&&, unsigned long&)::{lambda()#1}::operator()() const /usr/bin/clickhouse
9. 0x5608a1e6177c ThreadPoolImpl<std::thread>::worker(std::_List_iterator<std::thread>) /usr/bin/clickhouse
10. 0x5608a7b26df0 ? /usr/bin/clickhouse
11. 0x7f703bddf6ba start_thread /lib/x86_64-linux-gnu/libpthread-2.23.so
12. 0x7f703b70941d __clone /lib/x86_64-linux-gnu/libc-2.23.so

is_initial_query:     1
user:                 default
query_id:             618eab20-a74a-4041-a1e0-098604debe06
address:              ::ffff:10.2.125.253
port:                 54637
initial_user:         default
initial_query_id:     618eab20-a74a-4041-a1e0-098604debe06
initial_address:      ::ffff:10.2.125.253
initial_port:         54637
interface:            2
os_user:
client_hostname:
client_name:
client_revision:      0
client_version_major: 0
client_version_minor: 0
client_version_patch: 0
http_method:          2
http_user_agent:      python-requests/2.21.0
quota_key:
revision:             54426
thread_numbers:       [197,147,193,166,175,185,89,97,68,63,117,142,55,146,192,114,59,138,94,73,195]
os_thread_ids:        [19906,19815,19849,19832,19842,19850,16087,16079,16068,16033,16113,19810,16024,19806,19857,16110,16025,19808,16091,16050,19858]
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы даете ровно 0 информации чтобы ответить, толку от ваших SQL запросов, не видя статистику запроса, не зная сколько строк, время выполнения, я даже не понимаю чего вам надо, куда хотим выстрелить?
ProfileEvents.Names:  ['Query','SelectQuery','FileOpen','Seek','ReadBufferFromFileDescriptorRead','ReadBufferFromFileDescriptorReadBytes','ReadCompressedBytes','CompressedReadBufferBlocks','CompressedReadBufferBytes','IOBufferAllocs','IOBufferAllocBytes','ArenaAllocChunks','ArenaAllocBytes','FunctionExecute','MarkCacheHits','CreatedReadBufferOrdinary','DiskReadElapsedMicroseconds','NetworkReceiveElapsedMicroseconds','NetworkSendElapsedMicroseconds','SlowRead','ReadBackoff','SelectedParts','SelectedRanges','SelectedMarks','ContextLock','RWLockAcquiredReadLocks','RealTimeMicroseconds','UserTimeMicroseconds','SystemTimeMicroseconds','SoftPageFaults','OSIOWaitMicroseconds','OSCPUWaitMicroseconds','OSCPUVirtualTimeMicroseconds','OSReadBytes','OSWriteBytes','OSReadChars','OSWriteChars']
ProfileEvents.Values: [1,1,136,4,382,223787659,537271323,3152,859885024,290,70297554,8732,2424864768,2599,136,136,1271943726,5906434037,1275554,30,15,58,58,2997,131,4,39967160802,1034040000,9370032000,1779567,38459498,18590443614,10400920775,1589248,40960,223785984,7168]
Settings.Names:       ['use_uncompressed_cache','load_balancing','skip_unavailable_shards','log_queries','max_bytes_before_external_group_by','max_memory_usage']
Settings.Values:      ['0','random','1','1','32500000000','70000000000’]```
источник

AZ

Artyom Zverev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
select .... from where date >= началомесяца and date <= конецмесяца
date >= '01-05-2020' and date <= '30-05-2020' так?
источник