В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3182 membersпожаловаться на группу
2016 November 17

АК

Андрей Михайлович Корниенко in ClickHouse не тормозит
Pavel Kartavyy
для большинста случаев тебе нужно семейство MergeTree движков. Судя по пути движок стоит не MergeTree. Чтобы посмотреть движок "show create table", в конце он написан
Спасибо!
CREATE TABLE myapp.appmetrica_app ( user_id UInt32,  token String,  id UInt32,  name String) ENGINE = Log │
А как поменять?
источник
13:59пожаловаться

АК

Андрей Михайлович Корниенко in ClickHouse не тормозит
Я вижу, что log. Его ж можно сменить на ходу?
источник
13:59пожаловаться

АК

Андрей Михайлович Корниенко in ClickHouse не тормозит
или это вообще не мне было? 😄
источник
14:00пожаловаться

DA

Dmitry Andreev in ClickHouse не тормозит
Nikita Glashenko (Hohol)
mapper делал вставку в удаленный clickhouse через jdbc, batch insert'ами.
Батчи были примерно по 100к записей. Один батч - одна map таска.
Со "сколько их запускается одновременно" - проблема. Я не нашел способа ограничить количество одновременно работающих map тасок на уровне одной джобы. Только целиком для кластера. А это мешало бы другим джобам.
Вот тут пишут что можно http://stackoverflow.com/questions/14380841/how-to-restrict-the-concurrent-running-map-tasks
Stackoverflow
how to restrict the concurrent running map tasks?
My hadoop version is 1.0.2. Now I want at most 10 map tasks running at the same time. I have found 2 variable related to this question.

a) mapred.job.map.capacity

but in my hadoop version, this
источник
14:00пожаловаться

PK

Pavel Kartavyy in ClickHouse не тормозит
Андрей Михайлович Корниенко
или это вообще не мне было? 😄
нет, создай новую. И перелей. В MergeTree есть индексы, репликация(ReplicatedMergeTree).
Вообще не тебе, но рекомендации общие.
источник
14:02пожаловаться

PK

Pavel Kartavyy in ClickHouse не тормозит
На Log можно легко увидеть, как быстро работает full scan в ClickHouse.
источник
14:03пожаловаться

AT

Alexey Tomin in ClickHouse не тормозит
Dmitry Andreev
Вот тут пишут что можно http://stackoverflow.com/questions/14380841/how-to-restrict-the-concurrent-running-map-tasks
Stackoverflow
how to restrict the concurrent running map tasks?
My hadoop version is 1.0.2. Now I want at most 10 map tasks running at the same time. I have found 2 variable related to this question.

a) mapred.job.map.capacity

but in my hadoop version, this
Пишут. Но я 2 недели потратил когда-то на попытки это сделать. И, да, 1.0.2 даже в музей уже не возьмут.
источник
14:37пожаловаться

DA

Dmitry Andreev in ClickHouse не тормозит
Там в коментах есть про 2.7
источник
14:40пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
Nikita Glashenko (Hohol)
mapper делал вставку в удаленный clickhouse через jdbc, batch insert'ами.
Батчи были примерно по 100к записей. Один батч - одна map таска.
Со "сколько их запускается одновременно" - проблема. Я не нашел способа ограничить количество одновременно работающих map тасок на уровне одной джобы. Только целиком для кластера. А это мешало бы другим джобам.
у нас похожая проблема была переливки тб данных с продового хадупа на Вертику. выкрутились ресурсным пулом, который ограничивал количество конкурентов юзеру, с которого ходил хадуп по JDBC. у КХ можно как то на юзера аналогично ресурсному пулу Вертики прописать количество конкурентов и время в очереди ожидания сессий пула?
источник
16:08пожаловаться

AM

Alexey Milovidov in ClickHouse не тормозит
Количество одновременных запросов на пользователя - можно. Но время ожидания - нет (при превышении сразу кидается исключение).
источник
20:47пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
Вот очередь бы реализовать и было бы супер
источник
22:20пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
Нагрузки балансировать для пиков
источник
22:20пожаловаться

AM

Alexey Milovidov in ClickHouse не тормозит
Запишу на секретную страничку.
источник
22:21пожаловаться

AM

Alexey Milovidov in ClickHouse не тормозит
У нас есть такое только для общего количества запросов на сервер. Но почти бесполезно. Потому что выполняющийся запрос не обязательно тратит ресурсы, а может ждать данных по сети или отправлять данные клиенту. Поэтому общее количество запросов на сервер ставим в заведомо большую величину.

А вот для пользователей было бы полезно. Например, ставишь максимум два одновременных запроса, третий ждёт.
источник
22:25пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
да
источник
23:15пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
плюс параметр таймаута очереди
источник
23:15пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
например 5 минут если очередь конкурентов не освободилась, то пристреливать запрос в очереди долго ждущий
источник
23:16пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
когда ддосят всякие кубы, хадупы, а так же самописные системы, забивая глупыми  запросами и мешая остальным жить в системе, очень помогает
источник
23:16пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
и еще  разрабов очередь очень помогает успокоить админам, которым хочется, чтобы система в любые пики сохраняла адекватное время ответа :)
источник
23:17пожаловаться

АК

Алексей Константинов in ClickHouse не тормозит
в вертике поглубже сделано - там есть понятие "пул ресурсов", на который цепляется выделенная память, приоритеты на доступ к ресурсам, можно прицепить явно количество процов и количество конкурентов. на пулы тематических пользователей цепляют, например пул для загрузчиков, для агрегатников, для адхоков, для систем забора инфы и т.д.
источник
23:19пожаловаться