Size: a a a

ClickHouse не тормозит

2020 July 15

b

bl17zar in ClickHouse не тормозит
Dj
фича старая, вот вы проверите и задокументируете )
подтверждаю фича рабочая
источник

D

Dj in ClickHouse не тормозит
Konstantin Sevastianov
19.7.5.27
запрос один - меняю месяца в условии WHERE и ломается на месяце где больше всего данных, по квери логу как будто упирается в лимит по оперативке на запрос - memory_usage = 20Гб, а если меняю max_bytes_before_external_group_by = 10Гб, то потребление оперативки падает до 3,5Гб
скорее всего че то связано с потоками/процессами, но это наверное кто сталкивался может рассказать
источник

KS

Konstantin Sevastian... in ClickHouse не тормозит
Dj
скорее всего че то связано с потоками/процессами, но это наверное кто сталкивался может рассказать
возможно, хотя запрос с max_threads=1 ведёт себя аналогично
источник

D

Dj in ClickHouse не тормозит
Konstantin Sevastianov
возможно, хотя запрос с max_threads=1 ведёт себя аналогично
а это скорее из-за того что другие сессии используют все потоки

например:
alexey-milovidov commented on Jan 26 •
The global limit is 10 000 threads. It should be enough in all but pathological cases.

Probably you are using Merge table on top of huge number of Distributed tables?
In that case, every Distributed table will create multiple connections and every connection will correspond to a thread on remote server.

(You can use Distributed table on top of Merge tables instead).
источник

V

Vokeven in ClickHouse не тормозит
Dj
можете куда нить в другое место? https://pastebin.pl/ или ещё куда (тут заблокирован pastebin.com ...)
источник

D

Dj in ClickHouse не тормозит
SELECT r.hashKey
FROM data_vault_raw.evoRuEdsQueue_docs_order_hash AS l
RIGHT JOIN
(
   SELECT hashKey
   FROM temp_tables.ap828_evoRuEdsQueue_docs_order_source_hash
) AS r ON l.hashKey = r.hashKey
WHERE empty(l.hashKey)


а залейте для этого?
источник

D

Dj in ClickHouse не тормозит
https://t.me/clickhouse_ru/171938
а этот вариант вас принципиально не устраивает? просто вам то на самом деле нужен не join а семиjoin
источник

A

Alexandr in ClickHouse не тормозит
Всем привет! Кто-нибудь просматривал логи clickhouse с помощью Redash? Есть несколько вопросов по настройке
источник

V

Vokeven in ClickHouse не тормозит
У нас основная таблица через некоторое время будет в районе 2 млрд уникальный записей. 16 Гб не хватит, чтобы правую часть отобрать и проверить на NOT IN. Подскажи, пожалуйста - как в клиенте сделать трейс, чтобы данные селекта не выводились? Пытаюсь выполнить твой селект с трейсом.
источник

D

Dj in ClickHouse не тормозит
Vokeven
У нас основная таблица через некоторое время будет в районе 2 млрд уникальный записей. 16 Гб не хватит, чтобы правую часть отобрать и проверить на NOT IN. Подскажи, пожалуйста - как в клиенте сделать трейс, чтобы данные селекта не выводились? Пытаюсь выполнить твой селект с трейсом.
Format Null в конце запроса
источник

D

Dj in ClickHouse не тормозит
Vokeven
У нас основная таблица через некоторое время будет в районе 2 млрд уникальный записей. 16 Гб не хватит, чтобы правую часть отобрать и проверить на NOT IN. Подскажи, пожалуйста - как в клиенте сделать трейс, чтобы данные селекта не выводились? Пытаюсь выполнить твой селект с трейсом.
SELECT r.hashKey
FROM data_vault_raw.evoRuEdsQueue_docs_order_hash AS l
RIGHT JOIN
(
   SELECT hashKey
   FROM temp_tables.ap828_evoRuEdsQueue_docs_order_source_hash
) AS r ON l.hashKey = r.hashKey
WHERE empty(l.hashKey) Format Null
источник

D

Dj in ClickHouse не тормозит
Vokeven
У нас основная таблица через некоторое время будет в районе 2 млрд уникальный записей. 16 Гб не хватит, чтобы правую часть отобрать и проверить на NOT IN. Подскажи, пожалуйста - как в клиенте сделать трейс, чтобы данные селекта не выводились? Пытаюсь выполнить твой селект с трейсом.
в обеих таблицах тип одинаковый да? нет такого чтобы в одной из них был "LowCardinality"?
data_vault_raw.evoRuEdsQueue_docs_order_hash
temp_tables.ap828_evoRuEdsQueue_docs_order_source_hash
источник

V

Vokeven in ClickHouse не тормозит
Dj
в обеих таблицах тип одинаковый да? нет такого чтобы в одной из них был "LowCardinality"?
data_vault_raw.evoRuEdsQueue_docs_order_hash
temp_tables.ap828_evoRuEdsQueue_docs_order_source_hash
В этих двух таблицах - LowCardinality нет. А в ядре, куда мы потом переливаем очищенные данные - есть несколько полей. Оно влияет на джоины?
источник

V

Vokeven in ClickHouse не тормозит
Dj
Format Null в конце запроса
источник

V

Vokeven in ClickHouse не тормозит
У нас версия 19.15.3.6 - не нашел там SEMI JOIN =( Хотя да, он нам и нужен
источник

D

Dj in ClickHouse не тормозит
ну, собственно тут
120 тыс ваших строк выливаются в гиг

[dwh-ch2.mailru.prod] 2020.07.15 14:27:46.923959 {ab94c45c-b2da-4c00-8b42-1b0444643264} [ 78 ] <Debug> CreatingSetsBlockInputStream: Created. Join with 14523 entries from 119951 rows. In 0.019 sec.
[dwh-ch2.mailru.prod] 2020.07.15 14:27:47.393286 {ab94c45c-b2da-4c00-8b42-1b0444643264} [ 72 ] <Debug> MemoryTracker: Current memory usage: 1.01 GiB.


исходя из первого трейса - там у вас куча целая колонок... ну, в общем тут все плохо... можете так сделать

SELECT rr.* FROM data_vault_raw.evoRuEdsQueue_docs_order_hash rr
where (rr.hashKey) IN
(
 SELECT r.hashKey
 FROM data_vault_raw.evoRuEdsQueue_docs_order_hash AS l
 RIGHT JOIN
 (
   SELECT hashKey
   FROM temp_tables.ap828_evoRuEdsQueue_docs_order_source_hash
 ) AS r ON l.hashKey = r.hashKey
 WHERE empty(l.hashKey)
)
Format Null


сколько памяти?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
коллеги, такой вопрос, по полиморфным партам. до какого размера есть смысл пользоваться COMPACT? почему? какие негативные последствия при использовании COMPACT с большими партами?
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
коллеги, такой вопрос, по полиморфным партам. до какого размера есть смысл пользоваться COMPACT? почему? какие негативные последствия при использовании COMPACT с большими партами?
падает польза колоночности если слишком большие и дальше не мерджатся... а целом кроме разных багов с потерей партов, ничего плохого не было.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Wolf Kreuzerkrieg
коллеги, такой вопрос, по полиморфным партам. до какого размера есть смысл пользоваться COMPACT? почему? какие негативные последствия при использовании COMPACT с большими партами?
10 мб дефолтные вполне ок.
Там есть/был баг в том, что неправильно определялся размер аллоцируемой памяти для компактных, что ухудшает производительность с ними. Еще они медленнее в несколько раз емнип.
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
ну... полгода прошло, наверное повычищали баги?
источник