Size: a a a

ClickHouse не тормозит

2021 March 19

NK

Nickolay Kovalev in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вы бы хоть array join cделали + формат vertical ниче не понять какой параметр для какого
ProfileEvents + график lock'ов
источник

NK

Nickolay Kovalev in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вы бы хоть array join cделали + формат vertical ниче не понять какой параметр для какого
источник

NK

Nickolay Kovalev in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вы бы хоть array join cделали + формат vertical ниче не понять какой параметр для какого
источник

NK

Nickolay Kovalev in ClickHouse не тормозит
Этот же запрос сейчас, меньше секунды
источник

Otabek Μansurov in ClickHouse не тормозит
Здравствуйте друзья! Я собираю логи из nginx. Подскажите пож-та как в графана сделать взаимосвязь виджетов для отображение данных из кх. Например тут я слева выделяю какое то часть из диаграммы и нажимаю на статус 200 снизу диаграммы слева. А как при этом связать виджет справа с виджетом слева и показать данные по выделенному времени и по выбранному значению?
источник

Otabek Μansurov in ClickHouse не тормозит
Или это уже не по тему канала?
источник

RV

Roman Voronov in ClickHouse не тормозит
Привет! Есть ли более изящный способ проверить входит ли хотя бы одна подстрока в строку?

У меня получился такой вариант:

select arraySort(
 multiSearchAllPositions('dog ate cat and all', ['cat', 'now', 'way'])
)[-1] > 0 as test


Регулярки пробовать не рискнул, так как они по идее должны быть не очень производительные.
источник

RK

Rebrikov Konstantin in ClickHouse не тормозит
Здравствуйте.
На некоторых столбцах таблицы (подневное партиционирование) стоит однодневный TTL ( "dateField + toIntervalDay(1)" ).
В результате слияний, дополнительно подгоняемых OPTIMIZE FINAL, партиции, устаревшие на несколько дней (и в которые больше не приходят данные) свернулись в единственный парт.  
Но в некоторых из таких партиций-партов столбцы с суточным TTL не до конца обнуляются (иногда несколько десятков % записей оставались со своими исходными значениями в TTL-столбцах).

В файловой системе внутри соответствующих parts в файле ttl.txt все столбцы, которые должны были очиститься перечислены уже с нулями в min и  max:(  Т.е. если clickhouse ориентируется на ttl.txt, то он должен считать свою работу выполненной?
(А вот в system.parts для этих parts указаны правильные delete_ttl_info_max и delete_ttl_info_min).

Здесь что-то уже пошло не так, или такое может быть?

( Если к таким parts применить  MATERIALIZE TTL IN PARTITION , то после завершения мутации TTL-столбцы полностью очищаются, как и должно было быть.  )
источник

BS

Bekzhan Satbek in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
эта ошибка не обязательно про пароль и или пользователя, про сетевые ограничения тоже такая ошибка, надо проверять что курлом можно с того же хоста
Благодарю за вашу подсказку, когда выполнил curl 'localhost:8123' вывел, что блокирует McAfee Web Gateway. Странно, когда локально из браузера обращаешься к CH по порту 8123 возвращает ответ ОК
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Всем привет
Кто может подсказать в какой версии добавили
MongoDB движок
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Bekzhan Satbek
Благодарю за вашу подсказку, когда выполнил curl 'localhost:8123' вывел, что блокирует McAfee Web Gateway. Странно, когда локально из браузера обращаешься к CH по порту 8123 возвращает ответ ОК
а питон драйвер точно про 8123 а не 9000 ?
источник

BS

Bekzhan Satbek in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а питон драйвер точно про 8123 а не 9000 ?
Я юзал SqlAlchemy он 9000 выводил ошибку с peer to peer, а на 8123 ошибку писал выше. А вот с помощью библиотеки clickhouse-driver без проблем подключился к CH, а на 8123 он падал с ошибкой session timeout.
источник

BS

Bekzhan Satbek in ClickHouse не тормозит
Мне нужно с помощью SqlAlchemy подключиться к CH, я настраиваю database source для Superset BI
источник

RV

Roman Voronov in ClickHouse не тормозит
Bekzhan Satbek
Я юзал SqlAlchemy он 9000 выводил ошибку с peer to peer, а на 8123 ошибку писал выше. А вот с помощью библиотеки clickhouse-driver без проблем подключился к CH, а на 8123 он падал с ошибкой session timeout.
Странно, у меня clickhоuse-driver на 8123 нормально работает.
источник

D

Dj in ClickHouse не тормозит
Rebrikov Konstantin
Здравствуйте.
На некоторых столбцах таблицы (подневное партиционирование) стоит однодневный TTL ( "dateField + toIntervalDay(1)" ).
В результате слияний, дополнительно подгоняемых OPTIMIZE FINAL, партиции, устаревшие на несколько дней (и в которые больше не приходят данные) свернулись в единственный парт.  
Но в некоторых из таких партиций-партов столбцы с суточным TTL не до конца обнуляются (иногда несколько десятков % записей оставались со своими исходными значениями в TTL-столбцах).

В файловой системе внутри соответствующих parts в файле ttl.txt все столбцы, которые должны были очиститься перечислены уже с нулями в min и  max:(  Т.е. если clickhouse ориентируется на ttl.txt, то он должен считать свою работу выполненной?
(А вот в system.parts для этих parts указаны правильные delete_ttl_info_max и delete_ttl_info_min).

Здесь что-то уже пошло не так, или такое может быть?

( Если к таким parts применить  MATERIALIZE TTL IN PARTITION , то после завершения мутации TTL-столбцы полностью очищаются, как и должно было быть.  )
может есть TTL only drop parts=true? хотя на колонки влиять не должен.
если можете воспроизвести - откройте баг.
источник

RK

Rebrikov Konstantin in ClickHouse не тормозит
Dj
может есть TTL only drop parts=true? хотя на колонки влиять не должен.
если можете воспроизвести - откройте баг.
На таблицу установлен ttl_only_drop_parts=1. Но, действительно, он же для таблицы в целом, не должен препятствовать обнуление отдельных столбцов. И, в общем и целом, столбцы в старых партах обнуляются, вот только иногда не до конца.  (Версия 20.10.7.4)

> если можете воспроизвести - откройте баг

Посмотрю, как дальше будет схлопывание происходить.
источник

D

Dj in ClickHouse не тормозит
Rebrikov Konstantin
На таблицу установлен ttl_only_drop_parts=1. Но, действительно, он же для таблицы в целом, не должен препятствовать обнуление отдельных столбцов. И, в общем и целом, столбцы в старых партах обнуляются, вот только иногда не до конца.  (Версия 20.10.7.4)

> если можете воспроизвести - откройте баг

Посмотрю, как дальше будет схлопывание происходить.
есть вариант что этот случай просто так реализован  (колоночные ТТЛ + ttl_only_drop_parts)... хотя
источник

VR

Vladislav Ross in ClickHouse не тормозит
добрый вечер
хочется мониторить какие таблицы больше всего мержатся
нормально ли каждый 5 секунд делать select * from system.merges? это не повредит производительности?
или лучше включить какой-нибудь part_log?
источник

P

Pavel in ClickHouse не тормозит
Roman Voronov
Странно, у меня clickhоuse-driver на 8123 нормально работает.
8123 http, на нем jdbc
Питонячий по tcp ходит, 9000
источник

NZ

Nikita Zakharov in ClickHouse не тормозит
Всем привет.
Обновил КХ с 20.8 до 21.3.
На 20.8 было занято 35GB/252GB RAM, после рестарта держится 91GB/252GB RAM. Сейчас внешней акстивности на сервере нет. Есть внешние словари, которые уже загрузились, но оператива не освободилась. В логах видно, что КХ делает что-то с партами. После окончания работы с ними, оператива должна упасть? Или из-за чего такое могло произойти?
источник