В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4253 membersпожаловаться на группу
2020 September 01

מ

מיכאל in ClickHouse не тормозит
Подскажите как можно подтюнить использование памяти?
источник
20:27пожаловаться#1

DB

Dmitry Burlakov in ClickHouse не тормозит
Друзья! У меня теоретический вопрос:
Есть лог событий.
(user, at, event, value)
Учитывая ограничения КХ (нет возможности использовать неравенства в join),
как бы выбрать события одного типа, которые предстоят событиям другого типа.
Например, надо выбрать событие открывания страницы, которое предшествовало событию заказа.
Причем, интересует именно последняя страница.
источник
20:30пожаловаться#2

A

Artem in ClickHouse не тормозит
מיכאל
Подскажите как можно подтюнить использование памяти?
Все числа хранить в минимально возможном типе. Влезает в UInt8 — используете его. Если нет, то 16 и так далее 32, 64. Не использовать DateTime64, если это возможно. Миллисекунды хранить в отдельном поле UInt16 или выкинуть вообще.
источник
20:35пожаловаться#3

AB

Andrey Bystrov in ClickHouse не тормозит
Dmitry Burlakov
Друзья! У меня теоретический вопрос:
Есть лог событий.
(user, at, event, value)
Учитывая ограничения КХ (нет возможности использовать неравенства в join),
как бы выбрать события одного типа, которые предстоят событиям другого типа.
Например, надо выбрать событие открывания страницы, которое предшествовало событию заказа.
Причем, интересует именно последняя страница.
groupArray, arrayfilter и условия + посмотрите доклад ребят из Яндекса про marketing funnels and complex queries, кажется должно покрыть основную суть
источник
20:36пожаловаться#4

מ

מיכאל in ClickHouse не тормозит
Artem
Все числа хранить в минимально возможном типе. Влезает в UInt8 — используете его. Если нет, то 16 и так далее 32, 64. Не использовать DateTime64, если это возможно. Миллисекунды хранить в отдельном поле UInt16 или выкинуть вообще.
спасибо, но я не это имел в виду.
источник
20:40пожаловаться#5

מ

מיכאל in ClickHouse не тормозит
конфигурацией, что бы он использовал тольку ту память что есть.
источник
20:40пожаловаться#6

מ

מיכאל in ClickHouse не тормозит
это стоит уже, но все равно вылетает.
источник
20:43пожаловаться#7

A

Artem in ClickHouse не тормозит
מיכאל
конфигурацией, что бы он использовал тольку ту память что есть.
<max_server_memory_usage>количество байт</max_server_memory_usage> либо <max_server_memory_usage_to_ram_ratio>0.9</max_server_memory_usage_to_ram_ratio>
источник
20:43пожаловаться#8

У

Ухудшанский... in ClickHouse не тормозит
Dmitry Burlakov
Друзья! У меня теоретический вопрос:
Есть лог событий.
(user, at, event, value)
Учитывая ограничения КХ (нет возможности использовать неравенства в join),
как бы выбрать события одного типа, которые предстоят событиям другого типа.
Например, надо выбрать событие открывания страницы, которое предшествовало событию заказа.
Причем, интересует именно последняя страница.
Window functions
источник
20:44пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitriy Novikov
Всем привет, такой вопрос по масштабированию для кластера, в случае с КХ нужно добавлять машину или же можно обойтись дисками только? В доке нашел что рекомендуют брать машину с локальным диском, а не расширять рейд. Кто как делает?

*полки
где это в доке?
источник
20:47пожаловаться#10

DN

Dmitriy Novikov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
где это в доке?
https://clickhouse.tech/docs/ru/operations/tips/#podsistema-khraneniia
clickhouse.tech
Советы по эксплуатации | Документация ClickHouse
Советы по эксплуатации CPU Scaling Governor Всегда используйте performance scaling governor. ondemand scaling governor р
источник
20:47пожаловаться#11

DC

Denny Crane [not a Y... in ClickHouse не тормозит
מיכאל
Подскажите плиз, Кликхауз самостоятельно ребутается версия 19.5.3.1
2020.09.01 16:42:23.478664 [ 247 ] {} <Debug> MemoryTracker: Current memory usage: 1.01 GiB.
2020.09.01 16:42:25.028568 [ 162 ] {} <Debug> MemoryTracker: Current memory usage: 2.00 GiB.
2020.09.01 16:42:25.634373 [ 228 ] {} <Debug> MemoryTracker: Current memory usage: 3.00 GiB.
2020.09.01 16:42:26.444055 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 3.00 GiB.
2020.09.01 16:42:28.017426 [ 247 ] {} <Debug> MemoryTracker: Current memory usage: 4.00 GiB.
2020.09.01 16:42:28.646005 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 4.00 GiB.
2020.09.01 16:42:29.333125 [ 251 ] {} <Debug> MemoryTracker: Current memory usage: 5.03 GiB.
2020.09.01 16:42:30.408212 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 5.00 GiB.
2020.09.01 16:42:31.335347 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 6.00 GiB.
2020.09.01 16:42:32.427901 [ 90 ] {} <Debug> MemoryTracker: Current memory usage: 7.00 GiB.
2020.09.01 16:42:33.934863 [ 90 ] {} <Debug> MemoryTracker: Current memory usage: 8.00 GiB.
2020.09.01 16:42:34.280478 [ 144 ] {a35e2121-fece-4d8b-928d-0846c54ed5a4} <Debug> MemoryTracker: Peak memory usage (for query): 5.10 GiB.
2020.09.01 16:42:34.690567 [ 259 ] {} <Debug> MemoryTracker: Current memory usage: 9.00 GiB.
2020.09.01 16:42:35.340825 [ 120 ] {} <Debug> MemoryTracker: Current memory usage: 10.01 GiB.
2020.09.01 16:42:36.073872 [ 205 ] {} <Debug> MemoryTracker: Current memory usage: 11.00 GiB.
2020.09.01 16:42:36.715951 [ 176 ] {} <Debug> MemoryTracker: Current memory usage: 12.00 GiB.
2020.09.01 16:42:37.409627 [ 119 ] {} <Debug> MemoryTracker: Current memory usage: 13.01 GiB.
чтобы использовал 32 ?
источник
20:47пожаловаться#12

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitriy Novikov
https://clickhouse.tech/docs/ru/operations/tips/#podsistema-khraneniia
clickhouse.tech
Советы по эксплуатации | Документация ClickHouse
Советы по эксплуатации CPU Scaling Governor Всегда используйте performance scaling governor. ondemand scaling governor р
Предпочитайте
ну так написано что лучше много серверов, перфоманс выше - потому что памяти/cpu больше
источник
20:49пожаловаться#13

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dmitry Burlakov
Друзья! У меня теоретический вопрос:
Есть лог событий.
(user, at, event, value)
Учитывая ограничения КХ (нет возможности использовать неравенства в join),
как бы выбрать события одного типа, которые предстоят событиям другого типа.
Например, надо выбрать событие открывания страницы, которое предшествовало событию заказа.
Причем, интересует именно последняя страница.
ASOF JOIN
источник
20:49пожаловаться#14

מ

מיכאל in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
чтобы использовал 32 ?
чтобы не вылетал. видно что ему памяти не хватает.
источник
20:50пожаловаться#15

מ

מיכאל in ClickHouse не тормозит
как ему сказать что бы использовал только скажем 28 )
источник
20:52пожаловаться#16

DC

Denny Crane [not a Y... in ClickHouse не тормозит
מיכאל
чтобы не вылетал. видно что ему памяти не хватает.
сконфигурить
max_memory_usage=25GB
max_memory_usage_for_all = 25GB
max_bytes_before_external_group_by=15GB
max_bytes_before_external_sort=15GB
источник
20:52пожаловаться#17

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
<max_server_memory_usage>количество байт</max_server_memory_usage> либо <max_server_memory_usage_to_ram_ratio>0.9</max_server_memory_usage_to_ram_ratio>
в 19.5 нет таких параметров
источник
20:52пожаловаться#18

מ

מיכאל in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
сконфигурить
max_memory_usage=25GB
max_memory_usage_for_all = 25GB
max_bytes_before_external_group_by=15GB
max_bytes_before_external_sort=15GB
это в system базе?
источник
20:53пожаловаться#19

DC

Denny Crane [not a Y... in ClickHouse не тормозит
מיכאל
это в system базе?
файлик надо создать, имя любое, перегружать не надо

я называю файлик memory_usage.xml 
cat /etc/clickhouse-server/conf.d/memory_usage.xml
<?xml version="1.0" ?>
<yandex>
    <profiles>
        <default>
            <max_memory_usage>31562137600</max_memory_usage>
            <max_memory_usage_for_all_queries>31562137600</max_memory_usage_for_all_queries>
            <max_bytes_before_external_group_by>17674797056</max_bytes_before_external_group_by>
            <max_bytes_before_external_sort>17674797056</max_bytes_before_external_sort>
        </default>
    </profiles>
</yandex>
источник
20:56пожаловаться#20