Телеграмм чат группы clickhouse_ru страница 9149

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4779 membersпожаловаться на группу

2021 January 26

l

lnuynxa in ClickHouse не тормозит

Tatyana Agalakova

Приветик всем!мб кто-то знает как это реализовать:
Мне нужно из таблицы со значением месяцев (1,2,3...) вытаскивать значения через фильтр в redash в текстовом формате типо Январь=1
Словаря такого нет и не предвидится
Есть какой вариант это в запросе прописать?

сделать каст к enum либо transform

источник

14:42пожаловаться #1

AS

Alexey Sokolov in ClickHouse не тормозит

в 1 варианте точно будет работать с одной партицией

Вот на тестовом примере из девяти строк у меня оба варианта работают одинаково, а на рабочем с миллиардами записей лишние отсекает почему-то только второй (судя по столбцу read_rows в таблице system.query_log, первый вариант читает в несколько раз больше строк).

Мб есть какие-то дополнительные факторы?

Поле, по которому идёт партиционирование, в ключе сортировки не используется, в условиях запроса больше не фигурирует. Движок - ReplicatedMergeTree, КХ 20.1.9.54

источник

14:43пожаловаться #2

K

KiLEX 萊赫 in ClickHouse не тормозит

Вот на тестовом примере из девяти строк у меня оба варианта работают одинаково, а на рабочем с миллиардами записей лишние отсекает почему-то только второй (судя по столбцу read_rows в таблице system.query_log, первый вариант читает в несколько раз больше строк).

Мб есть какие-то дополнительные факторы?

Поле, по которому идёт партиционирование, в ключе сортировки не используется, в условиях запроса больше не фигурирует. Движок - ReplicatedMergeTree, КХ 20.1.9.54

а весь запрос можно увидеть? может там есть OR ?

типа where ts = today() OR id=1111 даст фулскан

источник

14:44пожаловаться #3

K

KiLEX 萊赫 in ClickHouse не тормозит

Вот на тестовом примере из девяти строк у меня оба варианта работают одинаково, а на рабочем с миллиардами записей лишние отсекает почему-то только второй (судя по столбцу read_rows в таблице system.query_log, первый вариант читает в несколько раз больше строк).

Мб есть какие-то дополнительные факторы?

Поле, по которому идёт партиционирование, в ключе сортировки не используется, в условиях запроса больше не фигурирует. Движок - ReplicatedMergeTree, КХ 20.1.9.54

офигеть. проверил на своих данных, если использовать именно today() то партиции вообще не учитываются

источник

14:47пожаловаться #4

K

KiLEX 萊赫 in ClickHouse не тормозит

Вот на тестовом примере из девяти строк у меня оба варианта работают одинаково, а на рабочем с миллиардами записей лишние отсекает почему-то только второй (судя по столбцу read_rows в таблице system.query_log, первый вариант читает в несколько раз больше строк).

Мб есть какие-то дополнительные факторы?

Поле, по которому идёт партиционирование, в ключе сортировки не используется, в условиях запроса больше не фигурирует. Движок - ReplicatedMergeTree, КХ 20.1.9.54

where op_type=1 AND open_datetime > today() GROUP BY dt;
Processed 255.50 million rows

where op_type=1 AND toYYYYMMDD(open_datetime) > toYYYYMMDD(today()) GROUP BY dt;
Processed 4.30 thousand rows

источник

14:49пожаловаться #5

K

KiLEX 萊赫 in ClickHouse не тормозит

если указывать дату явно - то все корректно отрабатывает, если использовать today() то фулскан. больше на багу похоже

источник

14:49пожаловаться #6

S

Slach in ClickHouse не тормозит

Tatyana Agalakova

Приветик всем!мб кто-то знает как это реализовать:
Мне нужно из таблицы со значением месяцев (1,2,3...) вытаскивать значения через фильтр в redash в текстовом формате типо Январь=1
Словаря такого нет и не предвидится
Есть какой вариант это в запросе прописать?

SELECT *
FROM
(
    SELECT *
    FROM
    (
        SELECT
            ['Январь', 'Февраль', 'Март', 'Апрель'] AS m_name,
            arrayEnumerate(m_name) AS m_num
    ) AS months
    ARRAY JOIN
        m_name,
        m_num
) AS dict_months

и можно это как то как subquery для JOIN использовать
к основной таблице

но лучше всего ТУПО СОЗДАТЬ СЛОВАРЬ, это проще

источник

14:56пожаловаться #7

S

Slach in ClickHouse не тормозит

офигеть. проверил на своих данных, если использовать именно today() то партиции вообще не учитываются

а если toDate(now()) ?

источник

14:57пожаловаться #8

K

KiLEX 萊赫 in ClickHouse не тормозит

а если toDate(now()) ?

toDate(today()) криво

источник

14:58пожаловаться #9

K

KiLEX 萊赫 in ClickHouse не тормозит

AND open_datetime > now() GROUP BY dt;

источник

14:58пожаловаться #10

K

KiLEX 萊赫 in ClickHouse не тормозит

вот так правильно всё

источник

14:58пожаловаться #11

S

Slach in ClickHouse не тормозит

AND open_datetime > now() GROUP BY dt;

у вас данные в будующем ?

источник

14:58пожаловаться #12

K

KiLEX 萊赫 in ClickHouse не тормозит

у вас данные в будующем ?

да) это нормально

источник

14:59пожаловаться #13

K

KiLEX 萊赫 in ClickHouse не тормозит

Вот на тестовом примере из девяти строк у меня оба варианта работают одинаково, а на рабочем с миллиардами записей лишние отсекает почему-то только второй (судя по столбцу read_rows в таблице system.query_log, первый вариант читает в несколько раз больше строк).

Мб есть какие-то дополнительные факторы?

Поле, по которому идёт партиционирование, в ключе сортировки не используется, в условиях запроса больше не фигурирует. Движок - ReplicatedMergeTree, КХ 20.1.9.54

AND open_datetime > now() GROUP BY dt;

вот так работает корректно

источник

14:59пожаловаться #14

S

Slach in ClickHouse не тормозит

Всем привет.

Есть таблица с партиционированием по toYYYYMMDD(ts), где ts имеет тип Date.

И есть два варианта условия в запросе:
1. where ts = today()
2. where toYYYYMMDD(ts) = toYYYYMMDD(today())

Скажите, пожалуйста, КХ в обоих случаях будет работать только с одной партицией или только во втором?

```
SELECT toTypeName(toYYYYMMDD(now()), toTypeName(today())
```
первое поле UInt32 второе Date

в пермом случае у вас будет фуллскан
во втором случае нормально отберутся партиции

toUInt32(today())
тоже нормально сработает

источник

15:02пожаловаться #15

D

Dj in ClickHouse не тормозит

max_bytes_to_merge_at_max_space_in_pool - нет такой настройки,
number_of_free_entries_in_pool_to_lower_max_size_of_merge - это имя метрики?

select * from system.merge_tree_settings s where name like '%merge%';

источник

15:04пожаловаться #16

AS

Alexey Sokolov in ClickHouse не тормозит

```
SELECT toTypeName(toYYYYMMDD(now()), toTypeName(today())
```
первое поле UInt32 второе Date

в пермом случае у вас будет фуллскан
во втором случае нормально отберутся партиции

toUInt32(today())
тоже нормально сработает

Спасибо.

Прочитал здесь, что КХ умеет отбрасывать ненужные партиции и добавил везде проверки, но, как выяснилось, неправильные))

источник

15:11пожаловаться #17

S

Slach in ClickHouse не тормозит

Спасибо.

Прочитал здесь, что КХ умеет отбрасывать ненужные партиции и добавил везде проверки, но, как выяснилось, неправильные))

извините фигню написал toUInt32(today()) у вас как раз и происходит

ну вообще то что toYYYYMMDD возвращает UInt32 и что это YYYYMMDD в виде числа это надо по доке понять =)

вообще у clickhouse с преобразованием типа беда
хорошо если исключение кидается
но в вашем случае просто молча глотает и делает преобразование в UInt32 но число получается ДРУГОЕ
и делает фуллскан потому что не может определить быстро партицию

SELECT toUInt32(today()), toYYYYMMDD(today());
два разных числа получаются

источник

15:16пожаловаться #18

c

critskiy in ClickHouse не тормозит

Здравствуйте всем, есть вопрос насчет шардинга и select выборки с syntax HAVING. На шардированной таблице на движке MergeTree может ли быть downgrade запроса c HAVING statement, или же в данном случае лучше рассмотреть шардирование на базе AggregatingMegreTree (есть у меня такое подозрение, но может я мудак)?

источник

15:17пожаловаться #19

S

Slach in ClickHouse не тормозит

Здравствуйте всем, есть вопрос насчет шардинга и select выборки с syntax HAVING. На шардированной таблице на движке MergeTree может ли быть downgrade запроса c HAVING statement, или же в данном случае лучше рассмотреть шардирование на базе AggregatingMegreTree (есть у меня такое подозрение, но может я мудак)?

под словом downgrade вы имеет ввиду проброс push down условия HAVING на ноды кластера при исполнении чтения из Distributed таблицы?

источник

15:19пожаловаться #20