Телеграмм чат группы clickhouse_ru страница 7988

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4153 membersпожаловаться на группу

2020 August 10

S

Slach in ClickHouse не тормозит

подзапросы с фильтрацией?
да, можно на sub-query, но без сортировки в подзапросах...
иначе если сортировка есть, то в память все читаться будет... вместо стриминга

источник

11:29пожаловаться #1

EM

Eugene Makrushin in ClickHouse не тормозит

подзапросы с фильтрацией?
да, можно на sub-query, но без сортировки в подзапросах...
иначе если сортировка есть, то в память все читаться будет... вместо стриминга

Видимо, нарушил синтаксис, который не указан в документации:


SELECT *
FROM 
(
    (SELECT * FROM srs_dev.RecBuilts)
    CROSS JOIN
    (SELECT * FROM srs_dev.RecEvents)
)
GROUP BY BuiltAtDate
ORDER BY BuiltAtDate

Подскажите, в чём ошибся?

источник

11:33пожаловаться #2

S

Slach in ClickHouse не тормозит

скобки лишние IMHO

SELECT тут не может быть * если у вас group by есть... аггрегирующую функцию добавляйте
FROM
(SELECT ..) AS t1
CROSS ALL JOIN
(SELECT ...) AS t2
GROUP BY
ORDER BY

источник

11:39пожаловаться #3

S

Slach in ClickHouse не тормозит

ну и внутри (SELECT ... WHERE) ставьте
елси надо фильтрацию ДО JOIN
но вообще посокльку CROSS JOIN
это все со всеми
памяти может не хватить...

источник

11:40пожаловаться #4

S

Slach in ClickHouse не тормозит

сколько у вас строк в t1 и t2?
декартово произведение на выходе получается

источник

11:41пожаловаться #5

EM

Eugene Makrushin in ClickHouse не тормозит

сколько у вас строк в t1 и t2?
декартово произведение на выходе получается

В t1 около миллиона на дату выйдет, в t2 ну раза в три-четыре больше. В память должно влезать

Спасибо за помощь - запрос заработал

источник

11:47пожаловаться #6

S

Slach in ClickHouse не тормозит

Eugene Makrushin

В t1 около миллиона на дату выйдет, в t2 ну раза в три-четыре больше. В память должно влезать

Спасибо за помощь - запрос заработал

10^6 *10^6 ?
=) резиновая у вас память
сколько полей в таблице?
даж не знаю как оно у вас там заработало =)
скорее всего частично на диск CROSS JOIN что-то будет сбрасывать

источник

11:51пожаловаться #7

EM

Eugene Makrushin in ClickHouse не тормозит

10^6 *10^6 ?
=) резиновая у вас память
сколько полей в таблице?
даж не знаю как оно у вас там заработало =)
скорее всего частично на диск CROSS JOIN что-то будет сбрасывать

Ну на месяц запрос уже не влезет, конечно)

Полей 40 в первой таблице и 20 во второй, все String или Nullable(String)

источник

11:54пожаловаться #8

S

Slach in ClickHouse не тормозит

итого триллион записей в каждой 60 строк по 50-100 байт каждая ? примерно 90 гигабайт за день на этот запрос уйдет
я бы все таки поостерегся такое запускать =) но с другой стороны, пробуйте конечно =) clickhouse Для того и сделали чтобы и в хвост и в гриву... ;)

источник

12:04пожаловаться #9

EM

Eugene Makrushin in ClickHouse не тормозит

итого триллион записей в каждой 60 строк по 50-100 байт каждая ? примерно 90 гигабайт за день на этот запрос уйдет
я бы все таки поостерегся такое запускать =) но с другой стороны, пробуйте конечно =) clickhouse Для того и сделали чтобы и в хвост и в гриву... ;)

Я уже точно не помню, там больше половины значений в столбцах - NULL. Может поэтому выходит 10GB на две недели

источник

12:07пожаловаться #10

АШ

Алексей Шило... in ClickHouse не тормозит

Все доброго дня. Кто знает? Есть ли в конф файле возможность поднять лимиь max result rows выше 5 тысяч?

источник

12:37пожаловаться #11

S

Slach in ClickHouse не тормозит

Алексей Шило

Все доброго дня. Кто знает? Есть ли в конф файле возможность поднять лимиь max result rows выше 5 тысяч?

https://clickhouse.tech/docs/en/operations/settings/query-complexity/#setting-max_result_rows
тут ничего не сказано что нельзя поднять и что ограничение 5000

SELECT ... SETTINGS max_result_rows=0
сделайте посмотрите сработает ли

запрос через clickhouse-client пробовли сделать?

clickhouse.tech

Restrictions on Query Complexity | ClickHouse Documentation

Restrictions on Query Complexity Restrictions on query complexity are part of the settings. They are used to provide saf

источник

12:41пожаловаться #12

АС

Алексей Сенин... in ClickHouse не тормозит

Добрый день!

Господа, у меня такой вопрос:
у меня минута/рная инсталяция на сервере, с незначительным количеством иопсов внутри амазона. Иопсы заканчиваются, когда clickhouse “схлопывает” файлы для таблиц Merge Tree.

Есть ли какя-то возможность сделать так, чтобы этих файлов было меньше, или чтобы он их схлопывал реже?

источник

12:50пожаловаться #13

S

Slach in ClickHouse не тормозит

Алексей Сенин

Добрый день!

Господа, у меня такой вопрос:
у меня минута/рная инсталяция на сервере, с незначительным количеством иопсов внутри амазона. Иопсы заканчиваются, когда clickhouse “схлопывает” файлы для таблиц Merge Tree.

Есть ли какя-то возможность сделать так, чтобы этих файлов было меньше, или чтобы он их схлопывал реже?

да, вставляйте БОЛЬШИМИ БЛОКАМИ по 100 000 записей минимум
выбирайте правильный
PARTITION BY
чтобы в вставляемом блоке не было больше 100 paritiion

источник

13:00пожаловаться #14

АС

Алексей Сенин... in ClickHouse не тормозит

да, вставляйте БОЛЬШИМИ БЛОКАМИ по 100 000 записей минимум
выбирайте правильный
PARTITION BY
чтобы в вставляемом блоке не было больше 100 paritiion

А это как-то можно со стороны clickhouse настроить?

источник

13:01пожаловаться #15

S

Slach in ClickHouse не тормозит

Алексей Сенин

А это как-то можно со стороны clickhouse настроить?

вы хотите не правильного и не понимаете как и зачем clickhouse делает merge
хотите вставлять мелкими вставками используйте Buffer
https://clickhouse.tech/docs/en/engines/table-engines/special/buffer/

clickhouse.tech

Buffer | ClickHouse Documentation

Buffer Table Engine Buffers the data to write in RAM, periodically flushing it to another table. During the read operati

источник

13:01пожаловаться #16

АС

Алексей Сенин... in ClickHouse не тормозит

вы хотите не правильного и не понимаете как и зачем clickhouse делает merge
хотите вставлять мелкими вставками используйте Buffer
https://clickhouse.tech/docs/en/engines/table-engines/special/buffer/

clickhouse.tech

Buffer | ClickHouse Documentation

Buffer Table Engine Buffers the data to write in RAM, periodically flushing it to another table. During the read operati

Спасибо, сейчас ознакомлюсь.

источник

13:02пожаловаться #17

S

Slach in ClickHouse не тормозит

но повторюсь , лучше переписать приложение

ну или можно что нибудь типа вот такой утилиты использовать
https://github.com/nikepan/clickhouse-bulk

nikepan/clickhouse-bulk

Collects many small insterts to ClickHouse and send in big inserts - nikepan/clickhouse-bulk

источник

13:03пожаловаться #18

АС

Алексей Сенин... in ClickHouse не тормозит

но повторюсь , лучше переписать приложение

ну или можно что нибудь типа вот такой утилиты использовать
https://github.com/nikepan/clickhouse-bulk

nikepan/clickhouse-bulk

Collects many small insterts to ClickHouse and send in big inserts - nikepan/clickhouse-bulk

Там rsyslog, я ему буффера выкрутил, но, похоже что предложенный вами вариант может помочь

источник

13:04пожаловаться #19

BK

Bogdan Kolesnik in ClickHouse не тормозит

Привет, я новичок, можно как-то связать MongoDB и Clickhouse, и чем? GrahpQL, Kafka??

источник

13:08пожаловаться #20