Size: a a a

ClickHouse не тормозит

2021 February 04

AM

Alexey Milovidov in ClickHouse не тормозит
Переслано от Alexey Milovidov
Или более простой пример - по номеру банковской карты определить тип карты, банк, проверить корректность... там простая функция должна быть, но на SQL неудобно.
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Sergey Platonov
хм, INNER JOIN vOwen AS past ON (past.Date >= (vOwen.Date - toIntervalDay(6))) AND (past.Date <= vOwen.Date) не ест
Ну так он же пишет ошибку - джойны не умеют в неравенства.
Вместо этого делайте from table1 a, table2 b where a.val = b.val.
источник

SP

Sergey Platonov in ClickHouse не тормозит
да, уже в процессе, спасибо!
источник

AS

Alexey Sokolov in ClickHouse не тормозит
Alexey Sokolov
Ну так он же пишет ошибку - джойны не умеют в неравенства.
Вместо этого делайте from table1 a, table2 b where a.val = b.val.
В смысле a.val > b.val. Ну вы поняли)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
это кстати будет cartesian product тормозной
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
берите словарь range_hashed
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Den
Привет.

Меня зовут Денис и я работаю в ООО Топвизор. Публикую здесь это объявление с разрешения администратора этого чата. Нам необходим функционал, которого сейчас нет в ClickHouse. К сожалению, кастомная разработка требует саппорта уровня Essential. Вход туда стоит 22 000 000 миллиона рублей в год. Думаю, что разработка может стоить намного порядков дешевле. Уверен, функционал будет полезен не только нам, но и сообществу.



Итак, мы используем ClickHouse и нам не хватает такого функционала:



В MySQL есть понятия UDF - пользовательские функции, написанные на Си
Разыскивается специалист, который сможет добавить такие функции в CH.

Необходимо разработать программу, которая при запуске смотрит в папку и подключает необходимые классы. А в самой программе будет подобный код:

callUDF('filename', 'args')

==

Мы не знаем точно, сколько может стоить такая работа. По поводу сроков выполнения тоже нет определенного понимания. Если вы готовы взяться за эту работу, пожалуйста, напишите мне в личку или на почту den@topvisor.com для обсуждения сроков и стоимости работы.

Спасибо.
это нереальная задача, скорее можно реализовать конретные функции которые нужны
источник

MK

Mikhail Kamenshchiko... in ClickHouse не тормозит
Привет! Есть табличка с кликами на айтемы, хочу считать агрегаты по item_id в materialized view и периодически выгребать изменения из нее сторонним сервисом. Для этого нужно еще хранить время последнего изменения для каждого айтема. AggregatingMergeTree решает задачу, но агрегатную функцию нельзя поставить в условие фильтрации, а делать вложенный запрос кажется накладный, т.к. будет вычисляться агрегат по всей таблице. Какие есть пути решения?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Mikhail Kamenshchikov
Привет! Есть табличка с кликами на айтемы, хочу считать агрегаты по item_id в materialized view и периодически выгребать изменения из нее сторонним сервисом. Для этого нужно еще хранить время последнего изменения для каждого айтема. AggregatingMergeTree решает задачу, но агрегатную функцию нельзя поставить в условие фильтрации, а делать вложенный запрос кажется накладный, т.к. будет вычисляться агрегат по всей таблице. Какие есть пути решения?
что-что?

типа вычислять item_id  max(updated_at) и потом max(updated_at) >= today - 7 ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
проблема не в аггрегатной функции, а в несмерженных строках

в общем-то для max можно использовать simpleAggragateFunction
или делать finalizeAggregation для AggragateFunction
источник

DM

Danila Migalin in ClickHouse не тормозит
а есть какой-то хитрый способ выбрать все значения LowCardinality столбца?
у меня самое быстрое получилось через select col from table group by col, но оно все равно сканирует всю табличку, может как-то можно доступиться к самому dictionary, который хранит значения?
источник

DM

Danila Migalin in ClickHouse не тормозит
ах, вопрос снимается https://github.com/ClickHouse/ClickHouse/issues/4670
источник
2021 February 05

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danila Migalin
а есть какой-то хитрый способ выбрать все значения LowCardinality столбца?
у меня самое быстрое получилось через select col from table group by col, но оно все равно сканирует всю табличку, может как-то можно доступиться к самому dictionary, который хранит значения?
нету , хотели сделать отдельную функцию которая только словари смотрит но не сделали
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
т.е. проблема в том что
select col from table group by col
читает словари dict -- очень маленькие файлы и .bin -- очень большие
select col from table group by col
под капотом возможно выполняется более сложный код который проверяет есть права на строку или нет, поэтому заходит в bin
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Денни, добрый... что там у вас... день...  Не проконсультируете по Hetzner...  
пачка серверов, пишет в енж буфер, который сливается в null, оттуда МатВью в часов суммариМерж, оттуда матвью дневной суммариМерж.   В часовом пара миллиардов за день.
Сейчас стоит VPS 9-ти ядерный. И вроде как все хорошо, но иногда что-то с сеткой в ДЦ или что-то еще. И я начинаю видеть вставки в буфер табл висящую минуту... две...
Вот подкмал сменить VPS на реал серв.  Есть какие-то советы по выбору?  ПРосто обидно будет взять AX61-NVMe который будет все время спать
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
КХ сервер один
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Вячеслав Владимиров
Денни, добрый... что там у вас... день...  Не проконсультируете по Hetzner...  
пачка серверов, пишет в енж буфер, который сливается в null, оттуда МатВью в часов суммариМерж, оттуда матвью дневной суммариМерж.   В часовом пара миллиардов за день.
Сейчас стоит VPS 9-ти ядерный. И вроде как все хорошо, но иногда что-то с сеткой в ДЦ или что-то еще. И я начинаю видеть вставки в буфер табл висящую минуту... две...
Вот подкмал сменить VPS на реал серв.  Есть какие-то советы по выбору?  ПРосто обидно будет взять AX61-NVMe который будет все время спать
VPS не проверял, с железками нет проблем.
Там конечно с сетью чудеса бывают, и сыплются ошибки зукипера, но ничего особо страшного

да он стоит 100 евро , я бы взял , это же копейки по сравнению с вашей зарплатой
сколько VPS стоит?
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
один
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Вячеслав Владимиров
один
цена какая? 1 евро?
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Один VPS, но мы сейчас в Contabo
источник