Size: a a a

ClickHouse не тормозит

2020 September 09

PL

Pavel Larkin in ClickHouse не тормозит
может возникла какая-то несовместимость в таблицах на разных машинах при обновлении (часть данных складывались в каком-то новом виде, а часть в старом)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Pavel Larkin
ошибка одинаковая в полном запросе, и если отдельно самостоятельно запускать подзапрос
причем тут String - я сам не понимаю)
вот такой запрос рабоатает?

SELECT
     month AS month_2,
     itemId AS itemId_2,
     type AS type_2,
     argMax( quantilesTDigestMerge(0.1, 0.15, 0.2, 0.25, 1)(value), version) AS value_2,
     max(version) AS version_2
   FROM db1.t2
   WHERE
     month = '2020-08-01'
     AND itemId % 10 = 0
   GROUP BY
     month_2,
     type_2,
     itemId_2
источник

PL

Pavel Larkin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
вот такой запрос рабоатает?

SELECT
     month AS month_2,
     itemId AS itemId_2,
     type AS type_2,
     argMax( quantilesTDigestMerge(0.1, 0.15, 0.2, 0.25, 1)(value), version) AS value_2,
     max(version) AS version_2
   FROM db1.t2
   WHERE
     month = '2020-08-01'
     AND itemId % 10 = 0
   GROUP BY
     month_2,
     type_2,
     itemId_2
Отвечает ошибкой
DB::Exception: Aggregate function quantilesTDigestMerge(0.1, 0.15, 0.2, 0.25, 1)(value) is found inside another aggregate function in query (version 19.13.1.11 (official build))
источник

PL

Pavel Larkin in ClickHouse не тормозит
Нагрепал трейс ошибки
https://pastebin.com/qAmVcHUz
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Pavel Larkin
Отвечает ошибкой
DB::Exception: Aggregate function quantilesTDigestMerge(0.1, 0.15, 0.2, 0.25, 1)(value) is found inside another aggregate function in query (version 19.13.1.11 (official build))
ну фиг знает. В любом случае никто чинить не будет 19.13, надо на 20.9 разбираться
источник

PL

Pavel Larkin in ClickHouse не тормозит
справедливо) все-равно спасибо!
источник
2020 September 10

D

Denis in ClickHouse не тормозит
Здравствуйте. Только учусь танцевать с Clickhouse'ом, поэтому вопрос может показаться примитивным.
Пытаюсь построить загрузку данных из MSSQL в click, в
collapsing merge tree. Хотел сделать через ODBC таблицу clickhouse'а. Установил unixodbc и freetds. Настроил odbc.ini
создал соответствующую таблицу в clickhouse. Не работает. Начал разбираться и выяснил, что учетные данные, которые указываем в
odbc.ini почему-то не подхватываются драйвером odbc. Т.к. попробовал соединиться с Mssql через isql ..., соединяется только если в командной строке указан пользователь и пароль. Но синтаксис таблицы c движком ODBC не предусматривает указание учетки, только DSN, база и таблица.
Подскажите, есть ли решение ? Или только csv ?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Denis
Здравствуйте. Только учусь танцевать с Clickhouse'ом, поэтому вопрос может показаться примитивным.
Пытаюсь построить загрузку данных из MSSQL в click, в
collapsing merge tree. Хотел сделать через ODBC таблицу clickhouse'а. Установил unixodbc и freetds. Настроил odbc.ini
создал соответствующую таблицу в clickhouse. Не работает. Начал разбираться и выяснил, что учетные данные, которые указываем в
odbc.ini почему-то не подхватываются драйвером odbc. Т.к. попробовал соединиться с Mssql через isql ..., соединяется только если в командной строке указан пользователь и пароль. Но синтаксис таблицы c движком ODBC не предусматривает указание учетки, только DSN, база и таблица.
Подскажите, есть ли решение ? Или только csv ?
а если после DSN   ODBC( 'DSN=MSSQL;UID=test;PWD=test', база, ...
источник

D

Denis in ClickHouse не тормозит
Да, уже и так пробовал, не получилось.
источник

D

Denis in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а если после DSN   ODBC( 'DSN=MSSQL;UID=test;PWD=test', база, ...
Спасибо, за идею!  Заработало, правда пришлось допилить: Получилось так:ODBC('DSN=MSSQL;UID=test;PWD=test;Database='database-test','схема', 'таблица')
источник

OK

Oleg Kuznetsov in ClickHouse не тормозит
Подскажите новичку. По наследству осталась база на КликХаузе, в неё грузятся логи одной известной проги с желтым лого. Все было хорошо, пока в один прекрасный день отправка логов не зависала. Прога откуда выгрузка идет не показывает каких-либо ошибок, просто отправляет запрос на добавление очередной порции в клик и покорно ждет. А вот клик эту партию принимает, но ничего в ответ не дает и не понятно вообще что происходит и куда смотреть. В логах вот такое:
источник

OK

Oleg Kuznetsov in ClickHouse не тормозит
источник

OK

Oleg Kuznetsov in ClickHouse не тормозит
источник

AE

A E in ClickHouse не тормозит
Oleg Kuznetsov
Подскажите новичку. По наследству осталась база на КликХаузе, в неё грузятся логи одной известной проги с желтым лого. Все было хорошо, пока в один прекрасный день отправка логов не зависала. Прога откуда выгрузка идет не показывает каких-либо ошибок, просто отправляет запрос на добавление очередной порции в клик и покорно ждет. А вот клик эту партию принимает, но ничего в ответ не дает и не понятно вообще что происходит и куда смотреть. В логах вот такое:
Судя по всему, либо нет команды chown либо неправильный путь к нему прописан
источник

IA

Ilia Ablamonov in ClickHouse не тормозит
Наглый Спамер
Всем привет.  
Коллеги у меня у меня такая задача.  Есть интернет магазин для которого хотим настроить сквозную аналитику для наведения прозрачности в маркетинговых расходах. Хотели попробовать уже имеющиеся сервисы,  но в рамках ресерча ничего толкового не нашли. В рамках интернет магазина мы используем следующий стек технологий:

Яндекс Метрика и Google Analytics,  сервис коллтрекинга, онлайн чат, CRM. 

В рамках диджитал маркетинга мы используем контекстную рекламу (Директ и гугл адс)  таргетированную рекламу (Фейсбук, Майтаргет), 
Маркетплейсы (Яндекс Маркет). 


В чем сложность?  Первоисточником данных я как исполнитель решил использовать logs API Яндекс Метрики причина банально простая,  есть доступ ко всем логам. Плюс ко всему можно спокойно извлекать данные о необходимых мне источниках напрямую из Метрики,  а извлеченные данные уже обогащать данными из коллтрекинга, онлайн чата и CRM.  

Проблема. 

Для хранения данных полученных из logs API  документация Яндекса советует использовать базу данных Clickhouse, так вот кликхауз является колончатой БД,  то есть данные организованы не по принципу строкового хранения как это устроено в реляционных БД. В связи с этим такой вопрос на сколько правильно использовать в моей задаче Кликхауз,  на сколько гиморно сводить данные из реляционной базы данных (СRM) в кликхауз?  


Еще важный момент наша компания планирует в дальнейшем расширять функционал  хранилища, в связи с чем вопрос становится еще более актуальным. Какие сложности,  плюсы и минусы использования за основу Кликхауза, стоит ли его использовать в моей задаче,  или данные из Метрики сводить в кликхауз, а все остальные данные сводить в какой-нибудь PostgreSql  и уже метчить данные из кликхауза с данными постгреса? Спасибо за ответы.  
Привет
В сквозной аналитике это самая простая задача.
А вот точность данных и разные интеграции..
Мы это делаем в rick.ai, если ещё не видели — советую рассмотреть
источник

-

-_- in ClickHouse не тормозит
Добрый день. Разбираюсь с языком запросов, появилось несколько вопросов. Первый - возможно ли сделать цикл с перебором значений, взятыми из запроса, передавать эти значения другому запросу (процедуре)? Второй вопрос - делаю выборку из дерева, куда данные пришли из графита, чтобы сделать запрос трёх переменных мне нужно делать три разных запроса (причина - значения приходят path/value, я их хочу видеть в определённых переменных), а третий вопрос - возможно ли снизить нагрузку на процессор при выполнении запросов (пусть будут медленнее обрабатываться, но не просаживать CPU)? Заранее спасибо.
источник

AK

Alexander Kononov in ClickHouse не тормозит
Первое выглядит как join
источник

MG

Mikhail Glader in ClickHouse не тормозит
Всем привет. Есть ли какой-то популярный форум по кликхаусу, где можно задать большой вопрос? В чате не очень удобно, ответы теряются.
источник

-

-_- in ClickHouse не тормозит
Alexander Kononov
Первое выглядит как join
есть пример использования? Join использую для второго вопроса, объединяя три таблицы в одну
источник

SC

Smoked Cheese in ClickHouse не тормозит
Mikhail Glader
Всем привет. Есть ли какой-то популярный форум по кликхаусу, где можно задать большой вопрос? В чате не очень удобно, ответы теряются.
Issues в гитхабе
источник