Телеграмм чат группы clickhouse_ru страница 7987

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4153 membersпожаловаться на группу

2020 August 09

v

vitakor in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

в общем КХ создан с идеей что все данные разложены по колонкам в готовом виде. КХ Работает быстро потому что в функцию передается указатель на готовый список значений. И с точки зрения КХ единственный православный вариант решения вашей задачи это раскладывание в 400-800 колонок.

Просто читал про историю CH и у меня задача похожая - сервис аналитики для моб. приложений. В яндекс метрике же есть кастомные ивенты... Получается, нужно мапить типизированные колонки на определенный параметр события, я правильно понимаю?

источник

19:06пожаловаться #1

DC

Denny Crane (I don't... in ClickHouse не тормозит

Просто читал про историю CH и у меня задача похожая - сервис аналитики для моб. приложений. В яндекс метрике же есть кастомные ивенты... Получается, нужно мапить типизированные колонки на определенный параметр события, я правильно понимаю?

схема бд яндекс метрики не секрет https://clickhouse.tech/docs/en/getting-started/example-datasets/metrica/
там все разложено по колонкам, микроскопическая часть кастомных атрибутов лежит ParsedParams

CREATE TABLE datasets.hits_v1
...
ParsedParams Nested(Key1 String,Key2 String,Key3 String,Key4 String,Key5 String,ValueDouble Float64),
...

источник

19:11пожаловаться #2

v

vitakor in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

схема бд яндекс метрики не секрет https://clickhouse.tech/docs/en/getting-started/example-datasets/metrica/
там все разложено по колонкам, микроскопическая часть кастомных атрибутов лежит ParsedParams

CREATE TABLE datasets.hits_v1
...
ParsedParams Nested(Key1 String,Key2 String,Key3 String,Key4 String,Key5 String,ValueDouble Float64),
...

Спасибо большое! Вы мне очень помогли.

источник

19:12пожаловаться #3

D

Dj in ClickHouse не тормозит

Привет!
Есть задача в сохранении ивентов с разным числом и типами параметров... Как эту задачу лучше решить в CH? Думаю EAV неочень из-за джойнов или норм?

У нас как есть кейс с еав, но у нас в 80% обращению по ключу, плюс в день данных мало (~400млн), нет sub-second критичности времени запросов.
ну и КХ потому что в другом продукте использовали КХ (т.е объективно - причины другие).
но КХ - настоящий "микроскоп". забить им можно вполне много вещей

источник

20:15пожаловаться #4

v

vitakor in ClickHouse не тормозит

У нас как есть кейс с еав, но у нас в 80% обращению по ключу, плюс в день данных мало (~400млн), нет sub-second критичности времени запросов.
ну и КХ потому что в другом продукте использовали КХ (т.е объективно - причины другие).
но КХ - настоящий "микроскоп". забить им можно вполне много вещей

А у меня агрегация по кастомным параметрам в основном

источник

21:06пожаловаться #5

D

Dj in ClickHouse не тормозит

А у меня агрегация по кастомным параметрам в основном

Лучше не надо

источник

21:11пожаловаться #6

v

vitakor in ClickHouse не тормозит

Лучше не надо

Так вот и ищу решение... КХ мне понравился по многим параметрам, думал его применить... но похоже, к этой задаче не получится

источник

21:13пожаловаться #7

e

er@essbase.ru in ClickHouse не тормозит

https://sourceforge.net/projects/in2sql/

Добавил поддержку CH как ODBC и как Cloud

Excel AddIn : In2Sql

Download Excel AddIn : In2Sql for free. ODBC SQL Object Explorer. Connection Manager. Sql Query Editor. https://sourceforge.net/projects/in2sql

Video for best usage https://rb.gy/tvl8lk

This Excel Addin helps SQL analytic create an Excel report based on ODBC relational data. *Creates table base on data from a relational database
*Generate a pivot report using the same external connection (1)
*Some ad-hoc tools are available - like "keep only" and "remove only"
*you can use the row limit option for exploring the largest dataset
*The ODBC connection manager is available
*auto-build query tool can create SQL select statement by using different database tables with matching them by column name

news and updates

-- change list --
v03 beta
resolve the problem with an untrusted source
changed Sql Editor
fixed behavior for "update rows"

источник

22:06пожаловаться #8

S

Slach in ClickHouse не тормозит

https://sourceforge.net/projects/in2sql/

Добавил поддержку CH как ODBC и как Cloud

Excel AddIn : In2Sql

Download Excel AddIn : In2Sql for free. ODBC SQL Object Explorer. Connection Manager. Sql Query Editor. https://sourceforge.net/projects/in2sql

Video for best usage https://rb.gy/tvl8lk

This Excel Addin helps SQL analytic create an Excel report based on ODBC relational data. *Creates table base on data from a relational database
*Generate a pivot report using the same external connection (1)
*Some ad-hoc tools are available - like "keep only" and "remove only"
*you can use the row limit option for exploring the largest dataset
*The ODBC connection manager is available
*auto-build query tool can create SQL select statement by using different database tables with matching them by column name

news and updates

-- change list --
v03 beta
resolve the problem with an untrusted source
changed Sql Editor
fixed behavior for "update rows"

о ! круто =)

источник

22:14пожаловаться #9

S

Slach in ClickHouse не тормозит

ODBC драйвер clickhouse обязателен?

источник

22:15пожаловаться #10

e

er@essbase.ru in ClickHouse не тормозит

для Cloud подключения - нет

источник

22:16пожаловаться #11

S

Slach in ClickHouse не тормозит

;) ок, а почему такой странный способ распостранения? sourceforge лет 5 уже не встречал там живых проектов =) вроде все на github выкладывают

источник

22:17пожаловаться #12

S

Slach in ClickHouse не тормозит

Плагин хороший!

источник

22:18пожаловаться #13

e

er@essbase.ru in ClickHouse не тормозит

на гитхабе только код - мне кажется что SF проще для рекламы
https://github.com/er77/in2sql

источник

22:19пожаловаться #14

2020 August 10

IA

Ilia Ablamonov in ClickHouse не тормозит

Pavel L

Всем привет.
Как вы проводите миграции? По ответам вижу, что у всех что-то самописное, но может появилась уже версия flyway или liquibase с поддержкой КХ?
вижу пр https://github.com/flyway/flyway/pull/2640, но он не вмержен пока что.

Yet another ClickHouse support by a-konyaev · Pull Request #2640 · flyway/flyway

Based on #2166 and #1773
This one has some improvements in comparison to previous implementations:

more accurate declaration of the schema table's columns (types and default values)
&q...

Используем https://github.com/amacneil/dbmate , дописали туда поддержку кликхауса, работает.

amacneil/dbmate

:rocket: A lightweight, framework-agnostic database migration tool. - amacneil/dbmate

источник

10:39пожаловаться #15

A

Alex in ClickHouse не тормозит

Всем привет, подскажите пожалуйста как написать запрос, выборка из MySQL + JOIN табличку в кликхаусе при условии что она Engine = replacingMergeTree т.е. как джойнить смерженные данные или куда писать FINAL)

источник

10:55пожаловаться #16

S

Slach in ClickHouse не тормозит

Всем привет, подскажите пожалуйста как написать запрос, выборка из MySQL + JOIN табличку в кликхаусе при условии что она Engine = replacingMergeTree т.е. как джойнить смерженные данные или куда писать FINAL)

используйте dictGet и ключевое слово SELECT ... FROM ... FINAL
https://clickhouse.tech/docs/en/sql-reference/statements/select/from/#select-from-final
https://clickhouse.tech/docs/en/sql-reference/functions/ext-dict-functions/#dictget

MySQL табличку в CREATE DICTIONARY ... SOURCE(MYSQL()) загоните если конечно там не десятки миллионов записей

clickhouse.tech

FROM | ClickHouse Documentation

FROM Clause The FROM clause specifies the source to read data from: Table Subquery Table function JOIN and ARRAY JOIN cl

источник

10:59пожаловаться #17

A

Alex in ClickHouse не тормозит

используйте dictGet и ключевое слово SELECT ... FROM ... FINAL
https://clickhouse.tech/docs/en/sql-reference/statements/select/from/#select-from-final
https://clickhouse.tech/docs/en/sql-reference/functions/ext-dict-functions/#dictget

MySQL табличку в CREATE DICTIONARY ... SOURCE(MYSQL()) загоните если конечно там не десятки миллионов записей

clickhouse.tech

FROM | ClickHouse Documentation

FROM Clause The FROM clause specifies the source to read data from: Table Subquery Table function JOIN and ARRAY JOIN cl

благодарю, буду копать))

источник

11:06пожаловаться #18

PL

Paul ❌ Loyd in ClickHouse не тормозит

Pavel L

Всем привет.
Как вы проводите миграции? По ответам вижу, что у всех что-то самописное, но может появилась уже версия flyway или liquibase с поддержкой КХ?
вижу пр https://github.com/flyway/flyway/pull/2640, но он не вмержен пока что.

Yet another ClickHouse support by a-konyaev · Pull Request #2640 · flyway/flyway

Based on #2166 and #1773
This one has some improvements in comparison to previous implementations:

more accurate declaration of the schema table's columns (types and default values)
&q...

Мы используем https://github.com/golang-migrate/migrate

golang-migrate/migrate

Database migrations. CLI and Golang library. Contribute to golang-migrate/migrate development by creating an account on GitHub.

источник

11:16пожаловаться #19

EM

Eugene Makrushin in ClickHouse не тормозит

Всем привет. Подскажите, пожалуйста:
- есть возможность запустить фильтрацию до CROSS JOIN?
- или запустить CROSS JOIN на подзапросах?

источник

11:26пожаловаться #20