Size: a a a

ClickHouse не тормозит

2020 July 07

NO

N O in ClickHouse не тормозит
Konstantin Sverdlov
Коллеги, привет!

Есть таблица:

Date | Name
2020-06-03 | B
2020-06-03 | C
2020-06-02 | A
2020-06-02 | B
2020-06-02 | C
2020-06-01 | A
2020-06-01 | C

Как получить такой отчет:

Name | Вхождение по датам, начиная с последней
A | [0,1,1]
B | [1,1,0]
C | [1,1,1]

?
Предполагаю, что к полной таблице, которая будет содержать полной список дат и имен, надо сделать left join имеющийся. Затем сгруппировать по имени
источник

a

alexeysh RnD in ClickHouse не тормозит
Михаил Озернов
спасибо, а если надо из 4 выбрать рандомно 2?
select arrayElement(['a', 'b', 'c'], rand()%3+1), arrayElement(['a', 'b', 'c'], rand()%3+1)
)))
источник

KS

Konstantin Sverdlov in ClickHouse не тормозит
N O
Предполагаю, что к полной таблице, которая будет содержать полной список дат и имен, надо сделать left join имеющийся. Затем сгруппировать по имени
спасибо, буду пробовать.
источник

МО

Михаил Озернов... in ClickHouse не тормозит
Dj
select arr[rand()%length(arr)+1] from 
(select ['a', 'b', 'c'] as arr);

думаю логика ясна?
да, спасибо
источник

DS

Denis Stadnik in ClickHouse не тормозит
как подключиться к базе Click House через через пайтоновский clickhouse_driver если подключение осуществляется через SSH? Вот так почему-то не работает
import sshtunnel as sshtunnel
from clickhouse_driver import connect

with sshtunnel.SSHTunnelForwarder(
   ('localhost', 22),
   ssh_username="root",
   ssh_password="root",
   remote_bind_address=('localhost', 9000)) as server:

   local_port = server.local_bind_port
   print(local_port)


   conn = connect(host='localhost', port=local_port, database='ertb', user='default', password='')

   cursor = conn.cursor()
   cursor.execute('SHOW TABLES')
   print(cursor.fetchall())
источник

K

Kostya in ClickHouse не тормозит
Denis Stadnik
как подключиться к базе Click House через через пайтоновский clickhouse_driver если подключение осуществляется через SSH? Вот так почему-то не работает
import sshtunnel as sshtunnel
from clickhouse_driver import connect

with sshtunnel.SSHTunnelForwarder(
   ('localhost', 22),
   ssh_username="root",
   ssh_password="root",
   remote_bind_address=('localhost', 9000)) as server:

   local_port = server.local_bind_port
   print(local_port)


   conn = connect(host='localhost', port=local_port, database='ertb', user='default', password='')

   cursor = conn.cursor()
   cursor.execute('SHOW TABLES')
   print(cursor.fetchall())
Попробуйте для начала поднять туннель через команду ssh и соединиться по локальному порту.
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Konstantin Sverdlov
Коллеги, привет!

Есть таблица:

Date | Name
2020-06-03 | B
2020-06-03 | C
2020-06-02 | A
2020-06-02 | B
2020-06-02 | C
2020-06-01 | A
2020-06-01 | C

Как получить такой отчет:

Name | Вхождение по датам, начиная с последней
A | [0,1,1]
B | [1,1,0]
C | [1,1,1]

?
SELECT *
FROM test

┌───────Date─┬─Name─┐
│ 2020-06-02 │ A    │
│ 2020-06-01 │ A    │
│ 2020-06-03 │ B    │
│ 2020-06-02 │ B    │
│ 2020-06-03 │ C    │
│ 2020-06-02 │ C    │
│ 2020-06-01 │ C    │
└────────────┴──────┘

7 rows in set. Elapsed: 0.004 sec.

SET joined_subquery_requires_alias = 0

Ok.

0 rows in set. Elapsed: 0.001 sec.


SELECT
   Name,
   groupArray(flag)
FROM
(
   SELECT
       Name,
       sum(Date = Date2) AS flag
   FROM
   (
       SELECT
           *,
           1 AS joinusingme
       FROM test
       INNER JOIN
       (
           SELECT
               Date AS Date2,
               1 AS joinusingme
           FROM test
           GROUP BY Date
       ) USING (joinusingme)
   )
   GROUP BY
       Name,
       Date2
   ORDER BY
       Name ASC,
       Date2 DESC
)
GROUP BY Name

┌─Name─┬─groupArray(flag)─┐
│ B    │ [1,1,0]          │
│ C    │ [1,1,1]          │
│ A    │ [0,1,1]          │
└──────┴──────────────────┘

3 rows in set. Elapsed: 0.004 sec.
источник

KS

Konstantin Sverdlov in ClickHouse не тормозит
Константин Трофимов
SELECT *
FROM test

┌───────Date─┬─Name─┐
│ 2020-06-02 │ A    │
│ 2020-06-01 │ A    │
│ 2020-06-03 │ B    │
│ 2020-06-02 │ B    │
│ 2020-06-03 │ C    │
│ 2020-06-02 │ C    │
│ 2020-06-01 │ C    │
└────────────┴──────┘

7 rows in set. Elapsed: 0.004 sec.

SET joined_subquery_requires_alias = 0

Ok.

0 rows in set. Elapsed: 0.001 sec.


SELECT
   Name,
   groupArray(flag)
FROM
(
   SELECT
       Name,
       sum(Date = Date2) AS flag
   FROM
   (
       SELECT
           *,
           1 AS joinusingme
       FROM test
       INNER JOIN
       (
           SELECT
               Date AS Date2,
               1 AS joinusingme
           FROM test
           GROUP BY Date
       ) USING (joinusingme)
   )
   GROUP BY
       Name,
       Date2
   ORDER BY
       Name ASC,
       Date2 DESC
)
GROUP BY Name

┌─Name─┬─groupArray(flag)─┐
│ B    │ [1,1,0]          │
│ C    │ [1,1,1]          │
│ A    │ [0,1,1]          │
└──────┴──────────────────┘

3 rows in set. Elapsed: 0.004 sec.
WOW 🙂 Спасибо
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
где то может быть лишний group by или order by или лишний уровень вложенности, я просто накидал "хотя б как то"
источник

Д

Данияр in ClickHouse не тормозит
Всем привет. Функция ngramSearch поддерживает русские символы?

Я делаю поиск по 100% совпадению, в итоге он выдает строку в которой такого слова тупо нет
источник

RO

Required Optional in ClickHouse не тормозит
добрый днь коллеги! Кто подскажет как detached part из одной таблицы перенести в другую... Мув не предлагать так как дэтачэдом стало из-за брокен и я хочу востановить в другой таблице, убедится, что нет дупликатов и вставить потом в основную мувом...
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
возможно не понял вопроса... ну парты в детаче это просто файлики на файлухе в папочку организованные. эээм... не предлагать мув? ну можно ещё cp -pr )))
источник

a

alexeysh RnD in ClickHouse не тормозит
Required Optional
добрый днь коллеги! Кто подскажет как detached part из одной таблицы перенести в другую... Мув не предлагать так как дэтачэдом стало из-за брокен и я хочу востановить в другой таблице, убедится, что нет дупликатов и вставить потом в основную мувом...
Скопоруй в detached
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Добрый день. Подскажите пожалуйста собираю кластер по примеру https://www.altinity.com/blog/2018/5/10/circular-replication-cluster-topology-in-clickhouse. Таблицы создал без ошибок. Делаю INSERT данных, данные распределяются на три ноды.  При SELECT count(*) FROM default.tables_name на каждой ноде значение одинаковое, но при SELECT count(*) FROM default.dtables_name созданая с движком Distributed значение разные получаются, почему так может быть?
источник

RO

Required Optional in ClickHouse не тормозит
alexeysh RnD
Скопоруй в detached
а средствами самого КХ? невозможно?
источник

❌ Constantine ❌ in ClickHouse не тормозит
господа, когда для дефолтного диска устанавливаем keep_free_space_bytes и он достигается, то что это значит, база переходит в режим RO?
источник

YV

Yuri Velgosha in ClickHouse не тормозит
❌ Constantine ❌
господа, когда для дефолтного диска устанавливаем keep_free_space_bytes и он достигается, то что это значит, база переходит в режим RO?
Ну в доке написано, что
keep_free_space_bytes — размер зарезервированного свободного места на диске.
Видимо как в винде создаётся какой-нить файл-оккупант, который это место резервирует. И если место кончается, он приносится в жертву :)
источник

❌ Constantine ❌ in ClickHouse не тормозит
Yuri Velgosha
Ну в доке написано, что
keep_free_space_bytes — размер зарезервированного свободного места на диске.
Видимо как в винде создаётся какой-нить файл-оккупант, который это место резервирует. И если место кончается, он приносится в жертву :)
не заню как там в винде это работает, но тут не очень ясно как работает. и проверить пока нет возможности ((
источник

❌ Constantine ❌ in ClickHouse не тормозит
то если бы дефолтный диск был бы в какой нить политике по перемещению данных - тут все одназначно. но дефолтный диск нельзя в политику добавить
источник

PB

Pavlo Bashynskiy in ClickHouse не тормозит
Привет. Очень хочется чтоб CH заполнил еще одну нишу в системе мониторинга и начал собирать данньіе трасировки от Jaeger. Єто позволит не держать отдельньій сторедж в инфраструктуре, специально для Jaeger, когда все остальное уже хранится в CH.
Сейчас завершение плагина CH для Jaeger сдерживают єта проблема в CH
https://github.com/ClickHouse/ClickHouse/issues/11564
и кажется єта https://github.com/ClickHouse/ClickHouse/issues/11482
Что необходимо чтоб пофорсить єти иш’юсьі?
источник