Size: a a a

ClickHouse не тормозит

2021 February 18

DN

Demetra Nadya in ClickHouse не тормозит
При подключении через connect возникает ошибка none type object has not attribute encode
источник

DN

Demetra Nadya in ClickHouse не тормозит
Через Client работает
источник

DN

Demetra Nadya in ClickHouse не тормозит
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Денис Анатольевич
В ссылке как раз мой случай в первом же примере ))
и я написал этот пример, потому что сам у себя так сделал
источник

ДА

Денис Анатольевич... in ClickHouse не тормозит
спасибо, мужики, у меня все получилось :) крутая штука кликхаус
источник

S

Slach in ClickHouse не тормозит
Demetra Nadya
Кто использует clickhouse_driver для python
какой именно драйвер вы используете?

их несколько
https://github.com/mymarilyn/clickhouse-driver/
https://github.com/cloudflare/sqlalchemy-clickhouse
и
https://github.com/xzkostyan/clickhouse-sqlalchemy

Надежда на будущее не могли бы вы делать текстовый copy\paste вместо кривых фото с телефона?
скиньте пожалуйста python stacktrace  текстом ?
источник

DN

Demetra Nadya in ClickHouse не тормозит
источник

DN

Demetra Nadya in ClickHouse не тормозит
Traceback (most recent call last):
 File "test1.py", line 5, in <module>
   res = cursor.execute('SELECT count(*) FROM statistic_fs_send_2_5')
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/dbapi/cursor.py", line 106, in execute
   **execute_kwargs
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/client.py", line 233, in execute
   self.connection.force_connect()
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 202, in force_connect
   self.connect()
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 303, in connect
   return self._init_connection(host, port)
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 279, in _init_connection
   self.send_hello()
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 371, in send_hello
   write_binary_str(self.database, self.fout)
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/writer.py", line 19, in write_binary_str
   text = text.encode('utf-8')
AttributeError: 'NoneType' object has no attribute 'encode'
источник

S

Slach in ClickHouse не тормозит
Demetra Nadya
Traceback (most recent call last):
 File "test1.py", line 5, in <module>
   res = cursor.execute('SELECT count(*) FROM statistic_fs_send_2_5')
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/dbapi/cursor.py", line 106, in execute
   **execute_kwargs
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/client.py", line 233, in execute
   self.connection.force_connect()
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 202, in force_connect
   self.connect()
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 303, in connect
   return self._init_connection(host, port)
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 279, in _init_connection
   self.send_hello()
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 371, in send_hello
   write_binary_str(self.database, self.fout)
 File "/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/writer.py", line 19, in write_binary_str
   text = text.encode('utf-8')
AttributeError: 'NoneType' object has no attribute 'encode'
clickhouse-client -h localhost работает?

попробуйте еще port=9000 и database="default" указать еще?

что-то он законектиться на send_hello()
Не может
под отладкой можете
/home/nadya/.local/lib/python3.6/site-packages/clickhouse_driver/connection.py", line 371
breakpoint поставить тут?
write_binary_str(self.database, self.fout)
и посмотреть что там в self.database?
источник

DN

Demetra Nadya in ClickHouse не тормозит
заработало с портом и базой👍спасибо😀
источник

S

Slach in ClickHouse не тормозит
Demetra Nadya
заработало с портом и базой👍спасибо😀
попробуйте issue сделать на github проекта
по идее database должна в dbapi как то по умолчанию инициализироваться
источник

A

Andrey in ClickHouse не тормозит
День добрый. Есть такой запрос:
SELECT
   any(device) AS device,
   any(line_item_id) AS line_item_id,
   any(tactic) AS tactic,
   any(target) AS target,
   any(line_item_name) AS line_item_name,
   any(line_item_name_2) AS line_item_name_2,
   any(outside_target_dma) AS outside_target_dma,
   any(creative) AS creative,
   date AS date,
   any(inside_target_dma) AS inside_target_dma,
   toFloat64(sum(impression * __sign)) AS impression,
   any(channel) AS channel,
   __account_id AS account_id
FROM impressions_4930
GROUP BY
   date,
   __account_id,
   __row_hash,
   __row_id
HAVING sum(__sign) > 0

Таблица использует CollapsingMergeTree, поля в GROUP BY составляют ключ сортировки, короче - используем способ из документации для выполнения агрегаций без SELECT...FINAL. Правда, запрос превышает лимиты по памяти. Я последовательно снижал значение max_bytes_before_external_group_by и в итоге достиг значения в 20000000 (20 мегабайт), но результат не меняется:
Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (for query) exceeded: would use 46.57 GiB (attempt to allocate chunk of 4216924 bytes), maximum: 46.57 GiB: While executing AggregatingTransform. 

В чем может быть причина?
источник

A

Andrey in ClickHouse не тормозит
Пайплайн запроса

┌─explain──────────────────────────────────────────┐
│ (Expression)                                     │
│ ExpressionTransform                              │
│   (Filter)                                       │
│   FilterTransform                                │
│     (Aggregating)                                │
│     Resize 16 → 1                                │
│       AggregatingTransform × 16                  │
│         StrictResize 16 → 16                     │
│           (Expression)                           │
│           ExpressionTransform × 16               │
│             (SettingQuotaAndLimits)              │
│               (Expression)                       │
│               ExpressionTransform × 16           │
│                 (Materializing)                  │
│                 MaterializingTransform × 16      │
│                   (Expression)                   │
│                   ExpressionTransform × 16       │
│                     (SettingQuotaAndLimits)      │
│                       (ReadFromStorage)          │
│                       MergeTreeThread × 16 0 → 1 │
└──────────────────────────────────────────────────┘
источник

OS

Oleg Strekalov in ClickHouse не тормозит
Ребят подскажите пожалуйста, как вы в клике делаете агрегаты данных, если необходимо получить данные почасовые, а при выборе дня получить среднее, средневзвешенное
источник

K

Kid in ClickHouse не тормозит
Dj
да, все сами
к сожалению ничего не получили, через zkCli вижу только директорию /zookeeper и все.
или нужно их указать в конфигах кх, перезапустить кх и только тогда?
источник

EP

Evgen Pr in ClickHouse не тормозит
Всем привет. подскажите плз, если есть база на 1 шард и 3 реплики, таблицы всегда создаются на каждой реплике отдельно или можно как то это сделать автоматически запросом к одной реплике?
источник

AS

Aleksandr Strogonov in ClickHouse не тормозит
Evgen Pr
Всем привет. подскажите плз, если есть база на 1 шард и 3 реплики, таблицы всегда создаются на каждой реплике отдельно или можно как то это сделать автоматически запросом к одной реплике?
Create table on cluster
источник

EP

Evgen Pr in ClickHouse не тормозит
а с какой версии CH это поддерживается? и движ Replicated Merge Tree ?
источник

AS

Aleksandr Strogonov in ClickHouse не тормозит
Evgen Pr
а с какой версии CH это поддерживается? и движ Replicated Merge Tree ?
Поддерживает любой движок, появилось в версии, когда завезли функцию репликации, т.е. очень давно
источник

EP

Evgen Pr in ClickHouse не тормозит
Aleksandr Strogonov
Поддерживает любой движок, появилось в версии, когда завезли функцию репликации, т.е. очень давно
Большое спасибо
источник