Size: a a a

ClickHouse не тормозит

2021 March 12

Н

Наташа in ClickHouse не тормозит
Всем привет!
Пытаюсь залить любую таблицу в кликхаус через питон.
Возникает следующая ошибка:


Code: 27.
DB::Exception: Cannot parse input: expected '(' before: ')':  at row 0. Stack trace:
 
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x12db83cc in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xa57a629 in /usr/bin/clickhouse


Ну и так далее. Началось после
обновления версий анаконды и питона.
В чем может быть дело ?
источник

S

Slach in ClickHouse не тормозит
Наташа
Всем привет!
Пытаюсь залить любую таблицу в кликхаус через питон.
Возникает следующая ошибка:


Code: 27.
DB::Exception: Cannot parse input: expected '(' before: ')':  at row 0. Stack trace:
 
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x12db83cc in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xa57a629 in /usr/bin/clickhouse


Ну и так далее. Началось после
обновления версий анаконды и питона.
В чем может быть дело ?
ну видимо ваш питон шлет что-то не то в SQL запросе
что такое before: ??

посмотрите system.query_log с текстом запроса полным
источник

EP

Evgen Pr in ClickHouse не тормозит
Наташа
Всем привет!
Пытаюсь залить любую таблицу в кликхаус через питон.
Возникает следующая ошибка:


Code: 27.
DB::Exception: Cannot parse input: expected '(' before: ')':  at row 0. Stack trace:
 
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x12db83cc in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xa57a629 in /usr/bin/clickhouse


Ну и так далее. Началось после
обновления версий анаконды и питона.
В чем может быть дело ?
А какой клиент используете? не pandahouse случайно?
источник

Н

Наташа in ClickHouse не тормозит
Slach
ну видимо ваш питон шлет что-то не то в SQL запросе
что такое before: ??

посмотрите system.query_log с текстом запроса полным
Before это часть ошибки
источник

Н

Наташа in ClickHouse не тормозит
Evgen Pr
А какой клиент используете? не pandahouse случайно?
А как это узнать ?
источник

EP

Evgen Pr in ClickHouse не тормозит
ну в импортах обычно написано в py файле
источник

SB

Sergey Bubnov in ClickHouse не тормозит
Всем привет.
Если у меня в таблице всего 3 поля
some_array (уникальные миксы массивов)
array_type = могут быть значение только 1, 2, 3, 4
и array_count = могут быть значения от 1 до 100 (int)

На какую колонку лучше делать партицию и в каком порядке лучше делать order?
источник

FN

Fred Navruzov in ClickHouse не тормозит
Господа-знатоки, а подскажите пожалуйста, можно ли сделать такую вещь?
(и если да - то какой максимально "православный" способ это сделать в КХ?)

Есть таблица t, в ней колонка entity_id (Int32), и другая колонка  similar_entities Array(Int32)  все элементы массива - entity_id,
также есть колонка-агрегат agg_col (допустим, среднее значение скорости для entity_id)

можно ли для каждой строки вычислить агрегационную функцию F (допустим avg / max /...) по колонке similar_entities
т.е. для каждой строки данной таблицы с entity_id зайти в массив similar_entities, отфильтровать таблицу t как entity_id in (similar_entities), взять F(agg_col) и записать его в ту же строку?
источник

Н

Наташа in ClickHouse не тормозит
Evgen Pr
ну в импортах обычно написано в py файле
Там просто
From clickhouse_driver import Client
Import pandas as pd
Import sys
Import re
источник

АК

Анатолий Костюшин... in ClickHouse не тормозит
Наташа
Там просто
From clickhouse_driver import Client
Import pandas as pd
Import sys
Import re
pip/pip3 list, там указана версия
источник

S

Slach in ClickHouse не тормозит
Sergey Bubnov
Всем привет.
Если у меня в таблице всего 3 поля
some_array (уникальные миксы массивов)
array_type = могут быть значение только 1, 2, 3, 4
и array_count = могут быть значения от 1 до 100 (int)

На какую колонку лучше делать партицию и в каком порядке лучше делать order?
сколько записей в таблице?
возможно партиции вам и не нужны

выборка в WHERE какие поля указывает?
источник

Н

Наташа in ClickHouse не тормозит
Click 7.1.2
Clickhouse_driver 0.2.0
источник

SB

Sergey Bubnov in ClickHouse не тормозит
Slach
сколько записей в таблице?
возможно партиции вам и не нужны

выборка в WHERE какие поля указывает?
Записей - ну допустим 1ккк будет
Во wehere будут использоваться все поля
where hasAll(some_array, [1,2,3]) and  array_type = 1 and array_count > 60
Как пример
источник

M

Mishanya in ClickHouse не тормозит
Sergey Bubnov
Всем привет.
Если у меня в таблице всего 3 поля
some_array (уникальные миксы массивов)
array_type = могут быть значение только 1, 2, 3, 4
и array_count = могут быть значения от 1 до 100 (int)

На какую колонку лучше делать партицию и в каком порядке лучше делать order?
я бы делал order by array_type, array_count
партиционирование не делал бы
источник

S

Slach in ClickHouse не тормозит
Sergey Bubnov
Записей - ну допустим 1ккк будет
Во wehere будут использоваться все поля
where hasAll(some_array, [1,2,3]) and  array_type = 1 and array_count > 60
Как пример
ORDER BY array_type, array_count

IMHO
PARTITION BY у вас тут максимум по array_type может быть

но это не факт что поможет, если вы сделаете array_type IN ( ... )
то все равно будут партиции сканироваться
и вставка будет более медленная
источник

SB

Sergey Bubnov in ClickHouse не тормозит
Понял, спасибо! Так и сделаю
источник

S

Slach in ClickHouse не тормозит
Наташа
Click 7.1.2
Clickhouse_driver 0.2.0
что такое Clik 7.1.2?

повторю
подключитесь к серверу посмотрите содержимое таблицы system.query_log
там будут и ошибка и исходный запрос где там скобки какие то не те указываются
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Привет! Запрос на отдельных шардах выполняется крайне быстро (за 3 секунды), а на distributed таблице аж 45 секунд. Куда копнуть чтобы понять в чем такая задержка вызвана? Неужели кх так долго стягивает на главную ноду данные а потом мерджит?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Илья Максимов
Привет! Запрос на отдельных шардах выполняется крайне быстро (за 3 секунды), а на distributed таблице аж 45 секунд. Куда копнуть чтобы понять в чем такая задержка вызвана? Неужели кх так долго стягивает на главную ноду данные а потом мерджит?
Если по сети много пересылать такое возможно, какая версия кх
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
Dmitry Titov
Если по сети много пересылать такое возможно, какая версия кх
21.1.2.15
в сеть ничего не упирается уже смотрел
источник