Size: a a a

ClickHouse не тормозит

2021 January 13

BB

Bral Bral in ClickHouse не тормозит
Добрый вечер. Есть 2 кластера в разных сетях. В первом случае 6 машин, в другом 5. Так вот, нужно перетащить данные из 1 кластера во второй. Хотел через freeze переносить партиции, но смущает, что количество серверов не сходится во втором случае, и одна окажется лишней ( равномерно не получится перетащить ) . Но выходит, что придется выгружать в файлы и опять потом заносить. Что можете посоветовать ?
источник

v

vladamir in ClickHouse не тормозит
Bral Bral
Добрый вечер. Есть 2 кластера в разных сетях. В первом случае 6 машин, в другом 5. Так вот, нужно перетащить данные из 1 кластера во второй. Хотел через freeze переносить партиции, но смущает, что количество серверов не сходится во втором случае, и одна окажется лишней ( равномерно не получится перетащить ) . Но выходит, что придется выгружать в файлы и опять потом заносить. Что можете посоветовать ?
это ща так спайс рекламируют?)
источник

D

Dj in ClickHouse не тормозит
Bral Bral
Добрый вечер. Есть 2 кластера в разных сетях. В первом случае 6 машин, в другом 5. Так вот, нужно перетащить данные из 1 кластера во второй. Хотел через freeze переносить партиции, но смущает, что количество серверов не сходится во втором случае, и одна окажется лишней ( равномерно не получится перетащить ) . Но выходит, что придется выгружать в файлы и опять потом заносить. Что можете посоветовать ?
"insert - select" или сети совсем не видят друг друга?
источник

IK

Ivan Kush in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
почему 20.1.2.4 ? есть например 20.1.16.120 ?

кавычки там скорее всего не нужны %27
это для баша они нужны
1) такую админы поставили. Попробовал локально на сборке из master - таже ошибка.
Логи сервера:
<Fatal> : Logical error: 'There is no checkpoint'.

2) кавычки нужны, без них ошибка
Code: 62. DB::Exception: Syntax error: failed at position 87: CSV, format_custom_field_delimiter = '^'. Expected one of: NULL, number, string literal, literal
источник

BB

Bral Bral in ClickHouse не тормозит
Dj
"insert - select" или сети совсем не видят друг друга?
Совсем, через флешку переносить
источник

BB

Bral Bral in ClickHouse не тормозит
vladamir
это ща так спайс рекламируют?)
И его в том числе, звоните.
источник

D

Dj in ClickHouse не тормозит
Bral Bral
Совсем, через флешку переносить
если таблиц мало, экспортируйте через Format Native дампы и переносите и вставляйте...  можно и через фриз - и раскидать 6-й шард раунд робином...
источник

BB

Bral Bral in ClickHouse не тормозит
Dj
если таблиц мало, экспортируйте через Format Native дампы и переносите и вставляйте...  можно и через фриз - и раскидать 6-й шард раунд робином...
Ну да, только вот это на постоянной основе нужно делать 😁. И постоянно заносить последнюю партицию через дистрибьютед не очень получается
источник

D

Dj in ClickHouse не тормозит
Bral Bral
Ну да, только вот это на постоянной основе нужно делать 😁. И постоянно заносить последнюю партицию через дистрибьютед не очень получается
Тогда лучше дамп через format native и вставка в distributed
источник

BB

Bral Bral in ClickHouse не тормозит
Dj
Тогда лучше дамп через format native и вставка в distributed
Благодарю
источник

d

devzenno in ClickHouse не тормозит
Здравствуйте, подскажите, пожалуйста, по структуре БД в кликхаусе - есть достаточно простая структура данных:

{дата}, {строка1}, {строка2}, {…} , {строка 11}

Выборка будет производится в основном  с учетом полей «дата», «строка1» и подстроки из «строка2».

Возможны также перекрестные запросы с участием практически всех полей.

Есть ещё один момент – поле «строка1» имеет ограниченное количество вариантов, 15 млн., если точнее. Потом оно повторяется, даты и остальные строки при этом разные.

Насколько правильным будет залить всё это счастье просто в одну таблицу? Или, возможно, есть какие-то другие варианты, более оптимальные?
источник

KD

Kirill Desyatkin in ClickHouse не тормозит
vagrant.vm 🙂 select * from devices2;

SELECT *
FROM devices2

Query id: c8f873e5-605b-4d29-b880-3c9bbc590f0d

┌─id─┬─name────┐
│  1 │ Desktop │
│  2 │ Phone   │
│  3 │ Tablet  │
│  4 │ TV      │
└────┴─────────┘

4 rows in set. Elapsed: 0.002 sec.

vagrant.vm 🙂 select dictHas('devices2' , toUInt64(1));

SELECT dictHas('devices2', toUInt64(1))

Query id: eceaf74c-af32-4c68-a16a-cc03fc89cbaf


Received exception from server (version 20.12.5):
Code: 36. DB::Exception: Received from localhost:9000. DB::Exception: external dictionary 'devices2' not found: While processing dictHas('devices2', toUInt64(1)).

0 rows in set. Elapsed: 0.002 sec.


Подскажите пожалуйста, что я делаю не так. Внешний словарь, с подключеничем через odbc в postgresql, загрузился, выборка по нему работает. А когда я пытаюсь использовать его в запросе, говорит, что его нет..
источник

SC

Sarcastic Cat in ClickHouse не тормозит
И еще вопрос:
даже если я успокоюсь и буду использовать WITH FILL для заполнения пустот - как заполнять пустоты помесячно? Там во-первых STEP в секундах/днях, а во-вторых вообще какая-то непонятная хрень происходит
SELECT 
   count(*) AS cnt,
   toStartOfInterval(time, toIntervalMonth(1)) AS period
FROM metrics
WHERE (toDateTime(time) >= '2020-09-01 00:00:00') AND (toDateTime(time) <= '2021-02-31 23:59:59') AND (event = 'radio_play')
GROUP BY period
ORDER BY period ASC WITH FILL FROM toDateTime('2020-09-01 00:00:00') TO toDateTime('2021-02-31 23:59:59') STEP 2592000

┌──cnt─┬─────period─┐
│ 1543 │ 2020-12-01 │
│ 3094 │ 2021-01-01 │
└──────┴────────────┘
┌─cnt─┬─────period─┐
│   0 │ 2040-08-29 │
│   0 │ 2106-02-07 │
│   0 │ 2058-11-19 │
│   0 │ 1978-04-13 │
│   0 │ 2077-02-08 │
│   0 │ 1996-07-03 │
│   0 │ 2095-05-01 │
└─────┴────────────┘
источник

D

Dj in ClickHouse не тормозит
Kirill Desyatkin
vagrant.vm 🙂 select * from devices2;

SELECT *
FROM devices2

Query id: c8f873e5-605b-4d29-b880-3c9bbc590f0d

┌─id─┬─name────┐
│  1 │ Desktop │
│  2 │ Phone   │
│  3 │ Tablet  │
│  4 │ TV      │
└────┴─────────┘

4 rows in set. Elapsed: 0.002 sec.

vagrant.vm 🙂 select dictHas('devices2' , toUInt64(1));

SELECT dictHas('devices2', toUInt64(1))

Query id: eceaf74c-af32-4c68-a16a-cc03fc89cbaf


Received exception from server (version 20.12.5):
Code: 36. DB::Exception: Received from localhost:9000. DB::Exception: external dictionary 'devices2' not found: While processing dictHas('devices2', toUInt64(1)).

0 rows in set. Elapsed: 0.002 sec.


Подскажите пожалуйста, что я делаю не так. Внешний словарь, с подключеничем через odbc в postgresql, загрузился, выборка по нему работает. А когда я пытаюсь использовать его в запросе, говорит, что его нет..
имхо, очень правильно будет залить все в одну таблицу, пускай повторяются на здоровье
источник

KD

Kirill Desyatkin in ClickHouse не тормозит
Dj
имхо, очень правильно будет залить все в одну таблицу, пускай повторяются на здоровье
ну это тренировочный пример) я просто пытаюсь разобраться с кх для начала
источник

D

Dj in ClickHouse не тормозит
Kirill Desyatkin
vagrant.vm 🙂 select * from devices2;

SELECT *
FROM devices2

Query id: c8f873e5-605b-4d29-b880-3c9bbc590f0d

┌─id─┬─name────┐
│  1 │ Desktop │
│  2 │ Phone   │
│  3 │ Tablet  │
│  4 │ TV      │
└────┴─────────┘

4 rows in set. Elapsed: 0.002 sec.

vagrant.vm 🙂 select dictHas('devices2' , toUInt64(1));

SELECT dictHas('devices2', toUInt64(1))

Query id: eceaf74c-af32-4c68-a16a-cc03fc89cbaf


Received exception from server (version 20.12.5):
Code: 36. DB::Exception: Received from localhost:9000. DB::Exception: external dictionary 'devices2' not found: While processing dictHas('devices2', toUInt64(1)).

0 rows in set. Elapsed: 0.002 sec.


Подскажите пожалуйста, что я делаю не так. Внешний словарь, с подключеничем через odbc в postgresql, загрузился, выборка по нему работает. А когда я пытаюсь использовать его в запросе, говорит, что его нет..
select dictHas('dbname.devices2' , toUInt64(1));
источник

KD

Kirill Desyatkin in ClickHouse не тормозит
Dj
select dictHas('dbname.devices2' , toUInt64(1));
🙏
источник

d

devzenno in ClickHouse не тормозит
devzenno
Здравствуйте, подскажите, пожалуйста, по структуре БД в кликхаусе - есть достаточно простая структура данных:

{дата}, {строка1}, {строка2}, {…} , {строка 11}

Выборка будет производится в основном  с учетом полей «дата», «строка1» и подстроки из «строка2».

Возможны также перекрестные запросы с участием практически всех полей.

Есть ещё один момент – поле «строка1» имеет ограниченное количество вариантов, 15 млн., если точнее. Потом оно повторяется, даты и остальные строки при этом разные.

Насколько правильным будет залить всё это счастье просто в одну таблицу? Или, возможно, есть какие-то другие варианты, более оптимальные?
плиз, хелп) только первые шаги делаем в клике, не хотелось бы ступить в самом начале
источник

d

devzenno in ClickHouse не тормозит
Dj
имхо, очень правильно будет залить все в одну таблицу, пускай повторяются на здоровье
или вот это мне  ответили?)
источник

D

Dj in ClickHouse не тормозит
devzenno
или вот это мне  ответили?)
да, это было вам, перепутал.
лейте в одну таблицу.
можете даже попробовать lowcardinality на колонке где строки повторяются если они прямо много раз повторяются (15 млн уников на 15 млрд строк например)
источник