Size: a a a

ClickHouse не тормозит

2020 May 25

DC

Denny Crane (I don't... in ClickHouse не тормозит
Константин Трофимов
select toStartOfMonth(date) as date, ... etc ... from table where date=today()

так нельзя в where обратиться прям к столбцу date ибо в выборке он будет уже как toStartOfMonth(date)
table.date=
Или from table as x where x.date=
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
table.date ещё лучше
и вам спасибо )
источник

C

Cargeh in ClickHouse не тормозит
Докер контейнер с ликхаусом умирает с ООМ, в логах это. В чем может быть причина? Или просто оперативки докинуть?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Max Khlystov
скажите пожалуйста можно ли выбрать из такого сэта строки с минимальным start_year_on_new_place для каждого множества employee_id, company_id
Обычный min(), emp,comp ... group by emp, comp
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
Привет!
А CREATE SETTINGS PROFILE ещё не доехал до 20.3 (у меня сейчас) / мастера, или я просто коряво его применяю?

ClickHouse client version 20.3.8.53 (official build).
Connecting to 127.0.0.1:9003 as user default.
Connected to ClickHouse server version 20.3.8 revision 54433.

:) CREATE SETTINGS PROFILE client_profile SETTINGS max_memory_usage=5000000000

Syntax error: failed at position 8:

CREATE SETTINGS PROFILE client_profile SETTINGS max_memory_usage=5000000000

Expected one of: VIEW, LIVE, DATABASE, USER, TEMPORARY, TABLE, ROW POLICY, POLICY, DICTIONARY, QUOTA, OR REPLACE, ROLE, MATERIALIZED
источник

A

Anttoon in ClickHouse не тормозит
Подскажите пожалуйста как сгенерировать массив дат если есть dateStart и dateEnd ?
источник

l

lnuynxa in ClickHouse не тормозит
Anttoon
Подскажите пожалуйста как сгенерировать массив дат если есть dateStart и dateEnd ?
много способов есть, можно через range и + INTERVAL  DAY
либо через timeSlots
источник

A

Anttoon in ClickHouse не тормозит
lnuynxa
много способов есть, можно через range и + INTERVAL  DAY
либо через timeSlots
спасибо
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Ребят, столкнулся с такой проблемкой.
Есть большой объем данных в Vertica, который надо перенести в ClickHouse.
Делаю перенос через выборки в формате tsv из вертики с последующей вставкой этих данных в КХ.  (по сути две команды в терминале объедененные пайпом)
Столкнулся с тем, что в одной из таблиц вертики в одной коллонке могут присутствовать табы, которые ломает процесс вставки в КХ. Формат csv также не подходит, так как в контенте могут быть , и ; в конце. Функции экранирования данных при выборке из вертики нету.

Что бы вы посоветовали делать в этом случае?
Данных много. Около 3ТБ
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
мы спарком перегоняли, у него более гибко было с форматами
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
в КХ - через JDBC или скидывали в паркет уже подготовленный для КХ
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Viacheslav Nefedov
мы спарком перегоняли, у него более гибко было с форматами
Спасибо. Интересно конечно, но не хотелось бы для одноразовой операции поднимать новую инфраструктуру
плюс опыта с ним нету (
источник

l

lnuynxa in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, столкнулся с такой проблемкой.
Есть большой объем данных в Vertica, который надо перенести в ClickHouse.
Делаю перенос через выборки в формате tsv из вертики с последующей вставкой этих данных в КХ.  (по сути две команды в терминале объедененные пайпом)
Столкнулся с тем, что в одной из таблиц вертики в одной коллонке могут присутствовать табы, которые ломает процесс вставки в КХ. Формат csv также не подходит, так как в контенте могут быть , и ; в конце. Функции экранирования данных при выборке из вертики нету.

Что бы вы посоветовали делать в этом случае?
Данных много. Около 3ТБ
вообще табы должны заменятся на \t нет?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
они на них и заменяются
прсто когда выборку из вертики через vsql делаю, то там указываю \t как разделитель, чтобы потом в кх вставлять в таком формате
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
отконвертировать питоном перед загрузкой, как вариант
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
import sys
import csv

tabin = csv.reader(sys.stdin, dialect=csv.excel_tab)
commaout = csv.writer(sys.stdout, dialect=csv.excel)
for row in tabin:
 commaout.writerow(row)
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
python script.py < input.tsv > output.csv
источник

l

lnuynxa in ClickHouse не тормозит
Vladimir Bunchuk
они на них и заменяются
прсто когда выборку из вертики через vsql делаю, то там указываю \t как разделитель, чтобы потом в кх вставлять в таком формате
у меня была большая боль с экспортом из постгри в клик в формате TSV,
но как то это дело пережил
источник

AT

Al T in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, столкнулся с такой проблемкой.
Есть большой объем данных в Vertica, который надо перенести в ClickHouse.
Делаю перенос через выборки в формате tsv из вертики с последующей вставкой этих данных в КХ.  (по сути две команды в терминале объедененные пайпом)
Столкнулся с тем, что в одной из таблиц вертики в одной коллонке могут присутствовать табы, которые ломает процесс вставки в КХ. Формат csv также не подходит, так как в контенте могут быть , и ; в конце. Функции экранирования данных при выборке из вертики нету.

Что бы вы посоветовали делать в этом случае?
Данных много. Около 3ТБ
можно awk или sed вставить в середину пайпа
источник