Телеграмм чат группы clickhouse

17:30пожаловаться #1

OV

если делать drop table dict_name он автоматически ищет в default схеме и говорит что такой таблицы нет

Die Nachtigall in ClickHouse не тормозит

17:30пожаловаться #2

D

drop table dictionary.dict_name

17:32пожаловаться #3

DC

Илья Москалев

А что будет в таком сценарии:
1. вставляем блок
2. distributed распиливает блок попалам для двух шардов
3. вставляет в шард 1 - ок
4. вставляет в шард 2 - таймаут

вставится в один шард, если только одна реплика во втором

Alexey Kh in ClickHouse не тормозит

17:32пожаловаться #4

AK

тогда только запросы с массивами

адъ, но спасибо

17:33пожаловаться #5

OV

Die Nachtigall

drop table dictionary.dict_name

тогда удалится нужный словарь, у которого есть схема

17:33пожаловаться #6

OV

в результате запроса выше у словаря нет database

17:34пожаловаться #7

DC

Olesya Vasina

Добрый день! Подскажите пожалуйста, как удалить словарь без схемы? Он был создан по ошибке и сейчас мешает.

SELECT
    database,
    name
FROM system.dictionaries
ORDER BY name ASC

│ dictionary │ dict_name

 │
│            │

dict_name

это xml-словарь, надо файл удалить (он создан не через create dictionary)

17:34пожаловаться #8

DC

Alexey Kh

адъ, но спасибо

ну так а например как вы такое сделате в mysql ? или pg? или кассандре?
надо данные готовить а не бездумно пихать все в базу в непригодном для запросов виде

Alexey Kh in ClickHouse не тормозит

17:36пожаловаться #9

AK

ну так а например как вы такое сделате в mysql ? или pg? или кассандре?
надо данные готовить а не бездумно пихать все в базу в непригодном для запросов виде

сейчас что-то такое делает адовая куча сервисов, которая делает это все в памяти :) там и scylla, и elasticsearch. по всем пунктам согласен, этого в принципе и добиваюсь

17:37пожаловаться #10

OV

это xml-словарь, надо файл удалить (он создан не через create dictionary)

спасибо! сейчас попробую

17:38пожаловаться #11

Д

всем доброго времени суток! подскажите, пожалуйста, как можно определить приблизительно требуемый объём RAM, необходимый для выполнения запроса по вставке данных из одной таблицы в другую (insert into table1 select * from table2). Спецификация order by для таблиц table1 и table2 разные, методы партицирования также отличаются, table1 партицирован по toYYYYMM(date), а table2 - по (eventtype, toYYYYMM(date)).

17:42пожаловаться #12

Д

В system.processes вижу то, что со временем увеличивается значение peak_memory_usage (при вставке 300 000 000 записей выросло значение с 2,5 Гб на старте до 4 Гб в данный момент времени)

17:44пожаловаться #13

Д

Можно ли ограничить объём требуемой памяти на выполнение запроса insert into table1 select * from table2?

Assasin in ClickHouse не тормозит

17:44пожаловаться #14

A

@den_crane, несколько дней назад вы предлагали сразу материализовать новодобавленную материализованную колонку следующим методом:
ALTER TABLE table UPDATE mat_col = mat_col

Но увы, так не работает:
DB::Exception: Cannot UPDATE materialized column

Может, есть еще какие то варианты?

17:46пожаловаться #15

DC

Assasin

@den_crane, несколько дней назад вы предлагали сразу материализовать новодобавленную материализованную колонку следующим методом:
ALTER TABLE table UPDATE mat_col = mat_col

Но увы, так не работает:
DB::Exception: Cannot UPDATE materialized column

Может, есть еще какие то варианты?

ну обявить ее default на время апдейта, потом снова materialized
зачем вам кстати именно materialized? понимаете что отличия materialized от default только в раскрытии * в селект и инсерт?

17:48пожаловаться #16

DC

Дмитрий

Можно ли ограничить объём требуемой памяти на выполнение запроса insert into table1 select * from table2?

set max_threads=1, set max_block_size=10000

17:49пожаловаться #17

Д

set max_threads=1, set max_block_size=10000

спасибо

Assasin in ClickHouse не тормозит

17:50пожаловаться #18

A

ну обявить ее default на время апдейта, потом снова materialized
зачем вам кстати именно materialized? понимаете что отличия materialized от default только в раскрытии * в селект и инсерт?

тогда сам запрос ALTER не заблочит ли всю таблицу ли на время обновления всех старых данных? Или может это не применится для всех новых данных, пока идет процесс?

Assasin in ClickHouse не тормозит

17:53пожаловаться #19

A

семантические отличия то я понимаю, а вот подкапотные детали - вообще не понимаю