ИК
Подскажите, делаю бэкап таблицы для переноса, так вот несколько партиций успешно обработались, потом оставшиеся выпали с ошибкой, что Query.bin doesn't exist.
Как можно исправить?
Как можно исправить?
Size: a a a
2020 June 01
YA
как объеденить несколько колонок в массив и потом сгруппировать в другой массив? Чтобы получился массив массивов
pk
groupArray([a,b])
DC
INSERT INTO table2 (
time,
...
)
SELECT
time,
...
FROM table1
where time=XXX. Тут я знаю кол-во строк в этой пачке и пробую вставить ее в цикле.
time,
...
)
SELECT
time,
...
FROM table1
where time=XXX. Тут я знаю кол-во строк в этой пачке и пробую вставить ее в цикле.
max_threads=1 max_block_size=10000
🌍
больше года, до этого выдавало DB::Exception: Illegal type Decimal(18, 3) of argument for aggregate function quantile.
select quantile(a) from (select toDecimal128(10,18) a union all select toDecimal128(10,18))
10.000000000000000000
select quantile(a) from (select toDecimal128(10,18) a union all select toDecimal128(10,18))
10.000000000000000000
Так это какая версия ?
KG
max_threads=1 max_block_size=10000
такое же поведение
DC
такое же поведение
а версия КХ ?
D
max_threads=1 max_block_size=10000
B
В профиль прописали? У
юзера точно тот профиль в который прописали?
юзера точно тот профиль в который прописали?
да помогло, спасибо! Я прописал пользователю, а после вашего коментария поправил на профиль и все взлетело, пасибо!
DC
нет. при max_block_size=10000, по 10тыс будет вставка, тут вообще проблема возможно с новой версией КХ и другое поведение jemallok - threads. Попадаем на другой тред в тредпуле, и память отжираем для запроса, а тред который выполнял предыдущий запрос сидит курит с кучей памяти.
D
нет. при max_block_size=10000, по 10тыс будет вставка, тут вообще проблема возможно с новой версией КХ и другое поведение jemallok - threads. Попадаем на другой тред в тредпуле, и память отжираем для запроса, а тред который выполнял предыдущий запрос сидит курит с кучей памяти.
не не, я тестил вот прям седня перепроверил + дока говорит прямо
Устанавливает минимальное количество строк в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера.
D
либо врем и я и дока, но я точно не менял max_block_size, и увеличил min_insert_block_size_rows и гранулярность партов уменьшилась (у меня была обратная цель - вставлять батчами крупнее)
DC
не не, я тестил вот прям седня перепроверил + дока говорит прямо
Устанавливает минимальное количество строк в блоке, который может быть вставлен в таблицу запросом INSERT. Блоки меньшего размера склеиваются в блоки большего размера.
а ну да там из-за min_insert_block_size_rows Squash blocks
D
да, вот я и написал, у Кейт 2500 байт на строку, миллион строк за раз плюс оверхед по памяти, имхо все сходится
DC
да, вот я и написал, у Кейт 2500 байт на строку, миллион строк за раз плюс оверхед по памяти, имхо все сходится
это не объясняет почему памяти не хватает через несколько итераций
B
Подскажите еще пожалуйста, что может быть не так с "
Received exception from server (version 20.1.3):
Code: 306. DB::Exception: Received from 127.0.0.1:9000. DB::Exception: Stack size too large. Stack address: 0x7f4d3dfff000, frame address: 0x7f4d3e3fefe0, stack size: 4194336, maximum stack size: 8388608." запрос "SELECT * FROM table_name LIMIT 1"?D
это не объясняет почему памяти не хватает через несколько итераций
Да, тут вы правы, особенно при ручных вставках по 6 тыс строк
A
Добрый день!
Меняю структуру таблицы данных. Поэтому встала задача перелить данные из старой таблицы в новую.
Вставляю пачками по 6-10 тыс записей.
Запросом SELECT-INSERT к clickhouse-client
Через какое то время падает с Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 13.96 GiB (attempt to allocate chunk of 4503208 bytes), maximum: 13.96 GiB.
Если уменьшаю размер пачки, то просто падает чутка позже.
Что делать?
Меняю структуру таблицы данных. Поэтому встала задача перелить данные из старой таблицы в новую.
Вставляю пачками по 6-10 тыс записей.
Запросом SELECT-INSERT к clickhouse-client
Через какое то время падает с Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 13.96 GiB (attempt to allocate chunk of 4503208 bytes), maximum: 13.96 GiB.
Если уменьшаю размер пачки, то просто падает чутка позже.
Что делать?
А у вас движок ведь MergeTree? Не Memory?
A
Добрый день!
Меняю структуру таблицы данных. Поэтому встала задача перелить данные из старой таблицы в новую.
Вставляю пачками по 6-10 тыс записей.
Запросом SELECT-INSERT к clickhouse-client
Через какое то время падает с Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 13.96 GiB (attempt to allocate chunk of 4503208 bytes), maximum: 13.96 GiB.
Если уменьшаю размер пачки, то просто падает чутка позже.
Что делать?
Меняю структуру таблицы данных. Поэтому встала задача перелить данные из старой таблицы в новую.
Вставляю пачками по 6-10 тыс записей.
Запросом SELECT-INSERT к clickhouse-client
Через какое то время падает с Code: 241. DB::Exception: Received from localhost:9000. DB::Exception: Memory limit (total) exceeded: would use 13.96 GiB (attempt to allocate chunk of 4503208 bytes), maximum: 13.96 GiB.
Если уменьшаю размер пачки, то просто падает чутка позже.
Что делать?
И первая таблица никак не связана со второй?
OP
Помогите плиз возможно ли решить такой кейс:
в БД ноды есть N-ое кол-во таблиц и N-ое кол-во распределенных представлений над ними.
Возможно ли установить права для пользователя таким образом, чтобы пользователь видел только представления?
Выдавать на каждую таблицу/вьюху права отдельно не представляется возможным.
в БД ноды есть N-ое кол-во таблиц и N-ое кол-во распределенных представлений над ними.
Возможно ли установить права для пользователя таким образом, чтобы пользователь видел только представления?
Выдавать на каждую таблицу/вьюху права отдельно не представляется возможным.