S
в самой таблице table1 много данных (1 миллиард строк), таблица table1 содержит много полей (100+) с типами данных как целочисленными, так и строковыми. При этом сам CTAS не выполняется((
что такое "CTAS" ?
Size: a a a
2021 March 12
Д
что такое "CTAS" ?
create table as select
OV
нет
MATERIALIZED VIEW это триггер after insert, IMHO Оно на remote() ругнуться должно
там непонятно как триггерить событие "пришли новые данные"
MATERIALIZED VIEW это триггер after insert, IMHO Оно на remote() ругнуться должно
там непонятно как триггерить событие "пришли новые данные"
То есть если я хочу селектить что-то из таблицы на другом кластере мне только заливку надо в оба кластера делать?
OV
Наверное я могу сделать обычное представление с from remote?
S
в самой таблице table1 много данных (1 миллиард строк), таблица table1 содержит много полей (100+) с типами данных как целочисленными, так и строковыми. При этом сам CTAS не выполняется((
ну оно по идее стримить должно, но 100+ полей, это как минимум 200 мегабайт на буфера на вставку...
нет все равно непонятно
покажите полный текст ошибки со стектрейсом???
там какая нагрузка на сервер?
и в профиле случайно не стоит max_memory_usage?
нет все равно непонятно
покажите полный текст ошибки со стектрейсом???
там какая нагрузка на сервер?
и в профиле случайно не стоит max_memory_usage?
M
а разве можно делать mat view from remote ?
S
То есть если я хочу селектить что-то из таблицы на другом кластере мне только заливку надо в оба кластера делать?
MATERIALIZED VIEW селектит не из таблицы, а из блока вставки
S
а разве можно делать mat view from remote ?
нет =) я просто попытался объяснить почему нет
M
Д
ну оно по идее стримить должно, но 100+ полей, это как минимум 200 мегабайт на буфера на вставку...
нет все равно непонятно
покажите полный текст ошибки со стектрейсом???
там какая нагрузка на сервер?
и в профиле случайно не стоит max_memory_usage?
нет все равно непонятно
покажите полный текст ошибки со стектрейсом???
там какая нагрузка на сервер?
и в профиле случайно не стоит max_memory_usage?
clickhouse_driver.errors.ServerException: Code: 241.
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
S
clickhouse_driver.errors.ServerException: Code: 241.
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
на сервере логи смотрите в /var/log/clickhouse-server/clickhouse-server.err.log
оттуда стектрейс а не ошибка в вашем драйвере
оттуда стектрейс а не ошибка в вашем драйвере
M
Наверное я могу сделать обычное представление с from remote?
ну можете сдлать create view my_view, а потом выбирать select * from remote(…, my_view)
Д
clickhouse_driver.errors.ServerException: Code: 241.
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
по самому потреблению - память на процесс расходуется максимум 1 Гб, max_memory_usage_for_user = 19000000000, max_)memory_usage = 19000000000
OV
ну можете сдлать create view my_view, а потом выбирать select * from remote(…, my_view)
Да я вот так и подумала
Спасибо!
Спасибо!
DT
clickhouse_driver.errors.ServerException: Code: 241.
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
> Memory limit (total)
Тотал лимит, у вас могли другие запросы сожрать всю память
А умер этот тк ему просто не повезло
Тотал лимит, у вас могли другие запросы сожрать всю память
А умер этот тк ему просто не повезло
S
clickhouse_driver.errors.ServerException: Code: 241.
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
DB::Exception: Memory limit (total) exceeded: would use 17.65 GiB (attempt to allocate chunk of 4218512 bytes), maximum: 17.65 GiB: (while reading column left_user_id):
если доступа нет, то можно чреез system.errors
Д
> Memory limit (total)
Тотал лимит, у вас могли другие запросы сожрать всю память
А умер этот тк ему просто не повезло
Тотал лимит, у вас могли другие запросы сожрать всю память
А умер этот тк ему просто не повезло
а можно ли как-то ограничить запросы пользователей конкретных по имени пользователя? я так понимаю, что max_memory_usage_for_user - это настройка для всех пользователей без исключения.
S
по самому потреблению - память на процесс расходуется максимум 1 Гб, max_memory_usage_for_user = 19000000000, max_)memory_usage = 19000000000
вообще странно
памяти у вас 16 а максимум вы выставляете на 19gb
SELECT * FROM system.settings WHERE changed
посмотрите у вас там block_size не поменялся?
памяти у вас 16 а максимум вы выставляете на 19gb
SELECT * FROM system.settings WHERE changed
посмотрите у вас там block_size не поменялся?
Д
вообще странно
памяти у вас 16 а максимум вы выставляете на 19gb
SELECT * FROM system.settings WHERE changed
посмотрите у вас там block_size не поменялся?
памяти у вас 16 а максимум вы выставляете на 19gb
SELECT * FROM system.settings WHERE changed
посмотрите у вас там block_size не поменялся?
16 доступно я вижу через top на самом сервере БД Linux-овом
Д
вообще странно
памяти у вас 16 а максимум вы выставляете на 19gb
SELECT * FROM system.settings WHERE changed
посмотрите у вас там block_size не поменялся?
памяти у вас 16 а максимум вы выставляете на 19gb
SELECT * FROM system.settings WHERE changed
посмотрите у вас там block_size не поменялся?
block size тоже не менялся