AK
Есть какие то планы на тему написания планировщика запросов в кликхаус?
Так вроде в доке же есть?)
Size: a a a
2020 July 01
C
Так вроде в доке же есть?)
что есть? роадмап?
DC
Вопрос в том, что заполняем временную таблицу clickhouse данными порядка 20Гб, htop не показывает увеличение оперативной памяти после заполнения таблицы. Далее очищаем таблицу, заполняем заново, вываливается ошибка, что не хватает памяти, хотя памяти предостаточно. 128Гб
как очищаете? Какая точно ошибка? В тексте ошибки написано какого из 3 лимитов не хватило.
DC
Есть какие то планы на тему написания планировщика запросов в кликхаус?
А он уже нужен? Что там планировать?
DC
Dmitry S.
Подскажите, я могу запросом получить последнюю транзакцию в базе с timestamp?
Order by timestamp desc
Limit 1
?
Limit 1
?
DS
Order by timestamp desc
Limit 1
?
Limit 1
?
спасибо, попробую сделать такой запрос
BR
Привет, может кто-то подсказать, как дропнуть таблицу с kafka движком? drop table запрос просто повисает и ничего не происходит
BR
Видел про это багрепорт, но он по идее в моей версии уже пофикшен --
20.4.2DC
Добрый день!Подскажите как CH дружит с загружаемыми файлами в кодировке отличающейся от UTF-8?
странный непончтный вопрос, ну вроде с utf-16 он не дружит
DC
Привет, может кто-то подсказать, как дропнуть таблицу с kafka движком? drop table запрос просто повисает и ничего не происходит
Ну значит не до конца починили. Создайте тикет приложите лог с loglevel trace
Р
странный непончтный вопрос, ну вроде с utf-16 он не дружит
Что именно не понятно? Есть клиенты и не все могут формировать файлы с нормальной кодировкой, появился вопрос в связи с тем что явно при загрузке файла кодировка не указывается.
DC
Что именно не понятно? Есть клиенты и не все могут формировать файлы с нормальной кодировкой, появился вопрос в связи с тем что явно при загрузке файла кодировка не указывается.
Хорошо. Все однобайтные кодировки будут работать. Загрузите cp1251 select будет возврщать cp1251
Р
Хорошо. Все однобайтные кодировки будут работать. Загрузите cp1251 select будет возврщать cp1251
Спасибо! Теперь ограничения понятны
Р
Хорошо. Все однобайтные кодировки будут работать. Загрузите cp1251 select будет возврщать cp1251
А это где то есть в виде документации к CH? Необходимо обосновать ограничения базы
SC
А это где то есть в виде документации к CH? Необходимо обосновать ограничения базы
типу данных String пофиг что хранить, что загрузишь, то там и будет
SC
можно хоть бинарные данные
Р
BK
Коллеги, подскажите пожалуйста как лучше всего справиться с таким кейсом
есть таблица на движке ReplicatedMergeTree с большим количеством данных которая на 2 шардах в каждом из которых по 2 реплики
в ней есть первичный ключ состоящий из трёх частей (insert_date, ts, some_id)
в ближайшем будущем в селектах вместо этих трёх ключей начнём использовать (insert_date, ts, another_id) соответственно первичный ключ надо заменить
возникает вопрос, как такое сделать без деградации перфоманса и минимизировать вероятность факапа?
пока в голову пришёл такой вариант: создать вторую таблицу на таком же движке, но уже с новым первичным ключём и туда тоже записывать данные (то есть какое-то время будем писать в две), после чего мы просто переключимся с одной таблицы на другую, но не очень понятно как скопировать все старые данные также равномерно как сейчас и можно ли новые данные копировать из одной таблицы в другую самими средствами кликхауса
есть таблица на движке ReplicatedMergeTree с большим количеством данных которая на 2 шардах в каждом из которых по 2 реплики
в ней есть первичный ключ состоящий из трёх частей (insert_date, ts, some_id)
в ближайшем будущем в селектах вместо этих трёх ключей начнём использовать (insert_date, ts, another_id) соответственно первичный ключ надо заменить
возникает вопрос, как такое сделать без деградации перфоманса и минимизировать вероятность факапа?
пока в голову пришёл такой вариант: создать вторую таблицу на таком же движке, но уже с новым первичным ключём и туда тоже записывать данные (то есть какое-то время будем писать в две), после чего мы просто переключимся с одной таблицы на другую, но не очень понятно как скопировать все старые данные также равномерно как сейчас и можно ли новые данные копировать из одной таблицы в другую самими средствами кликхауса
DC
Коллеги, подскажите пожалуйста как лучше всего справиться с таким кейсом
есть таблица на движке ReplicatedMergeTree с большим количеством данных которая на 2 шардах в каждом из которых по 2 реплики
в ней есть первичный ключ состоящий из трёх частей (insert_date, ts, some_id)
в ближайшем будущем в селектах вместо этих трёх ключей начнём использовать (insert_date, ts, another_id) соответственно первичный ключ надо заменить
возникает вопрос, как такое сделать без деградации перфоманса и минимизировать вероятность факапа?
пока в голову пришёл такой вариант: создать вторую таблицу на таком же движке, но уже с новым первичным ключём и туда тоже записывать данные (то есть какое-то время будем писать в две), после чего мы просто переключимся с одной таблицы на другую, но не очень понятно как скопировать все старые данные также равномерно как сейчас и можно ли новые данные копировать из одной таблицы в другую самими средствами кликхауса
есть таблица на движке ReplicatedMergeTree с большим количеством данных которая на 2 шардах в каждом из которых по 2 реплики
в ней есть первичный ключ состоящий из трёх частей (insert_date, ts, some_id)
в ближайшем будущем в селектах вместо этих трёх ключей начнём использовать (insert_date, ts, another_id) соответственно первичный ключ надо заменить
возникает вопрос, как такое сделать без деградации перфоманса и минимизировать вероятность факапа?
пока в голову пришёл такой вариант: создать вторую таблицу на таком же движке, но уже с новым первичным ключём и туда тоже записывать данные (то есть какое-то время будем писать в две), после чего мы просто переключимся с одной таблицы на другую, но не очень понятно как скопировать все старые данные также равномерно как сейчас и можно ли новые данные копировать из одной таблицы в другую самими средствами кликхауса
что вы подразумеваете под равномерно? ReplicatedMergeTree ничего не знает про шардирование.
У вас запись как осуществляется? Через Distributed ? там задан ключ шардирования? Будет новый ключ шардирования?
У вас запись как осуществляется? Через Distributed ? там задан ключ шардирования? Будет новый ключ шардирования?