В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4677 membersпожаловаться на группу
2021 January 11

e

er@essbase.ru in ClickHouse не тормозит
Dmitriy Sulimchuk
всем привет. можете подсказать в чем может быть проблема?
SELECT count() FROM reports.table AS sd WHERE (sd.month = 12) AND (sd.year = 2020) - возвращает больше 2х мрлд
делаю
insert into xxx SELECT *  FROM reports.table AS sd WHERE (sd.month = 12) AND (sd.year = 2020)

вставляет каждый раз разное количество, но не больше 1.7 млрд
в логах ничего ошибок нет
ClickHouse server version 20.12.5 revision 54442.
а нет способа копировать данные через партиции ? 🧐
источник
11:36пожаловаться#1

DS

Dmitriy Sulimchuk in ClickHouse не тормозит
er@essbase.ru
а нет способа копировать данные через партиции ? 🧐
нет к сожалению. буду пока частями переносить.
источник
11:43пожаловаться#2

SP

Sergey Platonov in ClickHouse не тормозит
как перенести одну таблицу из базы в базу? Простое копирование ее дирректории в /var/lib/clickhouse/data/default не работает
источник
12:29пожаловаться#3

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Sergey Platonov
как перенести одну таблицу из базы в базу? Простое копирование ее дирректории в /var/lib/clickhouse/data/default не работает
я так понимаю речь про большую таблицу.  Вот так? - https://ruhighload.com/%D0%91%D0%B5%D0%BA%D0%B0%D0%BF+%D0%B8+%D0%B2%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5+%D0%B2+clickhouse
Хайлоад
Бекап и восстановление в Clickhouse
Как сделать бекап и восстановить данные в Clickhouse
источник
12:32пожаловаться#4

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
только фриз и аттач не партиций а сразу таблицы
источник
12:33пожаловаться#5

SP

Sergey Platonov in ClickHouse не тормозит
не, особо большую
источник
12:33пожаловаться#6

SP

Sergey Platonov in ClickHouse не тормозит
может попробовать просто папку и метаданные?
источник
12:34пожаловаться#7

КТ

Константин Трофимов... in ClickHouse не тормозит
мы тащим кусками, не всё сразу
добавляем ещё шард, переключаем в него запись
потом по одной партиции freeze, tar+nc, detach на src, attach на dst
источник
12:35пожаловаться#8

SP

Sergey Platonov in ClickHouse не тормозит
👍
источник
12:37пожаловаться#9

D

Dj in ClickHouse не тормозит
Ada Min
Подскажите, может есть возможность при инсерте данных через HTTP клиент автоматически вставлять информацию о том с какого IP был запрос на инсерт?

Т.е. добавить в таблицу что-то типа
remoteServer IPv6 DEFAULT адрес_с_которого_пришел_инсерт ?

p.s. этот IP есть в системных логах initial_address from system.query_log
вопрос как получить её при инсерте в другой таблице
можно так, а дальше словарем. 
drop table if exists default.testDefaultInsert ;
create table default.testDefaultInsert (A String CODEC(NONE), host String DEFAULT hostName(), fqdn String DEFAULT FQDN()) Engine=MergeTree order by tuple();
insert into default.testDefaultInsert (A) values ('test record');
select * from default.testDefaultInsert ;
источник
12:47пожаловаться#10

SP

Sergey Platonov in ClickHouse не тормозит
Всем спасибо! Для небольшой таблицы простой перенос ее директории и файла из метаданных работает. Нужно только владельца менять, который теряется при переносе рсинком
источник
12:47пожаловаться#11

BB

Bral Bral in ClickHouse не тормозит
Добрый день. Есть БД с атомик engine. Дропаю партицию из таблицы. Место не увеличивается . Кликхаус в докере.

https://github.com/ClickHouse/ClickHouse/issues/18123 почитав, понял, что вроде так и должно быть.
GitHub
What's the difference between Atomic and Ordinary database engine · Issue #18123 · ClickHouse/ClickHouse
I've searched the official doc and hasn't found anything about this.
источник
13:01пожаловаться#12

D

Dj in ClickHouse не тормозит
Bral Bral
Добрый день. Есть БД с атомик engine. Дропаю партицию из таблицы. Место не увеличивается . Кликхаус в докере.

https://github.com/ClickHouse/ClickHouse/issues/18123 почитав, понял, что вроде так и должно быть.
GitHub
What's the difference between Atomic and Ordinary database engine · Issue #18123 · ClickHouse/ClickHouse
I've searched the official doc and hasn't found anything about this.
он вроде ждет пока все запросы не кончатся + таймаут... или он у вас даже через день место жрёт? если так - то наверно баг, лучше завести тикет
источник
13:03пожаловаться#13

BB

Bral Bral in ClickHouse не тормозит
Dj
он вроде ждет пока все запросы не кончатся + таймаут... или он у вас даже через день место жрёт? если так - то наверно баг, лучше завести тикет
Насчёт дня не знаю , но пару часов уже точно. Возможно нужно перезагрузить контейнер. меня смущает, что с ординари можно было смело зайти на расширенные папки на хост. При атомике в папке с базой при ls -l уже нельзя пощупать файлы, а присутствуют ссылки на папки внутри контейнера.
источник
13:10пожаловаться#14

c

critskiy in ClickHouse не тормозит
Здравствуйте, а вы не можете подсказать когда будет обновлена документация CH насчет движков? А то начиная с версии 20.10 по дефолту введен для баз Atomic движок и как бе в доках че-т упоминания не найду кроме как комментариев в altinity blog и issues гита, а хотелось бы более подробнее информацию (или я слепой)
источник
13:25пожаловаться#15

D

Dj in ClickHouse не тормозит
Bral Bral
Насчёт дня не знаю , но пару часов уже точно. Возможно нужно перезагрузить контейнер. меня смущает, что с ординари можно было смело зайти на расширенные папки на хост. При атомике в папке с базой при ls -l уже нельзя пощупать файлы, а присутствуют ссылки на папки внутри контейнера.
ну так зайдите в шелл контейнера и делайте что хотите..
источник
13:47пожаловаться#16

P

Pavel in ClickHouse не тормозит
Добрый день, открыл 2 сессии работы в clickhouse, в одной запустил "insert into <table>", в другой (пока insert работал) - "truncate table <table>".  Это привело к отказу работы clickhouse (невозможно соединиться через клиент (code 210 connection refused)). Перезапуск сервиса не помог, пришлось переустанавливать. Было у кого-нибудь такое?
источник
14:31пожаловаться#17

S

Slach in ClickHouse не тормозит
Pavel
Добрый день, открыл 2 сессии работы в clickhouse, в одной запустил "insert into <table>", в другой (пока insert работал) - "truncate table <table>".  Это привело к отказу работы clickhouse (невозможно соединиться через клиент (code 210 connection refused)). Перезапуск сервиса не помог, пришлось переустанавливать. Было у кого-нибудь такое?
а до переустановки в /var/log/clickhouse-server/clickhouse-server.err.log что показывало?
источник
14:36пожаловаться#18

P

Pavel in ClickHouse не тормозит
Slach
а до переустановки в /var/log/clickhouse-server/clickhouse-server.err.log что показывало?
не заглядывал туда. Но сам сервис при перезапуске ошибок не выдавал. Я думал (судя по ошибке клиента), с конфигами проблема, но они не менялись. После переустановки с такими же конфигами всё завелось.
источник
14:39пожаловаться#19

S

Slach in ClickHouse не тормозит
Pavel
не заглядывал туда. Но сам сервис при перезапуске ошибок не выдавал. Я думал (судя по ошибке клиента), с конфигами проблема, но они не менялись. После переустановки с такими же конфигами всё завелось.
ошибка клиента показывает только что разрыв соединения и ничего больше

процесс ps auxf | grep clickhouse-server при этом что покаывал?
и в логи надо было посмотреть

после переустановки с теми же конфигами той же версией clickhouse-server?
или поновее?

и после этого INSERT INTO + TRUNCATE в другом клиенте не валятся уже?
источник
14:53пожаловаться#20