a
ну так откуда вы знаете что при предыдущей выгрузке вы выгрузили партицию в таком виде как она сейчас и туда больше не было записи?
партиции строго по месяцам
Size: a a a
2020 May 16
a
в начале апреля я сбекапил март, в мае апрель и т.д. Ключ партиционарования везде один, но некоторые таблицы лежат в одной партиции, потому что маленькие.
a
ALTER TABLE stat_production.user_actions_v2
FREEZE PARTITION ID '202005'
Received exception from server (version 19.9.5):
Code: 368. DB::Exception: Received from localhost:9000, ::1. DB::Exception: std::bad_typeid.
в чем может быть проблема?
a
до это партиции фризились нормально
a
и вся таблица целиком сейчас тоже фризится нормально
АФ
Привет всем! Начинающий уровень. Вопрос: в чем отличие AggregatingMergeTree и SummingMergeTree, кроме как то что второй складывает значения числовых столбцов, если не указана агрегирующая функция?
A
Привет всем! Начинающий уровень. Вопрос: в чем отличие AggregatingMergeTree и SummingMergeTree, кроме как то что второй складывает значения числовых столбцов, если не указана агрегирующая функция?
Когда-то давно summing вроде не умела в аггрегаты.
АФ
Когда-то давно summing вроде не умела в аггрегаты.
Спасибо за ответ)
DC
Привет всем! Начинающий уровень. Вопрос: в чем отличие AggregatingMergeTree и SummingMergeTree, кроме как то что второй складывает значения числовых столбцов, если не указана агрегирующая функция?
summingMT удаляет строки с 0 в суммах, summingMT не умеет simpleAggregateFunction. AggregatingMergeTree не умеет Map Nested
2020 May 17
S
Всем привет!
Есть база на mysql в которую ежедневно падает в 1 таблицу 17 миллионов строк и другую 3 миллиона.
Через месяц это пол миллиарда и куча индексов, которые будут нагружать диск и сервер будет страдать как и проект...
Проект написан на yii2 + mysql, как я уже писал. Мне кажется с мускулом я далеко не уеду и нужно менять базу на что то более быстрое, намного быстрее... в таблицах в основном цифры. и есть 1 колонка TEXT.
Основная проблема, что на миллиарде строк, инсерт/апдейт/delete работаю конечно дольше...
С кликхаус не знаком вообще. Читаю... подскажите, разрулит ли это мою ситуацию? Что читать, как интегрировать и пользоваться) И сколько времени займет переезд примерно может быть подскажете)?
Есть база на mysql в которую ежедневно падает в 1 таблицу 17 миллионов строк и другую 3 миллиона.
Через месяц это пол миллиарда и куча индексов, которые будут нагружать диск и сервер будет страдать как и проект...
Проект написан на yii2 + mysql, как я уже писал. Мне кажется с мускулом я далеко не уеду и нужно менять базу на что то более быстрое, намного быстрее... в таблицах в основном цифры. и есть 1 колонка TEXT.
Основная проблема, что на миллиарде строк, инсерт/апдейт/delete работаю конечно дольше...
С кликхаус не знаком вообще. Читаю... подскажите, разрулит ли это мою ситуацию? Что читать, как интегрировать и пользоваться) И сколько времени займет переезд примерно может быть подскажете)?
если у тебя UPDATE \ DELETE
переписывай логику
к clickhouse можно по Mysql протоколу коннектиться
вставлять в clickhouse по одной записи не надо. накапливай в какой нибудь буфферной MySQL таблице и тащи батчами
переписывай логику
к clickhouse можно по Mysql протоколу коннектиться
вставлять в clickhouse по одной записи не надо. накапливай в какой нибудь буфферной MySQL таблице и тащи батчами
S
Установил по
https://clickhouse.tech/docs/ru/development/build-osx/
как на маке в терминале запустить кликхаус подскажите?
https://clickhouse.tech/docs/ru/development/build-osx/
как на маке в терминале запустить кликхаус подскажите?
clickhouse-server —help
A
если у тебя UPDATE \ DELETE
переписывай логику
к clickhouse можно по Mysql протоколу коннектиться
вставлять в clickhouse по одной записи не надо. накапливай в какой нибудь буфферной MySQL таблице и тащи батчами
переписывай логику
к clickhouse можно по Mysql протоколу коннектиться
вставлять в clickhouse по одной записи не надо. накапливай в какой нибудь буфферной MySQL таблице и тащи батчами
спасибо. а есть смысл использовать kittenhouse?
A
Подскажите пожалуйста, я начал киттенхаус по инструкции с гита ставить а у меня(добавляю первую таблицу для логов):
Code: 225. DB::Exception: Received from localhost:9000. DB::Exception: Can't create replicated table without ZooKeeper.
Code: 225. DB::Exception: Received from localhost:9000. DB::Exception: Can't create replicated table without ZooKeeper.
DT
у тебя кластер?
A
я не знаю) у меня первый раз 🙂
DT
у тебя один сервер кликхауса?
DT
покажи ту команду что ты выполняешь
A
да один
A
clickhouse-server start и все
A
https://github.com/VKCOM/kittenhouse
вот на этой команде ошибка
CREATE TABLE default.internal_logs (
date Date DEFAULT toDate(time),
time DateTime,
server String,
port Int32,
type String,
table String,
volume Int64,
message String,
content String,
source String,
server_time DateTime DEFAULT now()
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/internal_logs', '{replica}')
PARTITION BY tuple()
ORDER BY time
SETTINGS index_granularity = 8192;
вот на этой команде ошибка
