Size: a a a

ClickHouse не тормозит

2021 February 05

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
стоит 30 евро, чтоли
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
уже неск лет работает, но тут видать достигли лимита
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
ЗК не ставил пока, пока резерв просто на друг сервер
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
а памяти сколько у VPS ?
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
64Г
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
мне нравятся  
ax61-nvme  128 GB DDR4 ECC / 2 x 1.92 TB NVMe за 100 евро это даром
я использую
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
а по поводу "сетью чудеса бывают" - вот у меня сегодня такое чудо в Contabo.  Так я аналог не получу у Hetz?
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
да,я его уже в корзину сунул... потом решил спросить
источник

DT

Dmitry Titov in ClickHouse не тормозит
Ну всякое бывает, у меня в хетцере однажды свитч сгорел к моему серверу, ну полчаса-час его меняли.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
>чудеса бывают
вы не заметите скорее всего.

там просто летенси иногда вырастает, и пакеты дропаются, это критично для ZK, у него особые требования.
ничего страшного в общем-то, все работает годами
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
А ну ок, спасибо. Пакет дропнется - я перешлю. ДЦ любой можно - что Финка что Германия? Илии всеже немцев?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Вячеслав Владимиров
А ну ок, спасибо. Пакет дропнется - я перешлю. ДЦ любой можно - что Финка что Германия? Илии всеже немцев?
все равно, что ближе по пингу / расстоянию
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Temur Uzbekov
матвьюшка AggregatingMergeTree, основная таблица MergeTree
матвьюшка считается как

SELECT
   countState() AS count,
   toStartOfMinute(toDateTime(time)) AS time,
   importance,
   toDate(time) AS _date
FROM events
GROUP BY time, importance
у вас поля у AggregatingMergeTree неправильные в order by
и _date вам не нужен

ДОЛЖНО БЫТЬ ТАК AggregatingMergeTree partition by toYYYYMM(time) order by (importance, time)
источник

8S

87198 Skripko in ClickHouse не тормозит
Коллеги, привет.
Пробую эксперементальную фичу MaterializeMySQL
Пока clickhouse вычитывает данные с Mysql все работает, как только заканчивает, доступ к таблицам пропадает
DB::Exception: Access denied for user reader (version 21.1.3.32 (official build)) (from [::1]:60458) (in query: select count(*) from test_database.test_table;), Stack trace (when copying this message, always include the lines below):

Подскажите, кто пробовал, у кого получилось? Может для Мускуля какие-то особые права нужны (хотя выставил все что можно)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
MaterializeMySQL -- Вот так, с помощью нехитрых приспособлений буханку белого (или черного) хлеба можно превратить в троллейбус.
источник

S

Slach in ClickHouse не тормозит
Temur Uzbekov
всем привет
можно ли пересчитать данные в матвьюшке?
у нас есть матвьюшка, она хранит счетчики записей в основной таблице по минутам, но она стала как-то странно считать записи
после пересоздания все стало нормально

вот 2 запроса с агрегацией по часам - до и после пересоздания
версия 19.8.3.8

events_importance
┌─count─┬───────────────start─┐
│   194 │ 2021-02-02 06:00:00 │
│     7 │ 2021-02-02 04:00:00 │
└───────┴─────────────────────┘

events_importance после пересоздания
┌─count─┬───────────────start─┐
│   122 │ 2021-02-02 10:00:00 │
│    16 │ 2021-02-02 08:00:00 │
│    10 │ 2021-02-02 07:00:00 │
│    12 │ 2021-02-02 06:00:00 │
│    21 │ 2021-02-02 04:00:00 │
│     8 │ 2021-02-02 03:00:00 │
│     4 │ 2021-02-02 02:00:00 │
│     4 │ 2021-02-02 01:00:00 │
│     4 │ 2021-02-02 00:00:00 │
└───────┴─────────────────────┘

итоговое число записей одинаковое, но распределение совершенно разное
нет
Матвьюшка сама по себе ничего не хранит
это AFTER INSERT TRIGGER
либо в .inner таблицу *MergeTree
либо в отдельную *MergeTree таблицу если указан CREATE MATERIALIZED VIEW ... TO db.table

пересчет делается удалением данных из TO или .inner таблицы и повторной вставкой через INSERT INTO ... SELECT .. GROUP BY ...
источник

S

Slach in ClickHouse не тормозит
87198 Skripko
Коллеги, привет.
Пробую эксперементальную фичу MaterializeMySQL
Пока clickhouse вычитывает данные с Mysql все работает, как только заканчивает, доступ к таблицам пропадает
DB::Exception: Access denied for user reader (version 21.1.3.32 (official build)) (from [::1]:60458) (in query: select count(*) from test_database.test_table;), Stack trace (when copying this message, always include the lines below):

Подскажите, кто пробовал, у кого получилось? Может для Мускуля какие-то особые права нужны (хотя выставил все что можно)
а что значит "заканчивает вычитывать"? связь с MySQL сервером рвется?
источник

8S

87198 Skripko in ClickHouse не тормозит
Slach
а что значит "заканчивает вычитывать"? связь с MySQL сервером рвется?
В Mysql есть данные.
После создания БД с движком MaterializeMySQL  - данные перекачиваются в CH.
В процессе (через несколько минут) вылетает ошибка MaterializeMySQLSyncThread: Code: 100, e.displayText() = DB::Exception: Access denied for user
И далее все запросы к данным вылетают с подобной ошибкой.
источник

S

Slach in ClickHouse не тормозит
87198 Skripko
В Mysql есть данные.
После создания БД с движком MaterializeMySQL  - данные перекачиваются в CH.
В процессе (через несколько минут) вылетает ошибка MaterializeMySQLSyncThread: Code: 100, e.displayText() = DB::Exception: Access denied for user
И далее все запросы к данным вылетают с подобной ошибкой.
ну там в логах то наверное выше должно быть еще какие то ошибки со стороны MaterializedMySQL что у него какие то ошибки репликации

SHOW SLAVES
на MySQL
что показывает?
есть там коннект от clickhouse сервера и активен ли он?
источник