Size: a a a

ClickHouse не тормозит

2020 September 15

A

Alexandr in ClickHouse не тормозит
без формата не распарсишь как csv
источник

S

Slach in ClickHouse не тормозит
Alexandr
str_get_last_data = f"""
select distinct id
from eddy_tickets
FORMAT CSVWithNames
"""
ticket_ids = pd.read_csv(StringIO(db.raw(str_get_last_data)), sep=',')
покажите стектрейс ошибки python
которую вам на этот код выдается
источник

A

Alexandr in ClickHouse не тормозит
пишет нет ключа Id, а его нет потому что результат запроса возвращается без названия столбцов
источник

Э

Эмил in ClickHouse не тормозит
CREATE TABLE products_views (
   date Date,
   product_id UInt32,
   product_name String,
   product_category UInt8
) ENGINE = MergeTree(date, (product_id, url), 8192)


Такая индексация нормальная? У меня будет быстрый поиск по product_id и url

Source : https://ruhighload.com/%D0%98%D1%81%D0%BF%D0%BE%D0%BB%D1%8C%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5+%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%BE%D0%B2+%D0%B2+clickhouse
источник

AA

Alexander Akulov in ClickHouse не тормозит
Всем привет! Есть два КХ в реплике, вчера обновился до 20.6.3.28. Ночь поработало, сегодня метрики ClickHouseAsyncMetrics_ReplicasMaxAbsoluteDelay и ClickHouseAsyncMetrics_MaxPartCountForPartition поползли вверх.
curl http://localhost:8123/replicas_status
Ok.

Почему такое могло произойти и куда копать?
В логах что-то ничего не вижу нужного.
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Slach
покажите стектрейс ошибки python
которую вам на этот код выдается
а какая версия у сервера?
источник

II

Ilya I. in ClickHouse не тормозит
Коллеги, приветствую!
Нужен совет (ссылки приветствуются).
Ситуация следующая.
Есть прод у клиента, который не должен переставать функционировать практически ни при каких обстоятельствах.
На проде сейчас 44 сервера, в ансамбле - три кластера.
45й сервер, который заменяется (умер ранее), участвует в двух разных кластерах.
Конфиги для кластеров (remote секция) под рукой есть.
Подскажите, пожалуйста, наиболее правильный способ добавления восстановленного сервера на прод, чтобы ничего на проде не упало.
На сервере, который должен быть введен обратно в кластеры, сделан минимум - установлена версия КХ, идентичная той, на которой работает кластер (если быть точным, то там сейчас 18.14.15).
Спасибо.
Извините за нубовопрос.
источник

S

Slach in ClickHouse не тормозит
Artur Beglaryan
а какая версия у сервера?
вы видимо куда то не туда нажали ?  я не автор вопроса на который вы пытаетесь отвечать
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Slach
вы видимо куда то не туда нажали ?  я не автор вопроса на который вы пытаетесь отвечать
ага, только заметил
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Alexandr
str_get_last_data = f"""
select distinct id
from eddy_tickets
FORMAT CSVWithNames
"""
ticket_ids = pd.read_csv(StringIO(db.raw(str_get_last_data)), sep=',')
какая версия у сервера?
источник

AB

Artur Beglaryan in ClickHouse не тормозит
на последних 20.3 и 20.4 CSVWithNames через http(infi.clickhouse_orm по моему через http работает) сломан
источник

AB

Artur Beglaryan in ClickHouse не тормозит
источник

AP

Alexander Poltavchen... in ClickHouse не тормозит
Всем привет, хотелось бы посоветоваться как лучше сделать миграцию часто изменяемых данных из MySql в CH

На входе:
1) 40 mysql БД в который идентичные таблички каждая размером примерно 100-150 гб
2) Данные это точки времени с некоторыми параметрами
3) Точки ( могут удаляться в прошлом, изменяться их параметры и тд.
4) Операции удаления/вставок могут быть разных размеров от 1 до миллионов записей

На выходе:
1) Хочется получить CH с данными из всех таблиц с минимальными затратами на переливание данных
2)  агрегация в CH происходит максимально автоматически (возможно MW)

Какая была идея:
1) подключить MySql как словари
2) Сделать MW с данными из всех словарей и агрегацией
источник

S

Slach in ClickHouse не тормозит
Slach
покажите стектрейс ошибки python
которую вам на этот код выдается
raw возвращает тупо текстовую строку
в качестве результата запроса, просто HTTP response body
дальше вы на стектрейс посмотрите?
Там наверняка ничего отношения к clickhouse не имеет
источник

S

Slach in ClickHouse не тормозит
о спасибо. не знал
источник

AB

Artur Beglaryan in ClickHouse не тормозит
Slach
о спасибо. не знал
я вот 10 дней назад узнал. хотел понять пофиксится ли на 20.3 или нет )
источник

S

Slach in ClickHouse не тормозит
Alexander Poltavchenko
Всем привет, хотелось бы посоветоваться как лучше сделать миграцию часто изменяемых данных из MySql в CH

На входе:
1) 40 mysql БД в который идентичные таблички каждая размером примерно 100-150 гб
2) Данные это точки времени с некоторыми параметрами
3) Точки ( могут удаляться в прошлом, изменяться их параметры и тд.
4) Операции удаления/вставок могут быть разных размеров от 1 до миллионов записей

На выходе:
1) Хочется получить CH с данными из всех таблиц с минимальными затратами на переливание данных
2)  агрегация в CH происходит максимально автоматически (возможно MW)

Какая была идея:
1) подключить MySql как словари
2) Сделать MW с данными из всех словарей и агрегацией
https://github.com/long2ice/synch
и в 20.8
есть новая экспериментальная фича
https://github.com/ClickHouse/ClickHouse/pull/10851
источник

AP

Alexander Poltavchen... in ClickHouse не тормозит
Спасибо, почитаю
источник

S

Slach in ClickHouse не тормозит
Artur Beglaryan
я вот 10 дней назад узнал. хотел понять пофиксится ли на 20.3 или нет )
попробуйте через github попушить, но судя по пулл реквесту в 20.3 это никто не бекпортнул
источник

II

Ilya I. in ClickHouse не тормозит
Ilya I.
Коллеги, приветствую!
Нужен совет (ссылки приветствуются).
Ситуация следующая.
Есть прод у клиента, который не должен переставать функционировать практически ни при каких обстоятельствах.
На проде сейчас 44 сервера, в ансамбле - три кластера.
45й сервер, который заменяется (умер ранее), участвует в двух разных кластерах.
Конфиги для кластеров (remote секция) под рукой есть.
Подскажите, пожалуйста, наиболее правильный способ добавления восстановленного сервера на прод, чтобы ничего на проде не упало.
На сервере, который должен быть введен обратно в кластеры, сделан минимум - установлена версия КХ, идентичная той, на которой работает кластер (если быть точным, то там сейчас 18.14.15).
Спасибо.
Извините за нубовопрос.
Up.
Простите, но найти более-менее полезную информацию по бескровному  добавлению сервера в кластер пока не удалось.
источник