В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3939 membersпожаловаться на группу
2020 May 28

Д

Дмитрий in ClickHouse не тормозит
Всем привет. Скажите, пожалуйста, какие есть альтернативы такому продукту как Fluentd? Суть задачи заключается в обработке большого числа Json-файлов (до нескольких тысяч в секунду)? Сталкивались ли с похожими задачами? У меня есть только опыт работы со стеком ELK
источник
18:16пожаловаться#1

AT

Al T in ClickHouse не тормозит
ну учитывая что чатик про кликхаус скажу что fluentD на кликхаус совсем непохож
источник
18:19пожаловаться#2

AT

Al T in ClickHouse не тормозит
а по сути вопроса, как приходят-то json файлы
источник
18:20пожаловаться#3

AT

Al T in ClickHouse не тормозит
и что вообще с ними сделать надо
источник
18:20пожаловаться#4

Д

Дмитрий in ClickHouse не тормозит
Мало ли был опыт работы😉🙂 спросить у сообщества на всякий случай🙂
источник
18:20пожаловаться#5

A

Andrey in ClickHouse не тормозит
Дмитрий
Всем привет. Скажите, пожалуйста, какие есть альтернативы такому продукту как Fluentd? Суть задачи заключается в обработке большого числа Json-файлов (до нескольких тысяч в секунду)? Сталкивались ли с похожими задачами? У меня есть только опыт работы со стеком ELK
Можно парсить их кликхаусом 🤣
источник
18:21пожаловаться#6

Д

Дмитрий in ClickHouse не тормозит
Al T
и что вообще с ними сделать надо
Проверять на соответствие определённой схеме и в соответствие с ней забирать данные из требуемых полей, записывая далее в csv
источник
18:21пожаловаться#7

Д

Дмитрий in ClickHouse не тормозит
Andrey
Можно парсить их кликхаусом 🤣
🙂
источник
18:22пожаловаться#8

AT

Al T in ClickHouse не тормозит
ну и нормальный вариант через fluentD....
источник
18:23пожаловаться#9

VB

Vladimir Bunchuk in ClickHouse не тормозит
ребят, а сталкивался кто с такой штукой?

Делаю alter delete по конкретной дате
Потом вставляю данные с этой датой. КХ говорит что все ок. Делаю select, а данных с этой датой нет
источник
18:24пожаловаться#10

S

Shazo in ClickHouse не тормозит
Много что будет лучше  fluentd, это же Ruby.
Fluentbit, fluent beat, rsyslog, vector.

Последние побыстрее, можно после вытаскивания полей писать по колонкам в кх тот же
источник
18:24пожаловаться#11

AT

Al T in ClickHouse не тормозит
можно через nifi например
источник
18:24пожаловаться#12

VB

Vladimir Bunchuk in ClickHouse не тормозит
Vladimir Bunchuk
ребят, а сталкивался кто с такой штукой?

Делаю alter delete по конкретной дате
Потом вставляю данные с этой датой. КХ говорит что все ок. Делаю select, а данных с этой датой нет
в system.mutations указано что миграция с удалением выполнилась
источник
18:25пожаловаться#13

AT

Al T in ClickHouse не тормозит
ну fluentD наполовину на С
источник
18:25пожаловаться#14

S

Shazo in ClickHouse не тормозит
Vladimir Bunchuk
ребят, а сталкивался кто с такой штукой?

Делаю alter delete по конкретной дате
Потом вставляю данные с этой датой. КХ говорит что все ок. Делаю select, а данных с этой датой нет
Replicated  таблица? Если вставляете один и тот же набор данных и строк, срабатывает дедупликация мб
источник
18:25пожаловаться#15

Д

Дмитрий in ClickHouse не тормозит
Shazo
Много что будет лучше  fluentd, это же Ruby.
Fluentbit, fluent beat, rsyslog, vector.

Последние побыстрее, можно после вытаскивания полей писать по колонкам в кх тот же
Спасибо🙂
источник
18:25пожаловаться#16

AT

Al T in ClickHouse не тормозит
rsyslog кстати хороший вариант
источник
18:25пожаловаться#17

AT

Al T in ClickHouse не тормозит
да
источник
18:25пожаловаться#18

VB

Vladimir Bunchuk in ClickHouse не тормозит
Shazo
Replicated  таблица? Если вставляете один и тот же набор данных и строк, срабатывает дедупликация мб
кстати да, ReplicatedMergeTree
источник
18:25пожаловаться#19

S

Shazo in ClickHouse не тормозит
Vladimir Bunchuk
кстати да, ReplicatedMergeTree
Попробуйте изменить набор, добавить или удалить строчку.
источник
18:26пожаловаться#20