AP
Странно что в это статье разница между elk и clickhouse гораздо больше чем в 2 раза. Если по левому графику посмотреть, наверное разница раз в 7
Size: a a a
2020 July 11
СХ
Anton Patsev
Странно что в это статье разница между elk и clickhouse гораздо больше чем в 2 раза. Если по левому графику посмотреть, наверное разница раз в 7
ну где то была статья ch vs scylla, там вообще странные цифры были
DV
Anton Patsev
Странно что в это статье разница между elk и clickhouse гораздо больше чем в 2 раза. Если по левому графику посмотреть, наверное разница раз в 7
1tb в день vs ~ 90Gb = x9 на моих данных
DC
ну где то была статья ch vs scylla, там вообще странные цифры были
там MV и сырые данные сравнивались, поэтому intel nuc (CH + MV) порвал сотни серверов (scylla), но в любом случае разница будет в сотни раз в пользу КХ, потому что scylla это K/V. Elastic больше похож на КХ
DT
так вон я клиента переводил с авс на хецтнер, с чёт с 15к баксов в месяц превратился в 2500
ты обрек на голод несколько семей инженеров aws.
DS
В эластичен ещё есть столбцовые docvalues для быстрой аналитики
СХ
там MV и сырые данные сравнивались, поэтому intel nuc (CH + MV) порвал сотни серверов (scylla), но в любом случае разница будет в сотни раз в пользу КХ, потому что scylla это K/V. Elastic больше похож на КХ
смотря тут на 2 сервера, вот вообще не верится, la постоянно скачет, особенно когда полнотекстовый поиск запускают, так вообще хоть молиться начинай
DC
В эластичен ещё есть столбцовые docvalues для быстрой аналитики
в КХ точно также можно на каждый столбец наделать MV, будет тормозить как elastic
DT
смотря тут на 2 сервера, вот вообще не верится, la постоянно скачет, особенно когда полнотекстовый поиск запускают, так вообще хоть молиться начинай
у тебя таблицы кривые емнип
DC
смотря тут на 2 сервера, вот вообще не верится, la постоянно скачет, особенно когда полнотекстовый поиск запускают, так вообще хоть молиться начинай
ну неудивительно, КХ легко фуллсканом сожрет все ресурсы и диск и cpu
СХ
у тебя таблицы кривые емнип
да я в этом не сомневаюсь, но пока их переделывать некому
DS
в КХ точно также можно на каждый столбец наделать MV, будет тормозить как elastic
Угу, если заморочиться, в кх можно и tsvectors сделать чтобы полнотекстовый поиск был, но зачем?)
СХ
Угу, если заморочиться, в кх можно и tsvectors сделать чтобы полнотекстовый поиск был, но зачем?)
ну чтобы данные в x5 не хранить по разным хранилкам
DT
Угу, если заморочиться, в кх можно и tsvectors сделать чтобы полнотекстовый поиск был, но зачем?)
был на хабре пост, там товарищи сделали реверс индекс из отдельной таблицы
AP
индексы в день около 1TB весили в ES, в CH 600 Gb хватает на 7 дней.
Не правильно прочитал. Сравнивал 1тб vs 600gb. 1тб в elk и 90 gb в clickhouse супер новость
DS
ну чтобы данные в x5 не хранить по разным хранилкам
Хм. В принципе, да. По этой причине и появился эластик как основное хранилище. А теперь мож кх перехватит)
Хотя, кажется, только в том случае, если у кх появится полнотекстовый поиск из коробки. А это вряд ли случится.
Хотя, кажется, только в том случае, если у кх появится полнотекстовый поиск из коробки. А это вряд ли случится.
DC
Anton Patsev
Не правильно прочитал. Сравнивал 1тб vs 600gb. 1тб в elk и 90 gb в clickhouse супер новость
в том то и дело что индексов нету в КХ, поэтому фуллскан прочитает и распакует 90ГБ, и в лучшем случае займет 90сек.
AP
Хм. В принципе, да. По этой причине и появился эластик как основное хранилище. А теперь мож кх перехватит)
Хотя, кажется, только в том случае, если у кх появится полнотекстовый поиск из коробки. А это вряд ли случится.
Хотя, кажется, только в том случае, если у кх появится полнотекстовый поиск из коробки. А это вряд ли случится.
Что для вас значит полнотекстовый поиск? Поиск string в длинном логе? У clickhouse же были функции поиска подстроки в строке.
DS
Anton Patsev
Что для вас значит полнотекстовый поиск? Поиск string в длинном логе? У clickhouse же были функции поиска подстроки в строке.
Не. Для меня это поиск как в lucene. Я не про обработку логов сейчас, а про основное хранилище
СХ
Anton Patsev
Что для вас значит полнотекстовый поиск? Поиск string в длинном логе? У clickhouse же были функции поиска подстроки в строке.
это у тебя есть 150000 сообщений, и в них надо найти про то, где обсуждают машу