Size: a a a

ClickHouse не тормозит

2020 June 21

AT

Al T in ClickHouse не тормозит
но там скорее всего это конечно размазано по нескольким SSD а не одному (как впрочем и EBS тоже не один диск)
источник

D

Dj in ClickHouse не тормозит
Al T
так как я хотел работает например amazon aurora. поэтому там рид-реплики создаются очень быстро (но они кстати вроде как заморочились и написали свою виртуальную файловую систему на базе NvME)  Я правда не сам это придумал...
aurora - обычная SMP база же... не shared-nothing
источник
2020 June 22

AT

Al T in ClickHouse не тормозит
я честно говоря не очень понимаю что такое shared-nothing применительно к базе данных? мультимастер вы имеете ввиду?
источник

D

Dj in ClickHouse не тормозит
Al T
я честно говоря не очень понимаю что такое shared-nothing применительно к базе данных? мультимастер вы имеете ввиду?
shared nothing - когда у вас 10 серверов, каждый независим от другого, не "делит" память, диск, проц
источник

D

Dj in ClickHouse не тормозит
SMP - это когда есть некая общая шина по которой инстансы делят данные и координируются (oracle, db2, mssql, всякие кластер-клоны mysql, про остальных не скажу)
источник

AT

Al T in ClickHouse не тормозит
рид реплики шерят с мастером виртуальную файловую систему
источник

D

Dj in ClickHouse не тормозит
Al T
рид реплики шерят с мастером виртуальную файловую систему
это вообще боль, когда shared storage и row store - нормальные базы дают полноценный active-active
источник

D

Dj in ClickHouse не тормозит
я к тому, что - aurora - row store, oltp база
когда у ваc row-store, у вас есть rowid, и там намного проще делать координацию между инстансами на shared-storage
источник

D

Dj in ClickHouse не тормозит
при аналитических нагрузках это часто теряет смысл, так как SAN становится bottleneckом. (все фишки сан с ССД кешем и прочим  дедупом, тиерингом - становятся малополезны)

так как аналитические нагрузки это:
- много sequential reads/writes
- много фуллсканов (неиндексированных чтений записей).

второе важно если у вас кластер, так как нужно знать текущего "владельца записи" записи для получения консистентных данных когда несколько инстансов глядят в shared-storage.

хотя при eventual consistency - на все вышесказанное в принципе можно забить.
источник

AT

Al T in ClickHouse не тормозит
там не EBS и не SAN в обычном понимании слова.. ну да не суть
источник

AT

Al T in ClickHouse не тормозит
там набор машин с nvme
источник

D

Dj in ClickHouse не тормозит
Al T
там не EBS и не SAN в обычном понимании слова.. ну да не суть
там чёрная магия? =)
источник

AT

Al T in ClickHouse не тормозит
нет не магия, просто не SAN ))
источник

D

Dj in ClickHouse не тормозит
ну нету ложки, везде в облаках какие-нибудь самодельные сторадж на hyper-convergence, SAN, или подобиях ))) то, что это диски с полками с условным софтом поверх - не делает это все "не SAN"
источник

AT

Al T in ClickHouse не тормозит
это диски с compute
источник

AT

Al T in ClickHouse не тормозит
ну это и правда не имеет отношения к КХ
источник

D

Dj in ClickHouse не тормозит
аха, если host на котором был compute упал, EBS можно приаттачить к другому compute?
источник

AT

Al T in ClickHouse не тормозит
не очень понял причем тут EBS там нет EBS, если упал то поднялся и скопировался с одной из 6 реплик
источник

SC

Smoked Cheese in ClickHouse не тормозит
Dj
аха, если host на котором был compute упал, EBS можно приаттачить к другому compute?
EBS это сетевой диск
т.е. да, можно
источник

AT

Al T in ClickHouse не тормозит
вы же знаете что есть инстансы у которых диски локальные а не EBS?
источник