A
на 20-30% дешевле 2630v3 и ядер доохренения, но если AMD или новые интела сильно быстрее выйдут.... Это смущает, разница 5 лет
Тогда берите райзен или Эппл силикон ;)
Size: a a a
2020 September 08
ОБ
Тогда берите райзен или Эппл силикон ;)
Ну загнули тоже)
ИШ
на 20-30% дешевле 2630v3 и ядер доохренения, но если AMD или новые интела сильно быстрее выйдут.... Это смущает, разница 5 лет
вы рассуждаете как человек который себе комп собирает, а не бизнес строит)
ОБ
вы рассуждаете как человек который себе комп собирает, а не бизнес строит)
А какая верная логика?
ОБ
Я пришел за верной логикой
AP
Yaroslav Verbin
ну полагаем, что это просто отрезки на прямой, инты в качестве координат. условно
mykey1 1 5
mykey1 1 6
mykey1 5 7
mykey1 10 12
агрегируется в
mykey1 1 7
mykey1 10 12
Я просто даже механики подходящей не вижу в кликхаусе
mykey1 1 5
mykey1 1 6
mykey1 5 7
mykey1 10 12
агрегируется в
mykey1 1 7
mykey1 10 12
Я просто даже механики подходящей не вижу в кликхаусе
Вроде теперь учёл https://gist.github.com/aopetrov86/05247f4b29e59fed0c21bc255fe7e4c4
ИШ
либо выбирайте железо по конкретным моделям нагрузки или берите железо что есть под рукой и работайте с тем что есть)) как говорит наш президент "раздевайтесь и работайте"
A
Либо дождитесь октября, когда Эппл покажет маки на ARM, возьмите пачку mac mini, только обязательно с 10-гигабитными езернетами.
ОБ
либо выбирайте железо по конкретным моделям нагрузки или берите железо что есть под рукой и работайте с тем что есть)) как говорит наш президент "раздевайтесь и работайте"
То что есть вирты по NFS, но тут мы упираемся соседями и в ОЗУ и в диски и иногда в CPU, отсюда нужно отделение. Про нагрузки я подумаю как снять метрики
ОБ
Да и потом сложно выбирать между intel и AMD не имея никакого опыта с последним
G
Доброго дня
Начал делать обновление с
Начал делать обновление с
20.5.2.7 - > 20.7.2.30
Делал по инструкции
В итоге сервер лежит
И выводит сообщение
2020.09.08 19:35:31.194915 [ 1 ] {} <Error> Application: Caught exception while loading metadata: Code: 342, e.displayText() = DB::Exception: Existing table metadata in ZooKeeper differs in primary key. Stored in ZooKeeper: date, s2_hash, u_id, version, local: date, s2_hash, u_id: Cannot attach table `data`.`local_daily` from metadata file /var/lib/clickhouse/metadata/data/local_daily.sql from query ATTACH TABLE data.local_daily (`date` Date CODEC(Delta(2), LZ4), `s2_hash` Int64 CODEC(Delta(8), LZ4), `u_id` Int64 CODEC(Delta(8), LZ4), `sign` Int8 CODEC(Delta(1), LZ4), `version` UInt8 CODEC(Delta(1), LZ4)) ENGINE = ReplicatedVersionedCollapsingMergeTree('/clickhouse/tables/{shard}/local_daily', '{replica}', sign, version) ORDER BY (date, s2_hash, u_id) SETTINGS index_granularity = 8192, Stack trace (when copying this message, always include the lines below):
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x1271b990 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xa3f32bd in /usr/bin/clickhouse
2. ? @ 0xfdd4eea in /usr/bin/clickhouse
3. DB::ReplicatedMergeTreeTableMetadata::checkEquals(DB::ReplicatedMergeTreeTableMetadata const&, DB::ColumnsDescription const&, DB::Context const&) const @ 0xfdd2d89 in /usr/bin/clickhouse
4. DB::StorageReplicatedMergeTree::checkTableStructure(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&) @ 0xfa1ff0e in /usr/bin/clickhouse
5. DB::StorageReplicatedMergeTree::StorageReplicatedMergeTree(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, DB::StorageID const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::StorageInMemoryMetadata const&, DB::Context&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::MergeTreeData::MergingParams const&, std::__1::unique_ptr<DB::MergeTreeSettings, std::__1::default_delete<DB::MergeTreeSettings> >, bool) @ 0xfa46d55 in /usr/bin/clickhouse
6. ? @ 0xfde0b59 in /usr/bin/clickhouse
7. std::__1::__function::__func<std::__1::shared_ptr<DB::IStorage> (*)(DB::StorageFactory::Arguments const&), std::__1::allocator<std::__1::shared_ptr<DB::IStorage> (*)(DB::StorageFactory::Arguments const&)>, std::__1::shared_ptr<DB::IStorage> (DB::StorageFactory::Arguments const&)>::operator()(DB::StorageFactory::Arguments const&) @ 0xfde4cf7 in /usr/bin/clickhouse
8. DB::StorageFactory::get(DB::ASTCreateQuery const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, DB::Context&, DB::ColumnsDescription const&, DB::ConstraintsDescription const&, bool) const @ 0xf9760b1 in /usr/bin/clickhouse
9. DB::createTableFromAST(DB::ASTCreateQuery, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, bool) @ 0xf329a09 in /usr/bin/clickhouse
10. ? @ 0xf31d8d1 in /usr/bin/clickhouse
11. ? @ 0xf31e271 in /usr/bin/clickhouse
12. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0xa421557 in /usr/bin/clickhouse
13. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()&&...G
)::'lambda'()::operator()() const @ 0xa421cca in /usr/bin/clickhouse
14. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0xa420a67 in /usr/bin/clickhouse
15. ? @ 0xa41f0a3 in /usr/bin/clickhouse
16. start_thread @ 0x9609 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
17. __clone @ 0x122103 in /usr/lib/x86_64-linux-gnu/libc-2.31.so
(version 20.7.2.30 (official build))
DC
Gleb
Доброго дня
Начал делать обновление с
Начал делать обновление с
20.5.2.7 - > 20.7.2.30
Делал по инструкции
В итоге сервер лежит
И выводит сообщение
2020.09.08 19:35:31.194915 [ 1 ] {} <Error> Application: Caught exception while loading metadata: Code: 342, e.displayText() = DB::Exception: Existing table metadata in ZooKeeper differs in primary key. Stored in ZooKeeper: date, s2_hash, u_id, version, local: date, s2_hash, u_id: Cannot attach table `data`.`local_daily` from metadata file /var/lib/clickhouse/metadata/data/local_daily.sql from query ATTACH TABLE data.local_daily (`date` Date CODEC(Delta(2), LZ4), `s2_hash` Int64 CODEC(Delta(8), LZ4), `u_id` Int64 CODEC(Delta(8), LZ4), `sign` Int8 CODEC(Delta(1), LZ4), `version` UInt8 CODEC(Delta(1), LZ4)) ENGINE = ReplicatedVersionedCollapsingMergeTree('/clickhouse/tables/{shard}/local_daily', '{replica}', sign, version) ORDER BY (date, s2_hash, u_id) SETTINGS index_granularity = 8192, Stack trace (when copying this message, always include the lines below):
0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x1271b990 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xa3f32bd in /usr/bin/clickhouse
2. ? @ 0xfdd4eea in /usr/bin/clickhouse
3. DB::ReplicatedMergeTreeTableMetadata::checkEquals(DB::ReplicatedMergeTreeTableMetadata const&, DB::ColumnsDescription const&, DB::Context const&) const @ 0xfdd2d89 in /usr/bin/clickhouse
4. DB::StorageReplicatedMergeTree::checkTableStructure(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&) @ 0xfa1ff0e in /usr/bin/clickhouse
5. DB::StorageReplicatedMergeTree::StorageReplicatedMergeTree(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, bool, DB::StorageID const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::StorageInMemoryMetadata const&, DB::Context&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::MergeTreeData::MergingParams const&, std::__1::unique_ptr<DB::MergeTreeSettings, std::__1::default_delete<DB::MergeTreeSettings> >, bool) @ 0xfa46d55 in /usr/bin/clickhouse
6. ? @ 0xfde0b59 in /usr/bin/clickhouse
7. std::__1::__function::__func<std::__1::shared_ptr<DB::IStorage> (*)(DB::StorageFactory::Arguments const&), std::__1::allocator<std::__1::shared_ptr<DB::IStorage> (*)(DB::StorageFactory::Arguments const&)>, std::__1::shared_ptr<DB::IStorage> (DB::StorageFactory::Arguments const&)>::operator()(DB::StorageFactory::Arguments const&) @ 0xfde4cf7 in /usr/bin/clickhouse
8. DB::StorageFactory::get(DB::ASTCreateQuery const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, DB::Context&, DB::ColumnsDescription const&, DB::ConstraintsDescription const&, bool) const @ 0xf9760b1 in /usr/bin/clickhouse
9. DB::createTableFromAST(DB::ASTCreateQuery, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::Context&, bool) @ 0xf329a09 in /usr/bin/clickhouse
10. ? @ 0xf31d8d1 in /usr/bin/clickhouse
11. ? @ 0xf31e271 in /usr/bin/clickhouse
12. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0xa421557 in /usr/bin/clickhouse
13. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()&&...возможно баг
Existing table metadata in ZooKeeper differs in primary key. Stored in ZooKeeper:
date, s2_hash, u_id, version,
date, s2_hash, u_id
ATTACH TABLE data.local_daily ()
ENGINE = ReplicatedVersionedCollapsingMergeTree('/clickhouse/tables/{shard}/local_daily', '{replica}', sign, version)
ORDER BY (date, s2_hash, u_id)
я бы откатывался
Existing table metadata in ZooKeeper differs in primary key. Stored in ZooKeeper:
date, s2_hash, u_id, version,
date, s2_hash, u_id
ATTACH TABLE data.local_daily ()
ENGINE = ReplicatedVersionedCollapsingMergeTree('/clickhouse/tables/{shard}/local_daily', '{replica}', sign, version)
ORDER BY (date, s2_hash, u_id)
я бы откатывался
G
в старом тоже не все хорошо
DC
Gleb
в старом тоже не все хорошо
кто-то руками отредактировал
/var/lib/clickhouse/metadata/data/local_daily.sql ?G
может порекомендуете 20.8.2.3?
DC
там нет секции partition by , кто-нибудь правил
/var/lib/clickhouse/metadata/data/local_daily.sql ?G
маловероятно что редактировали
G
я не правил