В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4118 membersпожаловаться на группу
2020 July 23

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Smoked Cheese
есть ещё например оптимизация поиска, когда сначала читаются только колонки, необходимые для WHERE, находятся нужные ренжи строк и потом уже читаются все данные
ну... а что мешает этой оптимизации работать и в компактном формате?

насчет NVMe это довольно мейнстрим... 3dxpoint еще нет, но максимум через два года и это будет мейнстрим. Мелланокс уже больше года работают с 3dxpoint
источник
22:23пожаловаться#1

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
глубокое непонимание у вас про груду файлов
ну хоть линку если писать лень, что я не понимаю
источник
22:24пожаловаться#2

DC

Denny Crane (I don't... in ClickHouse не тормозит
ну компактные парты оптимизированы под запись и кмк там сжаты все колонки кучей, груда файлов под чтение,
источник
22:28пожаловаться#3

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну компактные парты оптимизированы под запись и кмк там сжаты все колонки кучей, груда файлов под чтение,
гм... я думаю пойти посмотеть имплементацию это лучший вариан, а то я уже начинаю беспокоиться
источник
22:32пожаловаться#4

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
гм... я думаю пойти посмотеть имплементацию это лучший вариан, а то я уже начинаю беспокоиться
я чисто ради любопытсва сделал ваш пример с фейк данными, 30% разницы выходит от силы в среднем... в гитхаб кинул
источник
22:37пожаловаться#5

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
пасиб
источник
22:40пожаловаться#6

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
гм... я думаю пойти посмотеть имплементацию это лучший вариан, а то я уже начинаю беспокоиться
думается у вас ботлнек ещё где то
https://github.com/ClickHouse/ClickHouse/issues/12737#issuecomment-663195357

ну и в целом, смысл компакт партов - в том, чтобы свежезаписанные мелкие парты не захламляли ФС
GitHub
Parts using COMPACT format are slower than WIDE · Issue #12737 · ClickHouse/ClickHouse
Describe the situation when using COMPACT format for parts queries significantly slower How to reproduce Which ClickHouse server version to use 2.4.4 CREATE TABLE statements for all tables involved...
источник
22:40пожаловаться#7

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
я думаю что еще важно понять сколько строк попадает под where
источник
22:41пожаловаться#8

D

Dj in ClickHouse не тормозит
ну см в мой коммент, там все есть, экспериментируйте... вообще неважно, сканируется все равно вся таблица, разве что prewhere может чуток помочь на маленьком selectivity
источник
22:42пожаловаться#9

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
с другой стороны, Алексей говорит что наверное упомянутая им починка бага решит проблему
источник
22:46пожаловаться#10

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
с другой стороны, Алексей говорит что наверное упомянутая им починка бага решит проблему
ну там где я проверял достаточно тормознутые диски, судя по всему ваша проблема очень специфична
источник
22:50пожаловаться#11

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
я честно говоря не вижу что же там такого может быть специфичного... ну все выглядит простое как пять копеек, дьявол, конечно, в деталях, но я не чувствую запаха серы
источник
22:51пожаловаться#12
2020 July 24

KS

Konstantin Sevastian... in ClickHouse не тормозит
prll
все можно решить конфигом odbc драйвера -
url = https://default:password@localhost:8443/query?database=default&max_result_bytes=4000000&buffer_size=3000000
на этот раз c Tableau - в последней версии ODBC опять наткнулся на проблему Unsupported path: "/query", вроде как можно в DSN указать Path, но чтобы я там не указывал ошибка остается прежней, а если меняю на url то вообще какие либо признаки жизни пропадают =( что то можно сделать?
источник
00:23пожаловаться#13

ИМ

Илья Максимов... in ClickHouse не тормозит
Привет! Подскажте пожалуйста, в зукиперах каким то образом пропали пути для некоторых таблиц для одного шарда и реплики из всего кластера. Например 
/clickhouse/cluster_1/tables/0/aggr_db/my_table/metadata
. При вставке данных получаю Table is in readonly mode. При force_restore_data флаге пишет что нет метаданных в зукипере, и как бы так и есть, их нет. Но вернуть эти метаданные в зк как?
источник
07:51пожаловаться#14

M

M in ClickHouse не тормозит
Подскажите, пожалуйста, когда делаешь ALTER TABLE ADD INDEX ... там указывается тип индекса. Нашел только тип minmax. А какие еще существуют? Может где-то оно описано? В доке не нашел
источник
09:41пожаловаться#15

AZ

Alexander Zaitsev in ClickHouse не тормозит
M
Подскажите, пожалуйста, когда делаешь ALTER TABLE ADD INDEX ... там указывается тип индекса. Нашел только тип minmax. А какие еще существуют? Может где-то оно описано? В доке не нашел
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#available-types-of-indices
clickhouse.tech
MergeTree | ClickHouse Documentation
MergeTree The MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engine
источник
10:25пожаловаться#16

M

M in ClickHouse не тормозит
Спасибо!
источник
10:26пожаловаться#17

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Доброго утра. А был у кого-то опыт перевоза clickhouse зукипера на digest user/password? То есть, добавления user/password в существующий <yandex><zookeeper></></> конфиг?
источник
10:34пожаловаться#18

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
нигде не указано, грозит ли это чем-то неожиданным, так что именно его, неожиданного, я и опасаюсь
источник
10:35пожаловаться#19

E

Eugene in ClickHouse не тормозит
Привет!
Получаем в Yandex.Datalens вот такое


Ошибка загрузки данных
{
   "kfki3bght29sg_result": {
       "code": "ERR.DS_API.BILLING.ACTION_NOT_ALLOWED",
       "status": 400,
       "sourceType": "bi",
       "message": "Sessions quota exceeded (1000.0 / 1000.0)",
       "details": {
           "billing_code": "SESSIONS_LIMIT"
       }
   }
}


Что мы делаем не так? Сессии остаются на сервере?
источник
10:49пожаловаться#20