Так и задумано, это просто бенчмарк(на самом деле должно было быть 2 джоина, но кликхаус не может одновременно выполнять последовательные джоины)

Так может вы нечто подобное в виде PR для кликхауса реализуете?

Так я пишу на Го, делаю то же, что сделала Victoria Metrics — беру всё лучшее от MergeTree, убираю всё ненужное и затачиваю под определённые задачи.

Был вроде аналог кликхауса на го, какой то его версии

Ой, вряд-ли кто-то так заморочился бы 🙂

Уж очень большой объём работ

в общем есть такой словарь DIRECT и похоже в нем больше смысла чем в ssd словаре

SELECT dictGetString('database_for_dict.ssd_dict', 'c', toUInt64(number)) AS xxx
FROM numbers(100000)
WHERE xxx = ''

Elapsed: 9.422 sec.

SELECT dictGetString('database_for_dict.ssd_dict', 'c', toUInt64(number+200000)) AS xxx
FROM numbers(100000)
WHERE xxx = ''

Elapsed: 37.181 sec.


-----------------

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(number)) AS xxx
FROM numbers(100000)
WHERE xxx = ''

Elapsed: 0.316 sec.

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(number+2000000)) AS xxx
FROM numbers(100000)
WHERE xxx = ''

Elapsed: 0.291 sec.

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(number+100000000)) AS xxx
FROM numbers(100000)
WHERE xxx = ''

Elapsed: 0.304 sec.

в общем в DIRECT словарь можно любой объем запихать, это тупой lookup в сам КХ

лям лукапов в nvme index_granularity 8192

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(number)) AS xxx
FROM numbers(1000000)
WHERE xxx = ''

Elapsed: 2.115 sec. Processed 1.05 million rows

А может вы нечестно сравниваете лукапя последовательные числа?

А что поменяется, если их лукапить не рэндомно? Это же не HDD

тем более всё в памяти, там всё равно по бакетам всё раскидано

По идее.

Ну у директа на диске сортированные гранулы по 8192, есть подозрение что за раз он их всех и возвращает

Я при этом смыслом ssdcache вообще еще не проникся, индекс в памяти, данные на диске кешируемые кусками. Тут реально есть где сильно прлигрывать директу или...

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(number)) AS xxx
FROM numbers(1000000)
WHERE xxx = ''

0 rows in set. Elapsed: 2.444 sec. Processed 1.05 million rows, 8.38 MB (428.85 thousand rows/s., 3.43 MB/s.)

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(cityHash64(number+100000000))) AS xxx
FROM numbers(1000000)
WHERE xxx = ''
0 rows in set. Elapsed: 2.708 sec. Processed 1.05 million rows, 8.38 MB (386.99 thousand rows/s., 3.10 MB/s.)

SELECT dictGetString('database_for_dict.direct_dict', 'c', toUInt64(cityHash64(number)%5555555)) AS xxx
FROM numbers(1000000)
WHERE xxx = ''
0 rows in set. Elapsed: 3.507 sec. Processed 1.05 million rows, 8.38 MB (298.84 thousand rows/s., 2.39 MB/s.)

А мы тут сравниваем словарь direct на ссд и ssd cache?

я да

direct рвет в 100 раз