D
Да, я к тому что в селектах надо бы не из намберс, а из разбросанных чисел
Size: a a a
2020 August 30
DC
Да, я к тому что в селектах надо бы не из намберс, а из разбросанных чисел
cityHash64(number+100000000)))
DC
toUInt64(cityHash64(number)%5555555))
l
Тут скорее всего выигрыш будет если словарь не помещается весь на ссд, кмк
DC
Тут скорее всего выигрыш будет если словарь не помещается весь на ссд, кмк
не не, у меня помещается
D
cityHash64(number+100000000)))
Ужс ужс... Тогда. Я читал импрувмент на ссд кеш как то криво значит
DC
direct лям Elapsed: 2.444 sec. Processed 1.05 million rows,
ssd 100тыс.
0 rows in set. Elapsed: 42.977 sec. Processed 131.01 thousand rows, 1.05 MB (3.05 thousand rows/s., 24.39 KB/s.)
второй проход
0 rows in set. Elapsed: 3.993 sec. Processed 131.01 thousand rows, 1.05 MB (32.81 thousand rows/s., 262.49 KB/s.)
ssd 100тыс.
0 rows in set. Elapsed: 42.977 sec. Processed 131.01 thousand rows, 1.05 MB (3.05 thousand rows/s., 24.39 KB/s.)
второй проход
0 rows in set. Elapsed: 3.993 sec. Processed 131.01 thousand rows, 1.05 MB (32.81 thousand rows/s., 262.49 KB/s.)
M
что-то не то с ssd кешем. Я почему и сказал, что надо бенчмарк 🙂
l
не не, у меня помещается
Ну, да кмк ссд кеш словарь не для такого случая, когда все помещается
DC
ссд словарь скорее для источника с большой летенси, когда надо 2млрд элементов таскать по http например
DC
если ходить к локалхосту в какой-нибудь аэроспайк то наверное уже директ порвет
D
Да, но уж очень он плох
D
direct лям Elapsed: 2.444 sec. Processed 1.05 million rows,
ssd 100тыс.
0 rows in set. Elapsed: 42.977 sec. Processed 131.01 thousand rows, 1.05 MB (3.05 thousand rows/s., 24.39 KB/s.)
второй проход
0 rows in set. Elapsed: 3.993 sec. Processed 131.01 thousand rows, 1.05 MB (32.81 thousand rows/s., 262.49 KB/s.)
ssd 100тыс.
0 rows in set. Elapsed: 42.977 sec. Processed 131.01 thousand rows, 1.05 MB (3.05 thousand rows/s., 24.39 KB/s.)
второй проход
0 rows in set. Elapsed: 3.993 sec. Processed 131.01 thousand rows, 1.05 MB (32.81 thousand rows/s., 262.49 KB/s.)
второй проход не впечатлил... А вообще его можно сразу подгружать чтоб без ручного прогрева? Те, что в хеш лайаут сразу грузятся вроде
DC
DC
сейчас напишу в дев чатик, получается что на самом деле для ssdкеша надо делать в качестве кеша мержтрии таблицу а не файл на диске
M
а почему мердж три, если это kv-словарь обычный?
M
там по идее надо как в аэроспайке делать
DC
ну так вот hash-и в КХ это и есть kv.
мердж три тоже в каком-то смысле kv, только там индекс разреженный
мердж три тоже в каком-то смысле kv, только там индекс разреженный
D
сейчас напишу в дев чатик, получается что на самом деле для ssdкеша надо делать в качестве кеша мержтрии таблицу а не файл на диске
Да, особенно если полностью лезет...