Добрый день, коллеги! Приветствую особенно гуру, что не боты. Не могли бы вы помочь слепцу в поисках истинны среди всяческого индексированного добра.
Что есть: огромная реплицированная таблица с 10 млрд линий и около 100 колонок. Есть партицирование ее по дате и одному инту(назовем его комит_ид), сортировка по двум стрингам и еще одному инту. Первичный ключ не указан. Сделанно специально, чтобы оптимизировать некоторые запросы типа SELECT. Теперь появились новые запросы в соторые еще добавились сравнение на равенство по колонки типа ЮИнт64 (который некий хэш) и один Инт8 у которого 2 значения : +1 или -1. По ключу сортировки и партиции тоже сравнение на равенство.
Проблема: впечатление, что КХ сканирует все, так как запрос производится в течение 20 с. Попытался добавить минмакс индекс и блум-филтер. Переоптимизировал таблицу. Время не улучшилось, а иногда в некоторых вариантах ухудшилось.
Вопрос: у кого естль луч света в царстве индексирования данных и оптимизации? Заранее благодарен

Добрый день, коллеги! Приветствую особенно гуру, что не боты. Не могли бы вы помочь слепцу в поисках истинны среди всяческого индексированного добра.
Что есть: огромная реплицированная таблица с 10 млрд линий и около 100 колонок. Есть партицирование ее по дате и одному инту(назовем его комит_ид), сортировка по двум стрингам и еще одному инту. Первичный ключ не указан. Сделанно специально, чтобы оптимизировать некоторые запросы типа SELECT. Теперь появились новые запросы в соторые еще добавились сравнение на равенство по колонки типа ЮИнт64 (который некий хэш) и один Инт8 у которого 2 значения : +1 или -1. По ключу сортировки и партиции тоже сравнение на равенство.
Проблема: впечатление, что КХ сканирует все, так как запрос производится в течение 20 с. Попытался добавить минмакс индекс и блум-филтер. Переоптимизировал таблицу. Время не улучшилось, а иногда в некоторых вариантах ухудшилось.
Вопрос: у кого естль луч света в царстве индексирования данных и оптимизации? Заранее благодарен

А бывает такое, что таблица просто взяла и исчезла? 😕

единственный случай когда вам помогут скип индексы это когда у вас есть какая то локальность данных(те что учавствуют в скип индексе), с учетом ORDER BY таблицы

спасибо. Могли бы вы показать на примере? Что подразумевается под локальностью данных? частичная монотонность?

А бывает такое, что таблица просто взяла и исчезла? 😕

да конечно, а рядом появляется др. таблица, и в ней строка с объяснением куда переводить биткоины

Смешно, было в песочнице с монгой )

я бот, но имхо нету. если ваш хеш не привязан к сортировке (локальность выше) скип индексы в мусорку.

рекомендую попробовать добавить ваш хеш в конец вашей сортировки, или перед комит-ид может помочь и проверить на саб-сете данных

спасибо попробую добавть в конец ключа сортировки хэш инт

таблица
ORDER BY str1,str2,int1
Но судя из описания были у вас запросы
WHERE str1='' and str2='' and int1 = 3

а теперь появились
WHERE str1='' and str2='' and int1 = 3 and hash = '' and int2 = 1
или
WHERE hash = '' and int2 = 1

таблица
ORDER BY str1,str2,int1
Но судя из описания были у вас запросы
WHERE str1='' and str2='' and int1 = 3

а теперь появились
WHERE str1='' and str2='' and int1 = 3 and hash = '' and int2 = 1
или
WHERE hash = '' and int2 = 1

ну hash - UInt64, так что WHERE Date='' and str1='' and str2='' and int1=3 and hash=10 and int2=1

>>По ключу сортировки и партиции тоже сравнение на равенство.

>ORDER BY str1,str2,int1
>Но судя из описания были у вас запросы
>WHERE str1='' and str2='' and int1 = 3

>а теперь появились
>WHERE str1='' and str2='' and int1 = 3 and hash = '' and int2 = 1

так не должно ухудшится, префикс в индексе

да вроде да, какая разница-то

Есть у нас таблица в 10млрд записей с какой то сортировкой
есть в этой таблице колонка UInt8 которая не учавствует в ключе

И допустим только у 100 записей в этой таблице значение 1 во всех остальных 0
Тогда скип индекс set или minMax в это случае сработает

вообще непонятно насколько точные запросы нужны, и насколько быстрые, наверное можно сделать MV c инверсным индексом

кажется, разница есть: есть ключ во вложенной таблице - строка, то автомагия суммирования не работает. стоит заменить его на число – и все становится верно. Версия КХ 19.16