СА
Да, я тоже подумал про мап-редьюс, но тут даже попроще, сортировка не нужна.
Size: a a a
2021 August 13
ΠΣ
Критерий всегда тот же?
СА
Конечно нет, мы бы в базе пометили отдельным полем тогда.
ΠΣ
Меня просто пример критерия вида "UUID делится на заданное число" несколько смутил (смысла анализировать рандомный ID наверное быть не может)
IV
Это такой логический MP. По факту просто сабпроцессы цепляются к реплике, выбирают N записей и обработанные складывают в trie
СА
Я имел в виду, что операция фильтрации достаточно дешёвая, как и операция над отфильтрованным. Интересует скорость обработки всей таблицы.
СА
Сабпроцессы - это треды на одном сервере или серверы кластера?
MS
А как часто критерий меняется?
СА
Постоянно. Новые задания запускаются регулярно. Будет больше заданий - надо будет масштабировать всё соответственно.
ΠΣ
Я бы ещё задал как вопрос как с этой таблицей работают, она read-heavy или write-heavy? Вся нагрузка на мастер?
СА
Поскольку "новые задания запускаются регулярно" - она точно read heavier.
СА
Регулярный фуллскан!
ΠΣ
Ну я имел в виду помимо этих заданий
СА
Мы, разумеется, имеем право пропустить относительно недавно добавленные данные. Скажем, если одно задание занимает 5 минут, то имеем право пропустить то, что было добавлено в базу за ещё минут 5 до его начала.
С
А где у нас нынче в телеграме принято шарпистов искать?
A
кстати проблему жрущего Слека я решил тем, что запускаю его в браузере. все равно все работает также, а таб в браузере жрет всего 100мб
AS
в @sns_jobs можешь попробовать
E
Я юзаю из-за grammarly в браузере
Все отлично. Даже удобнее, не надо прыгать по разным экранам (считай на 1 экран меньше)
Все отлично. Даже удобнее, не надо прыгать по разным экранам (считай на 1 экран меньше)
A
вот да. десктоп-нотификейшен выпрыгивает точно такиеже, даже в фуллскрин играх работает. нафига еще одно окно... вон даже vscode в облако переносят, а слек наоборот тащит всех в отдельное
S
альт-табаться удобнее в отдельное приложение