И
Все так
Size: a a a
2021 May 07
MO
Дельный совет бро 👍
L
Всем привет, кто делал подписку на рассылку по определённым параметрам?
SG
Сразу вопрос задавайте, даже если не делали - то могут подсказать
VG
Интересуют подходы к хранению большого количества связей. Например теги у новости. При 2 млн. новостей, у каждой по 75 тегов, в сумме получится таблица связи на 150 млн.строк, а это ~25 гиг памяти только на одну таблицу. Сталкивался кто-нибудь с такой оптимизацией?
P
Какой такой? Надо быстро извлекать все новости разом?
VG
Ожидаемые выборки по таблице: все новости по тегу (одному или нескольким), все теги по новости (одной).
С
Связь многие ко многим?
С
А, ты промежуточную таблицу имел в виду
VG
Да
news_id tag_id
news_id tag_id
VY
так а что мелочиться?
при таком количестве новостей, таблица которых наверное весит еще больше, что ж делать (с тегами)?
только 25 Гиг будет не памяти, а дискового пространства;
да, тяжеловато, но .... бывает.
Наверно лучше чтоб Постгрес, и на шарды порубить
при таком количестве новостей, таблица которых наверное весит еще больше, что ж делать (с тегами)?
только 25 Гиг будет не памяти, а дискового пространства;
да, тяжеловато, но .... бывает.
Наверно лучше чтоб Постгрес, и на шарды порубить
С
Да, кстати
P
если не надо вытягивать все данные разом, то все решается кэшем, как именно - дело вкуса, любое inmemory, или даже просто в основной таблице новостей создать поле с json кэшем нужных полей связей для выборки и накинуть на них индексы
VG
Таблица новостей будет около 12 гиг, ну и там понятно на что место уходит. А на простые циферки психологически жалко отдавать столько ресурсов))
VG
Да, похоже единственное решение это кешить выборки и обновлять их асинхронно
VY
А на простые циферки психологически жалко отдавать столько ресурсов
тогда как вариант, ограничить кол-во тегов на новость, например 5-6 и сразу полегчает :)
А то 75 тегов - сумасбродство какое-то :)
Как они формируются?
тогда как вариант, ограничить кол-во тегов на новость, например 5-6 и сразу полегчает :)
А то 75 тегов - сумасбродство какое-то :)
Как они формируются?
VG
автоматически, по словам из сообщения
R#
Что то реально многовато