S
просмотри в сторону индексов
Индексы тут не помогут
Size: a a a
2020 October 11
AK
Индексы тут не помогут
почему не помогут?
D
Всем привет! Назрел вопрос:
Есть много событий, например просмотр страниц (user_id, page_id, page_type, datetime). Много - это до 10 млн в день. Хранить надо минимум год. Это 3.65 млрд. Постгрес хранить может. Но вот простейший count(") за какой-то диапазон дат может делать несколько минут. А надо быстро. Для отображения около-риалтайм статистики. Первым на ум приходит Elastic. Может есть решения проще/лучше для этих целей? Какой наиболее "Laravel-way" решения этой задачи.
Есть много событий, например просмотр страниц (user_id, page_id, page_type, datetime). Много - это до 10 млн в день. Хранить надо минимум год. Это 3.65 млрд. Постгрес хранить может. Но вот простейший count(") за какой-то диапазон дат может делать несколько минут. А надо быстро. Для отображения около-риалтайм статистики. Первым на ум приходит Elastic. Может есть решения проще/лучше для этих целей? Какой наиболее "Laravel-way" решения этой задачи.
первым на ум приходит кликхаус
r5
Инкрементировать каунт при записи события
+
r5
а, там набор данных
АГ
Всем привет! Назрел вопрос:
Есть много событий, например просмотр страниц (user_id, page_id, page_type, datetime). Много - это до 10 млн в день. Хранить надо минимум год. Это 3.65 млрд. Постгрес хранить может. Но вот простейший count(") за какой-то диапазон дат может делать несколько минут. А надо быстро. Для отображения около-риалтайм статистики. Первым на ум приходит Elastic. Может есть решения проще/лучше для этих целей? Какой наиболее "Laravel-way" решения этой задачи.
Есть много событий, например просмотр страниц (user_id, page_id, page_type, datetime). Много - это до 10 млн в день. Хранить надо минимум год. Это 3.65 млрд. Постгрес хранить может. Но вот простейший count(") за какой-то диапазон дат может делать несколько минут. А надо быстро. Для отображения около-риалтайм статистики. Первым на ум приходит Elastic. Может есть решения проще/лучше для этих целей? Какой наиболее "Laravel-way" решения этой задачи.
кликхаус
AK
плохая идея, я так понимаю статистика может выводиться count на каждый день или диапазон
S
Инкрементировать каунт при записи события
Пользователей сотни. Страниц тысячи. Типов десяток. Таблица не сильно меньше получится. И данные в разрезе дат не вытащить.
АГ
кликхаус для логоподобных данных идеален, т.е. для тех, которые не нуждаются в изменении. пачками по 10-100к записей инсертить, смотря какой объем записи. но счетчик тоже надо держать. просто если важна точность, то про запас хранить и сами данные. но захламлять ими основную базу точно не стоит.
r5
ох, меня вот мучает вопрос анализа поведения юзеров и создания предсказаний по юзеру (купит/не купит). Тоже думал за внедрение кликхауса, но что-то дальше мысли не идут. как обучать модели и т.д.
AK
Индексы тут не помогут
правельно настроеный индекс позволить до 30 ms вытащить даные и count
АГ
на кликхаусе любая аналитика любой сложности делается на изи с любым объемом сырых данных. миллиарды, да хоть триллионы записей.
АГ
главное ссд покрепче, оперативки хотя бы гига 64 поставить, и норм
r5
а видеокарточка нужна?
АГ
r5
на цпу?
АГ
АГ
там по сжатию заморочки могут быть только, а гпу зачем тут?
АГ
ссд и оператива прежде всего. остальное вторично.
r5
да хз, читал как-то что на гпу быстрее дело идет