t
Спасибо. Почитаю.
если ваша система построена на cqrs, то оно у вас уже есть
Size: a a a
2020 March 11
t
cqrs и es очень хорошо с graphql работают, как будто он прямо создан был для них
P@
Запросы в базу могут быть не такими дешевыми. У нас куча работы с географическими данными и некоторые типы сортировок могут быть довольно затратными.
Тогда возможно вам придется поменять базу, например на какой-нибудь elasticsearch. У него есть быстрый односторонний курсор из коробки.
t
Тогда возможно вам придется поменять базу, например на какой-нибудь elasticsearch. У него есть быстрый односторонний курсор из коробки.
мы это решили таки проекторами. для geospatial данных у нас эластик
P@
На монге прям совсем печально это будет работать, там курсор отжирал по 10 мб (не знаю как в текущих версиях).
P@
1000 курсоров - 10 гигов вынь да полож
t
на монге нормально будет, просто ключом брать document id
t
ну и индекс
t
впрочем, ymmv
t
не совсем понимат, откуда берется 10 мб
A1
Тогда возможно вам придется поменять базу, например на какой-нибудь elasticsearch. У него есть быстрый односторонний курсор из коробки.
Да. Ищем решения. Пока пытаемся в postgres с postgis уместиться.
Elastic пока не пробовали, но пишут, что у него "Worst for polygon in polygon". А у нас не мало таких задач.
Elastic пока не пробовали, но пишут, что у него "Worst for polygon in polygon". А у нас не мало таких задач.
P@
не совсем понимат, откуда берется 10 мб
раньше было, сейчас не нашел
сейчас там завезли startSession() для долгоживущих крсоров
но сколько они памяти жрут, я не нашел - может уже гораздо меньше
сейчас там завезли startSession() для долгоживущих крсоров
но сколько они памяти жрут, я не нашел - может уже гораздо меньше
t
а, вы имеете в виду stateful курсор в смысле бд?
P@
Да. Ищем решения. Пока пытаемся в postgres с postgis уместиться.
Elastic пока не пробовали, но пишут, что у него "Worst for polygon in polygon". А у нас не мало таких задач.
Elastic пока не пробовали, но пишут, что у него "Worst for polygon in polygon". А у нас не мало таких задач.
У нас была монга как основное хранилище, и эластик как поисковое двигло.
Мы просто хуками синкали изменения данных с эластиком.
Или делали полный ресинк, когда что-то меняли напрямую черезе базу, а не модели.
Мы просто хуками синкали изменения данных с эластиком.
Или делали полный ресинк, когда что-то меняли напрямую черезе базу, а не модели.
P@
а, вы имеете в виду stateful курсор в смысле бд?
типа того
клиент может пол дня держать пагинацию, и нам надо было курсоры реанимировать
клиент может пол дня держать пагинацию, и нам надо было курсоры реанимировать
t
не, предложенный выше подход как раз stateless :)
t
держать сессии - неблагодарное дело...
e
У нас была монга как основное хранилище, и эластик как поисковое двигло.
Мы просто хуками синкали изменения данных с эластиком.
Или делали полный ресинк, когда что-то меняли напрямую черезе базу, а не модели.
Мы просто хуками синкали изменения данных с эластиком.
Или делали полный ресинк, когда что-то меняли напрямую черезе базу, а не модели.
>была монга
А сейчас в итоге что?)
А сейчас в итоге что?)
P@
монга оказалась дорогой по памяти, эластик не подошел (уже не помню почему).
И стали хранить все данные в курсоре у клиента. Но по производительности совсем чутка просели, когда в глубь списка народ проваливается.
И стали хранить все данные в курсоре у клиента. Но по производительности совсем чутка просели, когда в глубь списка народ проваливается.
P@
держать сессии - неблагодарное дело...
ага, зато дешево на больших объемах
Вот пообщался с вами. Теперь если похожая задача прилетит, то буду уже гибридный курсор крутить.
- Если есть курсор на базе и он еще не помер, то его дергать.
- Иначе с доп фильтрацией по ключам сортировки и сортировкой
Вот пообщался с вами. Теперь если похожая задача прилетит, то буду уже гибридный курсор крутить.
- Если есть курсор на базе и он еще не помер, то его дергать.
- Иначе с доп фильтрацией по ключам сортировки и сортировкой