Dv
выборка маленькая, чтение с диска большое
А почему?
Size: a a a
2021 April 02
Dv
Так ведь не должно быть при оптимально выбранном индексе.
AS
Что насчёт стриминга?
какой такой стриминг
AS
А почему?
а потому что данных 112 гб а индекс 62 гб
Dv
а потому что данных 112 гб а индекс 62 гб
Ага, то есть сам индекс тоже получился большой. А шардинг по нему не залупенить?
Dv
Я не уверен, что Постгрес сумеет застримить данные в твоей ситуации, впрочем.
AS
Ага, то есть сам индекс тоже получился большой. А шардинг по нему не залупенить?
это называется партиционирование, и именно его я буду делать следующим
Dv
это называется партиционирование, и именно его я буду делать следующим
Ну ок, сделай шардинг. Видишь, как хорошо получается.
Dv
А, ну таки ты прав, в psql шардингом называют штуку, когда между серверами данные. А внутри сервера — это партишенинг. Ну лан.
Dv
Но, к слову, ещё один рабочий подход — это просто реплицировать данные для твоего конкретного запроса на другой сервак, и пусть он их отдаёт, не тормозя тех, кто их вставляет в базу.
Если ты готов пожертвовать оперативной доступностью этих данных, конечно.
Если ты готов пожертвовать оперативной доступностью этих данных, конечно.
AS
Но, к слову, ещё один рабочий подход — это просто реплицировать данные для твоего конкретного запроса на другой сервак, и пусть он их отдаёт, не тормозя тех, кто их вставляет в базу.
Если ты готов пожертвовать оперативной доступностью этих данных, конечно.
Если ты готов пожертвовать оперативной доступностью этих данных, конечно.
сервер не загружен, резервный сервер не поможет
Dv
Если данных мало, можно банально кэш для них сделать.
AS
Если данных мало, можно банально кэш для них сделать.
кэш есть, но из за того что индекс 49гб он постоянно его перетирает, плюс данные свежие постоянно едут
AS
в итоге никакой кэш тут не спасет
Dv
Умный кэш надо — чтоб не перезатирал, а дополнял.
Dv
Его надо интегрировать в пайплайн, по которому данные приходят.
AS
Умный кэш надо — чтоб не перезатирал, а дополнял.
напишешь для постгреса такой?
Dv
Ну а вообще, если честно, у тебя объёмы данных не очень большие. Просто скажи админу, чтобы поставил памяти побольше, и не еби мозг :)
Dv
напишешь для постгреса такой?
Его не пишут для Постгреса. Его пишут для твоего приложения.