KK
Ни о чем
Size: a a a
2020 December 12
M
Просто сколько не искал нигде не мог найти информацию про "обновляемые" данные)
KK
Сложите историю в одну кучу, отключите от обновления. Новое в другую и пусть копится себе
KK
Повторите лет через 5 с таким объемом
M
Ну каждые четыре часа грузить 400 мегабайт я не хочу
KK
Это за день?
KK
Как-то не 200 записей это
M
Я думал об этом, сделать исторические данные и обновляемые таблицы. Но это мне сотни формул переписывать надо чтобы в два набора смотреть
M
Лучше обновляемые делать. К тому же, если я буду из своих программ выгружать для поверби за сутки или неделю вместо всего промежутка, то я смогу делать более крутые выборки
M
400 это за все время
M
Результаты скулей обрабатываются 2-3 минуты. А если за неделю то секунд 10. Оптимизация с обновляемыми данными на лицо будет
M
В чём я вижу для себя плюсы пополняемых данных вместо полное обновления:
1. Более сложные запросы на выборку из своих баз за меньший промежуток с высокой скоростью отклика и мелкими всплесками нагрузки на СУБД
2. Кэширование исторических данных в повер би и как следствие более быстрая работа самого опубликованного отчёта
3. Меньшая сетевая нагрузка в сутки (у объекта маленький канал наружу).
1. Более сложные запросы на выборку из своих баз за меньший промежуток с высокой скоростью отклика и мелкими всплесками нагрузки на СУБД
2. Кэширование исторических данных в повер би и как следствие более быстрая работа самого опубликованного отчёта
3. Меньшая сетевая нагрузка в сутки (у объекта маленький канал наружу).
M
4. В связи с этим я могу увеличить колличество выгружаемых данных из СУБД впринципе и сделать свой отчёт ещё более полным.
KK
Так: при чем тут переписывать? Там один аппенд. И вообще, 40 млн записей в режиме импорта у меня лопатилось около 15 мин. а у вас в год 60 тыс
Как хотите
Как хотите
M
Причем тут импорт
M
Мне дорого экспорт делать
M
Из моих источников
M
Я раз в 4 часа бегаю по всей своей базы и выгружаю данные
M
Зачем если то что было месяц назад, никогда не изменится, выгружать 8 раз в сутки
M
И грузить СУБД приложения