ПФ
У нас там в airflow целый пайплайн был )
Size: a a a
2021 April 19
SG
Попробуем))
NN
Ну вот мне тоже видится, что это может оказаться самым простым вариантом)
N
Где окромя сырцов почитать как оффхип юзается и как его параметры тюнить?
GP
ты конкретно про что? перегруженый термин
это могут быть и дайрект байтбуфферы жвм, и настройки жобы на старте (кубера / ярна)
это могут быть и дайрект байтбуфферы жвм, и настройки жобы на старте (кубера / ярна)
N
Вот про это
N
Я наблюдаю, что одни и те же джобы на одних и тех же данных могут вообще не работать, если оставить дефолт и отлично пыхтеть, если написать туда 16 Gb при контейнере 64.
GP
читай это как контейнеры ярна / куба стартуют с memory + memoryOverhead хард лимитами, но жвм ограничена memory
GP
груб говоря xmx будет memory но лимиты контейнера memory + memoryOverhead
GP
обычно когда за хард лимиты вылезаешь у тебя в случае кубера и ярна оом киллер прибьет за exceeding memory limits
АА
Ребят, могли бы подсказать лучшие решения по отслеживанию изменений в табличках оракла?(добавление/изменение/удаление)
Если я правильно понимаю то SCD TYPE N это подход к хранению этих изменений, а есть ли подходы к обнаружению их?
Если я правильно понимаю то SCD TYPE N это подход к хранению этих изменений, а есть ли подходы к обнаружению их?
2021 April 20
N
Голден гейт
ЕГ
Органолептический подход)
ЕГ
Лучше всего наверно закрывать таблицы и менять менять их только каким-то фиксированным способом, накатывая миграции коммитами в гит
ЕГ
Для всех баз работает, если продовые таблицы
N
Вопрос про ddl или dml?
NN
Если за денежку, то просто погуглите, варианты есть, помимо голден гейт, но для оракла он, конечно, лучше всех подходит. Альтернатива - брать разрабов, вскрывать оракловые логи/журналы и ловить, как-то так, наверное. Но я тут вообще не спец.
АА
За советы спасибо, попробую
D
По сути он просто в момент отбрасывания лога пишет события которые потом забираешь...
Думаю если задаться целью , ничем не хуже решение можно при отсутствии денег самому сделать/скопировать
Думаю если задаться целью , ничем не хуже решение можно при отсутствии денег самому сделать/скопировать
e
Асинхронный триггер который скидывает номер измененой строки в таблицу логов.норм работает для транзакций. Если идёт пакетная вставка то нужно отключать.