N
можно таблицы в csv(tsv) выгрузить из DB2, потом закачать в PG
Size: a a a
2021 April 07
Н
Есть блобы, не пойдет
o
У Connection есть MetaData через нее получаешь название таблицы и полей.
генерируешь sql на чтение из DB2 и sql на вставку в postgres
если таблицы маленькие читаешь все в память и батчем вставляешь
генерируешь sql на чтение из DB2 и sql на вставку в postgres
если таблицы маленькие читаешь все в память и батчем вставляешь
Н
Ну это типа как ты в эквилибриуме делал?
Н
Понял направление, спасибо
Н
Видел тот код
o
я уже не помню как там делал. :)
N
для больших таблиц можно указать setFetchSize
тут статья под Db2 возможно тоже подойдет.
https://franckpachot.medium.com/oracle-postgres-jdbc-fetch-size-3012d494712
тут статья под Db2 возможно тоже подойдет.
https://franckpachot.medium.com/oracle-postgres-jdbc-fetch-size-3012d494712
o
На сколько я знаю fetch size влияет на размер выкаченных за раз строк, да для больших объемов лучше его поставить побольше, что бы лишний раз в БД не бегать.
но проблему с памятью оно не решить. Если таблица большая, нужно будет кусками читать. Например сортировать по первичному ключу и брать по 1 000 000
но проблему с памятью оно не решить. Если таблица большая, нужно будет кусками читать. Например сортировать по первичному ключу и брать по 1 000 000
N
нашу проблему с памятью решило это
TS
https://in.relation.to/2009/04/15/migrating-databases-with-db-unit/ вот такое когда-то мне помогло
Н
Всё бы ничего, но 12 лет прошло... Я посмотрю, но не факт что поможет
Н
Хотя впрочем код будет работать, пожалуй. Спасибо
TS
12 лет статье, а инструмент DBUnit еще поддерживается
TS
Жаве тоже больше 20 лет уже ))
A
25
2021 April 08
КТ
AK
Привет всем. Вопрос есть такой, нужно спарсить сайт и когда делаеш парсинг можно ли использовать пойсковик в этом сайте( ты там вставляеш инфо то что хочеш пойскать и какбы нажимаеш пойск) и переходиш по новой ссылке и парсиш новую страницу,
A
погляди селениум и его замечательную обёртку селенид