VS
или в конекшин пул 😂
Size: a a a
2020 June 30
VS
там 100500 причин может быть
GG
значит они упираются в общий ресурс, который делят
+++
VS
берете админа/дба/девопса и пускай он разбирается, что там и как
ME
можно поднять вторую базу чтобы каждый в свою писал) Если будет в 2 раза быстрее, значит дело точно не в airflow
DS
можно поднять вторую базу чтобы каждый в свою писал) Если будет в 2 раза быстрее, значит дело точно не в airflow
класная, идея, попробывал в разные бд писать скорость не теряеться остаеться +- как при запуске 1 файла
ME
Значит airflow не виноват, нужно тюнить базу)
ДН
Вообще из оракла в оракл есть дблинк, который явно быстрей рантайма питона будет.
GG
только он же вроде ДЕНИХ СТОИТ ?
ДН
Да он даже в коммунити версии вроде как, но честно не представляю продовую задачу на коммунити оракле)
Проще тогда уже постгрес поднять, и не проклинать все на свете пока поднимаешь оракловую базу))
Проще тогда уже постгрес поднять, и не проклинать все на свете пока поднимаешь оракловую базу))
DS
Вообще из оракла в оракл есть дблинк, который явно быстрей рантайма питона будет.
dblink то понятно , он и есть быстрей , тут еще задача в том что там не тольк ос Оракла в Оракл там еще есть Postgre и Informix, просто хотелось одно решение похожие для разных бд
GG
Да он даже в коммунити версии вроде как, но честно не представляю продовую задачу на коммунити оракле)
Проще тогда уже постгрес поднять, и не проклинать все на свете пока поднимаешь оракловую базу))
Проще тогда уже постгрес поднять, и не проклинать все на свете пока поднимаешь оракловую базу))
ага, только мастер-мастер есть в платном постгрес про
GG
GG
призываю @erzentd - он расскажет как оракл может быть дешевле постгреса в продакшене
ME
А никто не сталкивался с ошибкой при работе с MySQL?
Как я понял, базе не нравится что у меня два дага с ней работают...
_mysql_exceptions.ProgrammingError: (2014, "Commands out of sync; you can't run this command now")
Как я понял, базе не нравится что у меня два дага с ней работают...
ME
Суд по всему, хук не всегда поддерживает сразу несколько команд через точку с запятой, стоит передавать туда массив строк.
YI
призываю @erzentd - он расскажет как оракл может быть дешевле постгреса в продакшене
Oracle удобнее, и, скорее всего, надежнее. Ну никак не дешевле на небольших и средних проектах.
YI
Dmytro Skoretskyi
import cx_Oracle
import sys
dsn_tns2 = cx_Oracle.makedsn('10.125.122.191', '1521', service_name='tt')
targetConnection = cx_Oracle.connect(user=r'test', password='123', dsn=dsn_tns2,encoding="UTF8")
targetCursor = targetConnection.cursor()
targetCursor.arraysize = 50000
dsn_tns = cx_Oracle.makedsn('10.255.111.81', '1521', service_name='pp')
hh = cx_Oracle.connect(user='test', password='123', dsn=dsn_tns)
sql = "select * from test.test_tab partition (P_20200209) "
src_cursor = hh.cursor()
src_cursor.execute(sql)
while True:
rec=src_cursor.fetchmany(50000)
if not rec:
break
targetCursor.executemany("insert into test.test_tab values (:1, :2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14,:15,:16,:17,:18,:19,:20,:21)", rec)
targetConnection.commit()
src_cursor.close()
targetCursor.close()
targetConnection.close()
import sys
dsn_tns2 = cx_Oracle.makedsn('10.125.122.191', '1521', service_name='tt')
targetConnection = cx_Oracle.connect(user=r'test', password='123', dsn=dsn_tns2,encoding="UTF8")
targetCursor = targetConnection.cursor()
targetCursor.arraysize = 50000
dsn_tns = cx_Oracle.makedsn('10.255.111.81', '1521', service_name='pp')
hh = cx_Oracle.connect(user='test', password='123', dsn=dsn_tns)
sql = "select * from test.test_tab partition (P_20200209) "
src_cursor = hh.cursor()
src_cursor.execute(sql)
while True:
rec=src_cursor.fetchmany(50000)
if not rec:
break
targetCursor.executemany("insert into test.test_tab values (:1, :2,:3,:4,:5,:6,:7,:8,:9,:10,:11,:12,:13,:14,:15,:16,:17,:18,:19,:20,:21)", rec)
targetConnection.commit()
src_cursor.close()
targetCursor.close()
targetConnection.close()
У вас плохой запрос. Очень прям плохой.