Size: a a a

2020 December 15

М

Михаил in Airflow
Проблема такая, указываю данные для подключения, инициализирую создание таблиц и запись в них, ругается сразу на создание таблицы log, так как это служебное поле. Если создавать руками и взять название в кавычки, то соответственно норм, но в дальнейшем в любом случае проблемы будут.
источник

SG

Sergey Gavrilov in Airflow
Михаил, не надо
источник

SG

Sergey Gavrilov in Airflow
Гринплам очень плохо работает с разовыми вставками-апдейтами-инсёртами, очень много блоков. Мы использовали Гринплам для транзакционной работы, и при переходе на обычный постгрес, скорость выполнения скакнула в разы.
источник

DN

Dmitriy Novikov in Airflow
Sergey Gavrilov
Гринплам очень плохо работает с разовыми вставками-апдейтами-инсёртами, очень много блоков. Мы использовали Гринплам для транзакционной работы, и при переходе на обычный постгрес, скорость выполнения скакнула в разы.
Так он вроде колоночный?
источник

SG

Sergey Gavrilov in Airflow
Dmitriy Novikov
Так он вроде колоночный?
Он оптимизирован для колоночного хранения, но по дефолту таблицы создаются без него
источник

O

Olegа in Airflow
Ребята, если хочется хранить в переменных булевые значения, то как это лучше сделать? Хранить как json?
источник

AB

Alexey Bedrintsev in Airflow
JSON нужен, если у вас много значений, которые плюс-минус совместно используются
А так одиночные булы храните "как хотите". Лень гуглить и пробовать, но вроде можно не только строки "True"/"False", но и обычные питонячьи True/False, инты.
источник

P

Pavel in Airflow
Olegа
Ребята, если хочется хранить в переменных булевые значения, то как это лучше сделать? Хранить как json?
Да, как json
К тому же если посмотрите на сигнатуру метода get, там будет: deserialize_json=False
источник

O

Olegа in Airflow
Спасибо
источник
2020 December 16

М

Михаил in Airflow
Sergey Gavrilov
Михаил, не надо
Я понимаю что не совсем правильно, но хотелось бы разобраться с этим и иметь возможность подключить к любой базе
источник

AM

Aлексей Mатюхин... in Airflow
Михаил
Проблема такая, указываю данные для подключения, инициализирую создание таблиц и запись в них, ругается сразу на создание таблицы log, так как это служебное поле. Если создавать руками и взять название в кавычки, то соответственно норм, но в дальнейшем в любом случае проблемы будут.
Может в скрипте создания таблиц тоже кавычки у log указывать с экранированием
источник

М

Михаил in Airflow
Aлексей Mатюхин
Может в скрипте создания таблиц тоже кавычки у log указывать с экранированием
1. Не нашел скрипт, где можно это поправить, если знаете где лежит, подскажите пожалуйста
2. Мне кажется, даже если поправить это в создании скрипта, то потом это вылезет, когда в эту таблицу что-то будет инсертиться, но не уверен в этом
источник

AM

Aлексей Mатюхин... in Airflow
Ну Вы же как то передаете скрипт создания таблицы, ну там: create table t1( pole int, \"log\" varchar(10), ....
источник

AM

Aлексей Mатюхин... in Airflow
Если нет, тогда Вы в любом случае передаете имена колонок и типов, которые нужно создать
источник

AM

Aлексей Mатюхин... in Airflow
Может передать имя колонки log вот так \"log\" - в postgres это прокатывает
источник

М

Михаил in Airflow
Я делаю команду airflow initdb которая и создает все необходимы таблицы
источник

AM

Aлексей Mатюхин... in Airflow
Так у Вас не на postgres airflow развернуто?
источник

AM

Aлексей Mатюхин... in Airflow
Все, понял. Не внимательно пред историю прочитал...
источник

М

Михаил in Airflow
Я пытаюсь развернуть ее на greenplum)
источник

М

Михаил in Airflow
Думал может где-то в конфиге airflow есть параметр quoted identifier
источник