S
Ну неужели никто миллион записей в БД не вносил?)
Я по 50к в одном queryset грузил, все было ок.
Size: a a a
2021 March 13
S
Я по 50к в одном queryset грузил, все было ок.
К одному миллиону имеется ввиду
S
К одному миллиону имеется ввиду
На postgresql
AS
Добрый день, подскажите пожалуйста! Вторую неделю бьюсь с загрузкой 1М строк в БД. Вот основные момент кода: https://codeshare.io/2KVX6X
пытаюсь сделать bulk_create с указанием batch_size, но исхода два: 1. Если большой батч сайз, то заканчивается оперативка и БД вылетает с ошибкой 2. Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго.
Может ли быть проблема в том, что каждая строка, которую я хочу добавить, имеет связанный ForeignKey? Как можно исправить ситуацию?(
пытаюсь сделать bulk_create с указанием batch_size, но исхода два: 1. Если большой батч сайз, то заканчивается оперативка и БД вылетает с ошибкой 2. Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго.
Может ли быть проблема в том, что каждая строка, которую я хочу добавить, имеет связанный ForeignKey? Как можно исправить ситуацию?(
> Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго
так запустили бы и я за 2 недели явно загрузилось
так запустили бы и я за 2 недели явно загрузилось
E
Есть способ пропихнуть в inner join дополнительное условие?🤔
E
Без RawSQL
VN
> Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго
так запустили бы и я за 2 недели явно загрузилось
так запустили бы и я за 2 недели явно загрузилось
Только мне надо 3 раза в день обновлять))
AS
Только мне надо 3 раза в день обновлять))
ну записать 3миллиона в сутки не должно быть проблемой
E
Есть способ пропихнуть в inner join дополнительное условие?🤔
FilteredRelation не помогло, он делает LEFT OUTER JOIN (даже если уже есть на нужную таблицу INNER)
E
разобрался
А
спасибо! помогло!
не за что
ИМ
не за что
Ночь - лучшее время для программиста?)
А
Ночь - лучшее время для программиста?)
да не спать скоро пойду, целый день работал, только приехал, встречи дела, работа и т.п., от компа уже глаза болят
AD
Добрый день, подскажите пожалуйста! Вторую неделю бьюсь с загрузкой 1М строк в БД. Вот основные момент кода: https://codeshare.io/2KVX6X
пытаюсь сделать bulk_create с указанием batch_size, но исхода два: 1. Если большой батч сайз, то заканчивается оперативка и БД вылетает с ошибкой 2. Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго.
Может ли быть проблема в том, что каждая строка, которую я хочу добавить, имеет связанный ForeignKey? Как можно исправить ситуацию?(
пытаюсь сделать bulk_create с указанием batch_size, но исхода два: 1. Если большой батч сайз, то заканчивается оперативка и БД вылетает с ошибкой 2. Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго.
Может ли быть проблема в том, что каждая строка, которую я хочу добавить, имеет связанный ForeignKey? Как можно исправить ситуацию?(
Я не знаю что делает bulk_create под капотом, возможно как раз тоже самое что я сейчас предложу
Но не пробовал случайно поиграть с транзакциями?
Но не пробовал случайно поиграть с транзакциями?
AD
возможно если просто уменьшить количество коммитов, уже станет легче
AD
Дока гласит:
This method inserts the provided list of objects into the database in an efficient manner (generally only 1 query, no matter how many objects there are):
Поэтому и память кончается
Думается мне, стоит попробовать скомбинировать уменьшение количества транзакций и bulk_create
This method inserts the provided list of objects into the database in an efficient manner (generally only 1 query, no matter how many objects there are):
Поэтому и память кончается
Думается мне, стоит попробовать скомбинировать уменьшение количества транзакций и bulk_create
AD
http://stefano.dissegna.me/django-pg-bulk-insert.html
а вот еще статейка, где человек явно "налюбился" с ОРМ и по итогу вернулся к raw SQL :D
а вот еще статейка, где человек явно "налюбился" с ОРМ и по итогу вернулся к raw SQL :D
AD
Добрый день, подскажите пожалуйста! Вторую неделю бьюсь с загрузкой 1М строк в БД. Вот основные момент кода: https://codeshare.io/2KVX6X
пытаюсь сделать bulk_create с указанием batch_size, но исхода два: 1. Если большой батч сайз, то заканчивается оперативка и БД вылетает с ошибкой 2. Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго.
Может ли быть проблема в том, что каждая строка, которую я хочу добавить, имеет связанный ForeignKey? Как можно исправить ситуацию?(
пытаюсь сделать bulk_create с указанием batch_size, но исхода два: 1. Если большой батч сайз, то заканчивается оперативка и БД вылетает с ошибкой 2. Если батч сайз слишком маленький, то улетает куча запросов в БД + заполнение происходит долго.
Может ли быть проблема в том, что каждая строка, которую я хочу добавить, имеет связанный ForeignKey? Как можно исправить ситуацию?(
тут можно почитать о том как сделать банч действий одной транзакцией, проверить мою теорию можно предельно быстро)
https://docs.djangoproject.com/en/3.1/topics/db/transactions/
https://docs.djangoproject.com/en/3.1/topics/db/transactions/
AD
ну и последнее - посмотри где вообще просадки
SELECT EXPLAIN подскажет
SELECT EXPLAIN подскажет
AK
Такс, доброй ночи!
Шарит кто за асинхронность в джанго?
Крч понял как сделать функциональные вьюхи асинхронными, а по class based async views инфы не нашел...
Шарит кто за асинхронность в джанго?
Крч понял как сделать функциональные вьюхи асинхронными, а по class based async views инфы не нашел...