Вы atomic имеете ввиду. Я если честно, плохо понял, как оно работает. Но вроде bulk_create использует именно его.

Что я ещё проверил:
1. Мой генератор, который выдаёт кол-во объектов, которое равно batch_size, жрет оперативу. С каждый циклом все больше
2. Гружу 200к позиций батчами по 5к. После перезагрузки сервера и БД отрабатывает ОК. Если второй раз запустить то оперативка сжирается и БД отключает соединение. Попробую оперативы на хостинг докинуть, может исправит ситуацию

БОльшая часть меняется. Мне нужно:
1. Обновить наличие и цену
2. Удалить позиции, которые закончились
3. Добавить позиции, которые появились

Вы atomic имеете ввиду. Я если честно, плохо понял, как оно работает. Но вроде bulk_create использует именно его.

Что я ещё проверил:
1. Мой генератор, который выдаёт кол-во объектов, которое равно batch_size, жрет оперативу. С каждый циклом все больше
2. Гружу 200к позиций батчами по 5к. После перезагрузки сервера и БД отрабатывает ОК. Если второй раз запустить то оперативка сжирается и БД отключает соединение. Попробую оперативы на хостинг докинуть, может исправит ситуацию

Хмм. А почему наличие решается так, а не подсчётом транзакций товаров?

" Мой генератор, который выдаёт кол-во объектов, которое равно batch_size, жрет оперативу. С каждый циклом все больше"
вот над этим стоит поработать
отработанные данные надо сбрасывать, конечно

Вы atomic имеете ввиду. Я если честно, плохо понял, как оно работает. Но вроде bulk_create использует именно его.

Что я ещё проверил:
1. Мой генератор, который выдаёт кол-во объектов, которое равно batch_size, жрет оперативу. С каждый циклом все больше
2. Гружу 200к позиций батчами по 5к. После перезагрузки сервера и БД отрабатывает ОК. Если второй раз запустить то оперативка сжирается и БД отключает соединение. Попробую оперативы на хостинг докинуть, может исправит ситуацию

https://stackoverflow.com/questions/1316767/how-can-i-explicitly-free-memory-in-python

попробуй где это уместно

О, спасибо. Попробую

Народ, есть апиха на DRF с фронтом React'a. Нужно добавить туда чат. Есть ли какая-нибудь асинхронная библиотека в связке с Джангой, к которой можно прилепить React фронт?

но сначала надо убедиться, что проблема в GC
отработанные данные сбрасываешь так или иначе, или они висят где-то в объектах?

@NaumovVlad я короче спать
Удачи тебе)

если с памятью борешься, рекомендую убедиться что ты удаляешь ненужные данные, а потом уже бороться с GC
по вопросу скорости работы БД попробуй transaction.atomic чтобы уменьшить количество транзакций и операций коммита

Нет, сам ничего не сбрасываю. Весь основной код, отвечающий у меня за процесс заполнения сбрасывал выше.

Читаю csv на 1м строк, создаю датафрейм - все с помощью pandas. И потом генератором отдаю части в bulk_create.
Попробую в цикл засунуть сборку мусора