Ребят, подскажите, пожалуйста. Мне надо сформировать огромную цсвшку, миллионов 5 строк. Для этого я планирую бить запрос на чанки тысяч по 10 записей, и ставить задание в очередь на обработку. Очередь будет брать записи, приводить в нужный формат, и записывать в цсвшку.
Возникает два вопроса.
Могу ли я сразу коллекцию записей пихать в очередь, или надо пихать только айдишники, и делать запрос по новой?
Как быть, если серверов-обработчиков несколько? Это не позволяет создать мне какой-нибудь temp-файл, в который я запишу всё, что необходимо, и после этого скопирую файл на s3 диск. Выходит, надо каждый раз при запуске из очереди грузить файл из s3, дописывать в него, и загружать обратно? будет ли это корректно работать, или есть узкие места?