Такой вопрос, парсю сайт и записываю данные в базу MySQL. Как лучше делать, подготовить словарь со всеми данными и потом пройтись циклом и записать в базу, или сразу писать данные базу, как только получаю их?
представь, что спарсил уже 99%, и внезапно ловишь плохую ошибку. А коммит в БД не сделал. Всё сначала.
+ ещё аргумент: если словарь растет, растет и потребление ресурсов. Понял?