У тебя много чего) вместо принтов используй self.logger.info(). Не открывай файлы в циклах, достаточно одного раза и сохранить в переменную дескриптор, только закрыть не забудь. Слайсить в цикле список тоже не нужно, достаточно итерации
спасибо, я у мамы фрилансер, в простых парсерах все ок, а тут проект посложнее (сейчас надо спарсить 160к страниц), и при попытке сделать его устойчивым к ошибкам результат строго противоположный
"But in order to more flexible support for multiple proxy methods (not just SOCKS proxy), we decided to fork [aiohttp-socks] (https://github.com/romis2012/aiohttp-socks), which is currently based on it." а, ну понятно
"But in order to more flexible support for multiple proxy methods (not just SOCKS proxy), we decided to fork [aiohttp-socks] (https://github.com/romis2012/aiohttp-socks), which is currently based on it." а, ну понятно