Товарищи джангисты, у вас тоже поинтересуюсь.
Есть файл в котором 30К ссылок. Есть многопоток который идет по этим ссылкам, супом парсит страничку и складывает эти данные в другой, большой файл. В итоге эта херабора часа три колбасилась, не дошла до конца файла буквально на тридцать ссылок и зависла. Как определить почему???
Пишу многопотоком в файл так:
items = 0
with open(ff, 'a') as file:
with Pool(processes=30) as pool:
for result in pool.imap_unordered(get_contacts, go_to_links()):
file.write(json.dumps(result) + '\n')
items += 1
logger.warning('Добавил строку: № %d' % items)