первый мой парсер... Я то не знаю где могут быть ошибки
У тебя весь парсер идет одним проходом, пока не выполнит все задачи. Надо делить. Например, постранично, или по каждому новому задействованному прокси, если они есть. А в бесконечке уже запускать дробные задачи, передавая нужные параметры и вот там слип в тему будет