как можно решить? а то я даже не могу понять куда гуглить
не может быть такого, что начинаются холостые срабатывания по dupe-filter? Типа чем дальше в лес, тем больше посещенных ссылок, по которым он уже ходил. У меня примерно так выглядело когда-то подобное снижение скорости.
