i
Мне нужно несколько миллионов страниц пропарсить за день. Для этого надо системы очередей использовать? Я думаю сначала накидать в очереди сообщения по 1000 ссылок на парсинг в каждом. Потом парсеры будут забирать и парсить. Но на сервере очередей может памяти не хватить, нужно докидывать ссылки по ходу парсинга или как лучше сделать?
Поищи в этом чате по цифре 1000, про то как ссылки скармливать спайдеру, недавно только разбирали, даже куски кода набрасывались.
