потому что в пхп нет массивов

лучше ищи как ты из показанного изначально ['-', '-', ' 22:29:00', '-', '-', ' 22:29:00'] сделал вот это

но с многоточием вместо бесконечной рекурсии прикольная тема, не знал

hi

Мой прокси провайдер обновляет список актуальных проксей с заданной периодичностью, выдает их по простому GET запросу. Каким образом можно реализовать обновление списка актуальных проксей для парсинга который длится  дольше чем частота обновления списка?

Каким прокси ротатором пользуешься?

сейчас этим https://github.com/aivarsk/scrapy-proxies

Ох, тут тебе самому писать нужно, по таймеру чтоб обновлялось свойство со списком

Или LoopingCall или CallLater, при создании этого миделвера

я готов поменять ротатор, если гдк то уже реализовано обновление по таймеру

Не помню таких, где-то был ротатор с монгой бд, там по идее это проще сделать, просто класть их в бд, и оно само их будет оттуда брать

у меня https://github.com/xiaowangwindow/scrapy-rotated-proxy
внешний скрипт на кроне раз в час обновляет прокси в бд, паук уже берет из бд

Ага, я про этот ротатор

Всем привет! Заказали парсер рутрекера, сделал к примеру этого раздела: https://rutracker.org/forum/viewforum.php?f=2199 , собрал все доступные ссылки на топики, сохранил в текстовый файл ссылки ни них. Прошло 3 дня, хочу собрать только новые, после прохода каждой страницы, делаю проверку на уже добавленные. Но бывает в некоторых разделах так, что скажем спустя неделю новый топик без ответа может улететь на 2 страницу, а проверка покажет что на 1 странице новых нет. Что посоветуете?


Привел пример с понятным форумом, но такие задачи часто бывают в разных зарубежных сервисах. Как грамотнее поступать?

Сейчас приходится собирать 10 страниц и проверять есть или нет. Но это не очень красивое решение

ну а какие варианты кроме сортировки по дате создания

на этом форуме она через JS, но повторюсь. это пример. часто попадалось на разных сервисах, что нет сортировок

тогда сокращу до "ну а какие варианты".

А бд нельзя прикрутить?

выходит только так и делать. заведомо больше собирать страниц