VB
сунуть это в def parse, а в start_requests реквестить какой-нибудь ненужный урл
Мне старт реквест тогда вообще не нужен
Size: a a a
2020 April 16
VB
Просто логику переместить в parse?
AR
в таком случае достаточно start_urls, да
VB
в таком случае достаточно start_urls, да
Не сильно помогло. Самое интересное что он на 2 минуте показывает пик порядка 40 items/min. А потом по 20 тянет
B
а самописный с какой скоростью вначале и потом?
VB
Этих деталей я незнаю
И
есть где то куча примеров пауков, с использованием как можно большего функционала ?
i
Не сильно помогло. Самое интересное что он на 2 минуте показывает пик порядка 40 items/min. А потом по 20 тянет
А по бегая по кэшированным данным какую скорость показывает?
VB
А по бегая по кэшированным данным какую скорость показывает?
Не больше 50 в минуту
VB
Сколько потоков я бы не запускал