A
Size: a a a
2020 August 25
SS
Всем привет. Нужно перед закрытием спайдера сохранить список кук и при его новом открытии их использовать. Кто-то реализовывал или есть что-то готовое?
можно использовать pickle, запись в/из файла, БД
AR
только придётся мидлварь сабклассить, иначе к набору кукиджаров не добраться вроде
AR
точнее наверно можно через менеджер, по имени мидлвари, но я бы не советовал
OS
Спасибо за инфу
2020 August 26
SS
https://www.charitynavigator.org
На сайте есть ограничение - 1000 записей на один поисковой запрос. Я настроил поиск по штату-городу + сортировка по имени/рейтингу/релевантности, но этого не достаточно в некоторых случаях. Наверное, здесь стоит использовать поиск по ключевым словам. Не подскажите как его формировать?
На сайте есть ограничение - 1000 записей на один поисковой запрос. Я настроил поиск по штату-городу + сортировка по имени/рейтингу/релевантности, но этого не достаточно в некоторых случаях. Наверное, здесь стоит использовать поиск по ключевым словам. Не подскажите как его формировать?
СТ
всем привет! очередной вопрос по прокси) ищу сервис где можно закупить пул прокси в районе 1к штук адекватный по соотношению цена/качество. то что юзаю сейчас стоит 10$ / 1к, но качество так себе, ищу альтернативу
К
всем привет! очередной вопрос по прокси) ищу сервис где можно закупить пул прокси в районе 1к штук адекватный по соотношению цена/качество. то что юзаю сейчас стоит 10$ / 1к, но качество так себе, ищу альтернативу
кравлера?
СТ
кравлера?
там только rotating proxy или есть обычный вариант?
СТ
у меня своя логика ротации
AR
только rotating
AR
ну либо сессии
К
https://www.charitynavigator.org
На сайте есть ограничение - 1000 записей на один поисковой запрос. Я настроил поиск по штату-городу + сортировка по имени/рейтингу/релевантности, но этого не достаточно в некоторых случаях. Наверное, здесь стоит использовать поиск по ключевым словам. Не подскажите как его формировать?
На сайте есть ограничение - 1000 записей на один поисковой запрос. Я настроил поиск по штату-городу + сортировка по имени/рейтингу/релевантности, но этого не достаточно в некоторых случаях. Наверное, здесь стоит использовать поиск по ключевым словам. Не подскажите как его формировать?
Можно попробовать перебором алфавита в поиске, или рандомные слова, но конечно такой подход не даст 100% результат
СТ
только rotating
тогда видимо краулера не подойдет..
AR
сессии можно ротейтить
AR
по своей логике
К
всем привет! очередной вопрос по прокси) ищу сервис где можно закупить пул прокси в районе 1к штук адекватный по соотношению цена/качество. то что юзаю сейчас стоит 10$ / 1к, но качество так себе, ищу альтернативу
А что с качеством не так?