A
Паук для фб, а что хоть делать должен?
Size: a a a
2020 December 17
AR
graphql
DO
А можно в xpath как-нибудь задать условие:
селектни span, внутри которого есть span, который contains(@class, "asd")?
селектни span, внутри которого есть span, который contains(@class, "asd")?
AR
конечно
AR
"который" переводится как []
DO
"который" переводится как []
О. Спасибо. Не догадался сразу.
AR
откуда нам знать
AR
давай к делу
S
В общем стоит задача парсинга поисковой выдачи. От 2 до 10 сайтов разных. Работа с прокси и в многопотоке(ориентировочно до 4к потоков).
Насколько вообще scrapy подойдет для такого?
Куда лучше сохранять пока из гугла пришел к выводу что в csv а потом в бд. Чтоб не захлебывалась при записи.
Поисковые запросы для урлов так понял лучше через redis пустить?
Насколько вообще scrapy подойдет для такого?
Куда лучше сохранять пока из гугла пришел к выводу что в csv а потом в бд. Чтоб не захлебывалась при записи.
Поисковые запросы для урлов так понял лучше через redis пустить?
AR
4к потоков для 2-10 сайтов - бред
AR
но если охота, то скрапи не подойдёт
S
4к потоков для 2-10 сайтов - бред
Почему бред. Допустим у меня 1кк поисковых запросов и 4 поисковика и в каждом надо по всем ключам сделать парсинг
AR
потому что ботлнеком будет сайт, а для и/о баунд задач 4к потоков не нужны
AR
ну или даже прокси-менеджер будет ботлнеком