Телеграмм чат группы scrapy

class MyParser(scrapy.Spider):
    name = "myparser"
    start_urls = ['https://site.net/', 'https://site1.net/', 'https://site2.net/']
    for url in start_urls:
                yield scrapy.Request(url=url, callback=self.parse)

источник

17:16пожаловаться #4

Andrey Rahmatullin in Scrapy

Переслано от Andrey Rahmatullin

когда у вас селениум, скрапи конечно никаких запросов через твистед не отправляет

источник

17:16пожаловаться #5

ildar in Scrapy

как я понял он хочет понять, вот его ссылки обрабатывались бы асинхронно, если бы это был обычный скрапи, без селениума. условно вот он найилдил этих запросов - они, благодаря yield и асинхронной механике твистеда послались в твистед, тот их переваривает унутре (где-то там, в своем магическом пуле!), согласно конкаррент-настройкам.

источник

17:20пожаловаться #6

ildar in Scrapy

чего он понять не может - почему, когда он делает все то же самое (по его мыслям), но просто добавляя драйвер селениума, то у него ничего не делается магически асинхронным образом

источник

17:20пожаловаться #7

Andrey Rahmatullin in Scrapy

🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️🤷‍♂️

источник

17:21пожаловаться #8

ildar in Scrapy

с моей стороны я рекомендую посмотреть на код того китайца, он в мидлвари создает один драйвер, создает вкладки по количество конкаррент-настройкам и присобачивает его к очереди

источник

17:21пожаловаться #9

ildar in Scrapy

SoHard 🎄

https://github.com/diemus/multi-selenium-in-scrapy

GitHub

diemus/multi-selenium-in-scrapy

通过headless chrome实现selenium+scrapy的伪并发，提高动态网站爬取效率。 - diemus/multi-selenium-in-scrapy

вот этот

источник

17:22пожаловаться #10

Alex in Scrapy

ildar

спасибо) ты меня понял
попробую вникнуть

источник

17:22пожаловаться #11

ildar in Scrapy

моя неэкспертная оценка говорит, что по-идее та штука даст тебе шо ты хошь

источник

17:22пожаловаться #12

Elisei Badanin in Scrapy

Кто-то писал парсеры поисковых подсказок? Как вы генерировали запросы(начало ключевого слова)

источник

19:16пожаловаться #13

Andrey Rahmatullin in Scrapy

Зависит от задачи, не? Или тебе надо все возможные подсказки?

источник

19:23пожаловаться #14

Elisei Badanin in Scrapy

Да, все возможные…

источник

19:24пожаловаться #15

Elisei Badanin in Scrapy

Если просто по алфавиту идти то многие пропускает…точнее не понятно, когда остановиться, на абвг может ничего не выдать, а на абвгде уже выдать…причем обычно выдает на 3 первых символа...

источник

19:26пожаловаться #16

Elisei Badanin in Scrapy

думал, может кто занимался подобным и придумал алгоритм(можно и не бесплатно)

источник

19:26пожаловаться #17

Кирилл in Scrapy

А что такое поисковые подсказки? Автокомплит?

источник

19:28пожаловаться #18

Elisei Badanin in Scrapy

да

источник

19:28пожаловаться #19

Elisei Badanin in Scrapy

suggests

источник

19:28пожаловаться #20