блин, на проекте INFO стоит

спс, сейчас попробую

🤷‍♂️

ещё было б неплохо прочитать в доке что настройка делает, и только потом спрашивать

всем привет
вопрос такой
с помощью селениума открываю страницу
собираю данные с 1 - ой страницы, нажимаю на кнопку далее, загружается страница номер 2 и так же должно брать данные как и с 1 - ой страницы
но почему то пишет данные только с 1 страницы.
думал может по разному страницы сделаны, проверил в shell - все ок, данные собираются со всех страниц
ставил паузы, обновлял страницу - не помогает
как можно решить такой проблемку?

вот кусок говнокодика)
for pages in range(2):
          yield {
                   'Text': response.css('div > p > a::attr(title)').getall(),
                   'Link': response.css('p > a::attr(href)').getall(),
                   'Price': [price.strip() for price in response.css('span.price-value::text').getall() if price.count(' ') > 30]
           }
           sleep(15)
           scroll_next = self.driver.find_element_by_css_selector(".category-pager")
           self.driver.execute_script("arguments[0].scrollIntoView();", scroll_next)
           sleep(5)
           next_page = self.driver.find_element_by_css_selector(".category-pager > div:nth-child(1) > div:nth-child(3) > ul:nth-child(1) > li:nth-child(7) > a:nth-child(1)")
           next_page.click()
           sleep(5)

сколько бы страниц не было пролистано, все равно данные только с первой(

response = Selector(text=self.driver.page_source)

да, респонс-то один раз получен

точно)) ну епрст)
спасибо попробую

First of all sorry for not writing in Russian ,
My question is can we scrape web.whatsapp in anyway  because when I try to fetch my spider got banned

Yes, its possible to scrape whatspp

When I try first fetch command run successful but view(response) showed nothing again run fetch command and I got 'forbidden by robots.txt' can you please tell me what I am missing and how to go further ?

disable ROBOTSTXT_OBEY then?

setting --> ROBOTSTXT_OBEY = False

Кто-то eBay скрапил?  Легко поддается?

Yes I have  already done that also. but that also don't worked for me

show the code, or at least error

А чего там у ватсапа, апи какой-то урезаный чтоли?

откуда у него апи