Size: a a a

2020 June 14

A

Alex in Scrapy
засунул перелистывание страниц в цикл
last_page = ''
while not last_page:
   next_page = self.driver.find_element_by_css_selector('span[data-marker="pagination-button/next"]')
   next_page.click()
   last_page = response.css('span[class*="readonly"]:contains("След")').get()

когда доходит до последней страницы почему то пишет в переменную None
хотя должен же записать найденный элемент
источник

AR

Andrey Rahmatullin in Scrapy
ну так он None
источник

A

Alex in Scrapy
в шел же
'<span data-marker="pagination-button/next" class="pagination-item-1WyVp pagination-item_arrow-Sd9ID pagination-item_readonly-2V7oG">След. →</span>'
источник

A

Alex in Scrapy
почему None
источник

AR

Andrey Rahmatullin in Scrapy
Не ту страницу сравниваешь в шелле
источник

A

Alex in Scrapy
да нет, та страница
источник

A

Alex in Scrapy
In [1]: response.css('span[class*="readonly"]:contains("След")::text')                        
Out[1]: []
предыдущая страница
In [1]: response.css('span[class*="readonly"]:contains("След")::text')                        
Out[1]: [<Selector xpath="descendant-or-self::span[@class and contains(@class, 'readonly') and (contains(., 'След'))]/text()" data='След. →'>]
последняя
источник

AS

Alexander Serebrov in Scrapy
Я чёт не уверен, что в parsel работает css contains 🤔
источник

AS

Alexander Serebrov in Scrapy
Но могу ошибаться :)
источник

AR

Andrey Rahmatullin in Scrapy
Ну оно что-то вернуло :)
источник

A

Alex in Scrapy
ну находит же
источник

A

Alex in Scrapy
в шеле же работает! ((
источник

AR

Andrey Rahmatullin in Scrapy
Логику проверяй
источник

AR

Andrey Rahmatullin in Scrapy
Alex
да нет, та страница
И из лога шелла мне это не видно
источник

AR

Andrey Rahmatullin in Scrapy
Плюс ты не сказал о какой переменной вообще речь
источник

A

Alex in Scrapy
я хочу нажимать на кнопку пока у элемента не появиться атрибут
class="pagination-item-1WyVp pagination-item_arrow-Sd9ID pagination-item_readonly-2V7oG"
засовываю в цикл
теперь как поймать этот атрибут
никак не могу понять
источник

A

Alex in Scrapy
дошло...
в шел же парсель
а я через селениум дергал элементы
ну хоть сам додумался уже радует)
источник

D

Dr. Bot in Scrapy
Alex
дошло...
в шел же парсель
а я через селениум дергал элементы
ну хоть сам додумался уже радует)
источник

A

Alex in Scrapy
источник
2020 June 15

✏d

✏️ Oleksandr dntPani... in Scrapy
Есть вопрос по cyan.ru - кто парсит, надо небольшая помощь с актуализацией Апи
источник