Size: a a a

2020 April 03

iz

izzz zzi in Scrapy
Asen Баал
Народ, подскажите можно как то сделать типа "динамического" кода
типа
webdriver.arg1().arg2() и что бы вместо arg1 и arg2 подставлять find id, css, name и т.д
setattr?)
источник

Asen Баал in Scrapy
izzz zzi
setattr?)
я такого не знаю, пойду гуглить) спс
источник

iz

izzz zzi in Scrapy
ну я не особо понял что ты хочешь)
источник

Asen Баал in Scrapy
Нужно что бы инструкции одной программы написаной чисто под ту программу, перевести в питон
и делать тоже самое, только с некоторыми дополнениями
источник

Asen Баал in Scrapy
Ну вот есть у нас допустим программа для записи действий в браузере. Эта программа имеет свой определённый синтаксис. Я хочу например использовать эту же запись, но с некоторыми доработками в селениуме. Для этого мне надо преобразовать как то инструкции той программы
И я хочу написать строку вида driver.find... А там уже в зависимости от синтаксиса будет подставляться id, css или ещё что то
источник

AC

Alexander Chaptykov in Scrapy
Roma
Как правильно не знаю - юзаю selenoid - remote web driver - там сессия протухают и закрываются
спасибо большое попробую!
источник

AC

Alexander Chaptykov in Scrapy
Asen Баал
а driver.pagesource что не канает?
некоторые домены тупо не скачиваются
источник

AC

Alexander Chaptykov in Scrapy
Roma
Как правильно не знаю - юзаю selenoid - remote web driver - там сессия протухают и закрываются
а как его исползовать с скрапи не подскажешь? Я так понял модуля для скрапи у него нет
источник

R

Roma in Scrapy
запускаешь в докере selenoid - подключение remote webdriver  - есть какая то либа selemium_scrapy - мне не подошла - написал свою мидлварю....Но может в твоем случае та либа подойдет
источник

AC

Alexander Chaptykov in Scrapy
щас погуглю!
источник

AC

Alexander Chaptykov in Scrapy
Roma
запускаешь в докере selenoid - подключение remote webdriver  - есть какая то либа selemium_scrapy - мне не подошла - написал свою мидлварю....Но может в твоем случае та либа подойдет
а проблем не было запустить селеноид в компоузе?
источник

AC

Alexander Chaptykov in Scrapy
у меня почему то не запускается
источник

Q

Qwelcer in Scrapy
Ребят чтобы ссылку вставить в поле ввода и имитировать нажатие на Enter для запроса, это к Selenium?
источник

К

Кирилл in Scrapy
Qwelcer
Ребят чтобы ссылку вставить в поле ввода и имитировать нажатие на Enter для запроса, это к Selenium?
Селениум, splash, pyppeeter
источник

К

Кирилл in Scrapy
Или можешь руками отправить и посмотреть какой запрос будет, если там нету сложных обработок js, тогда можешь сразу же такой запрос делать без имитации нажатия
источник

AR

Andrey Rahmatullin in Scrapy
Qwelcer
Ребят чтобы ссылку вставить в поле ввода и имитировать нажатие на Enter для запроса, это к Selenium?
а зачем это всё? обычно это просто сабмит формы, максимум XHR
источник

VB

Vladyslav Babych in Scrapy
response.css('mytag *::text')
Подобный синтаксис ещё работает в скрапи? Или уже убрали?
источник

Q

Qwelcer in Scrapy
Andrey Rahmatullin
а зачем это всё? обычно это просто сабмит формы, максимум XHR
Ну допустим вставлять множество ссылок в данное поле и имитировать переход по ним, как только перешел по одной ссылке затем парсить эти страницы - как бы вы сделали?
источник

AR

Andrey Rahmatullin in Scrapy
яннп
источник

AR

Andrey Rahmatullin in Scrapy
фигачить реквесты в цикле, не?
источник