М
proxy6.net/
что прикольно, недавно отсюда приватный ип4 прокси не подошел для авито 😊
что прикольно, недавно отсюда приватный ип4 прокси не подошел для авито 😊
Size: a a a
2020 March 18
P
Всем привет, парни. Посоветуйте пожалуйста что-то годное по библиотеке Scarpy, пожалуйста. До этого работал с requests и beautifulsoup
К
RG
Всем привет, парни. Посоветуйте пожалуйста что-то годное по библиотеке Scarpy, пожалуйста. До этого работал с requests и beautifulsoup
A
как лучше сделать
next_page = self.driver.find_element_by_xpath("//button[contains(@class, 'load-more-button')]")
self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
if next_page:
next_page.click()
print('button clicked')
??? --- повторить клик
else:
print(f'last page reachedww
Всем привет. Может ли мне кто-нибудь помочь?
Я задавал уже несколько вопросов на сайте Стаковерфлов, безответно. Мне хотелось бы парсить етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga с помощью scrpay, docker и splash. Но, получаю не <html> а javascript функцию.
Пробовал парсить другие сайты, и у меня удаётся получить их <html>. Но, тем же способом парсить именно етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga, мне не удаётся.
Думаю, что Сплеш должен загружать етот сайт, как простой браузер и только потом парсить, когда <html> уже загрузился... Или я ошибаюсь?
Если кто-нибудь сможет мне помочь, буду огромно благодарен!
Здесь мой вопрос на стаковерфлов: https://stackoverflow.com/questions/60646505/i%c2%b4m-getting-javascript-code-instead-of-rendered-html-content-with-scrapy-splash Там мой паук, сеттингс и response
Я задавал уже несколько вопросов на сайте Стаковерфлов, безответно. Мне хотелось бы парсить етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga с помощью scrpay, docker и splash. Но, получаю не <html> а javascript функцию.
Пробовал парсить другие сайты, и у меня удаётся получить их <html>. Но, тем же способом парсить именно етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga, мне не удаётся.
Думаю, что Сплеш должен загружать етот сайт, как простой браузер и только потом парсить, когда <html> уже загрузился... Или я ошибаюсь?
Если кто-нибудь сможет мне помочь, буду огромно благодарен!
Здесь мой вопрос на стаковерфлов: https://stackoverflow.com/questions/60646505/i%c2%b4m-getting-javascript-code-instead-of-rendered-html-content-with-scrapy-splash Там мой паук, сеттингс и response
ww
мне сказали что селениум медлений. так ли ето?
ww
дело в том что мне нужно парсить нескольо сайтов за раз в течении нескольких секунд
ww
хорошо спасибо большое
RG
wowa wowa
Всем привет. Может ли мне кто-нибудь помочь?
Я задавал уже несколько вопросов на сайте Стаковерфлов, безответно. Мне хотелось бы парсить етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga с помощью scrpay, docker и splash. Но, получаю не <html> а javascript функцию.
Пробовал парсить другие сайты, и у меня удаётся получить их <html>. Но, тем же способом парсить именно етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga, мне не удаётся.
Думаю, что Сплеш должен загружать етот сайт, как простой браузер и только потом парсить, когда <html> уже загрузился... Или я ошибаюсь?
Если кто-нибудь сможет мне помочь, буду огромно благодарен!
Здесь мой вопрос на стаковерфлов: https://stackoverflow.com/questions/60646505/i%c2%b4m-getting-javascript-code-instead-of-rendered-html-content-with-scrapy-splash Там мой паук, сеттингс и response
Я задавал уже несколько вопросов на сайте Стаковерфлов, безответно. Мне хотелось бы парсить етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga с помощью scrpay, docker и splash. Но, получаю не <html> а javascript функцию.
Пробовал парсить другие сайты, и у меня удаётся получить их <html>. Но, тем же способом парсить именно етот сайт: https://www.xtip.de/de/fussball/deutschland-bundesliga, мне не удаётся.
Думаю, что Сплеш должен загружать етот сайт, как простой браузер и только потом парсить, когда <html> уже загрузился... Или я ошибаюсь?
Если кто-нибудь сможет мне помочь, буду огромно благодарен!
Здесь мой вопрос на стаковерфлов: https://stackoverflow.com/questions/60646505/i%c2%b4m-getting-javascript-code-instead-of-rendered-html-content-with-scrapy-splash Там мой паук, сеттингс и response
Это SPA. Фронтенд на JS общается с сервером через json. Тебе нужно перехватывать эти запросы и парсить их.
ww
есть ли гдето объяснение, как ето делается?
RG
wowa wowa
есть ли гдето объяснение, как ето делается?
Погугли "снифинг запросов". Если кратко, открываешь в Хроме панель разработчика F12, загружаешь свой сайт и смотришь вкладку "сеть" там есть все запросы с ответами от сервера. Твоя задача их повторить в своем скрепере
ww
Погугли "снифинг запросов". Если кратко, открываешь в Хроме панель разработчика F12, загружаешь свой сайт и смотришь вкладку "сеть" там есть все запросы с ответами от сервера. Твоя задача их повторить в своем скрепере
спасибо тебе, ты меня выручил. Мне осталось найти json ответ где всё нужное находится.