К
Size: a a a
2020 August 20
МС
больше скажу, взял чувак написал сайт для общения одногруппников
ну с ним то понятно, а какая сволочь написала сайт для общения однокласснков....🙃
A
вопрос знатокам, можно ли сделать following-sibling но так что б он остановился на определеном параметре?
A
//h4[contains(text(),'Contact Information')]/following-sibling::dl/dt...и что б не брал далее dt[text='phone']
AR
в некоторых случаях наверно можно через position(), но проще циклом
МС
или, перебирать элементы, пока не встретишь элемент....., как его встретил, так сразу breack.
ИМХО циклом это наиболее адекватное и читаемое решение, иначе такого нагородить можно, что потом долго не вкуришь, что понаписал :)
ИМХО циклом это наиболее адекватное и читаемое решение, иначе такого нагородить можно, что потом долго не вкуришь, что понаписал :)
A
location = response.xpath("//dt[text()='Address']/..']
address = location.xpath(".//dt[text()='Phone Number']/preceding::dd/text()").getall()A
простое и красивое решение
AR
да, если надо именно первый блок то проще конечно
A
А теперь очень тупой вопрос. Есть такая штука https://pypi.org/project/cloudscraper/, как ее правильно интегрировать со скрапи?
A
фактически не могу никак вписать вот ето, как правильно передать реснонс.бади?
A
scraper = cloudscraper.create_scraper()
scraper.get(url, proxies=proxies).text
AR
нет, передать урл, написано же
AR
cloudScraper works identically to a Requests Session object
A
ну я через свой довнлоадмидваре подключил, даже не знаю на сколько ето правильно
A
по простом сделал такую мидварку
AttributeError: 'Selector' object has no attribute 'url'`
from scrapy.http import HtmlResponseно теперь error: `self.logger.info(f'Profile not exists: {response.url}')
import cloudscraper
class MtestMiddleware(object):
def process_request(self, request, spider):
# only process tagged request or delete this if you want all
scraper = cloudscraper.create_scraper() # returns a CloudScraper instance
proxies = {'http': f'45.136.228.201:80', 'https': f'45.136.228.201:80'}
r = scraper.get(request.url, proxies=proxies).text
response = HtmlResponse(url=request.url, body=r, encoding='utf-8')
return response
AttributeError: 'Selector' object has no attribute 'url'`
AR
код-то покажи который падает