Size: a a a

2020 May 27

AR

Andrey Rahmatullin in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
🤷‍♂️
источник

A

Alex in Scrapy
через фф смотришь Консоль разработчика, впринципе неважно же через какой браузер смотреть
у меня нет такого))
я даже видео записал
могу сюда кинуть, 19мб
или ты что то другое используешь?
источник

A

Alex in Scrapy
хрень какая-то(
источник

AR

Andrey Rahmatullin in Scrapy
ты джс отключил?
источник

A

Alex in Scrapy
да отключал
About Disable JavaScript - этот плагин в фф поставил
тоже самое
источник

A

Alex in Scrapy
зашел через впн
показывает так как у тебя
ну ёпт)
источник

A

Alex in Scrapy
ну теперь все норм)
спасибо ребята, святые вы люди)
источник

AS

Alexander Serebrov in Scrapy
У розетки какая-то защита есть вроде
источник

AS

Alexander Serebrov in Scrapy
Или то у комфи, не помню 😅
источник

A

Alex in Scrapy
так я с укр айпи\провайдера заходил
а зашел с дешманского впн и все ок)
источник

AR

Andrey Rahmatullin in Scrapy
так вёрстка разная или защита?
источник

A

Alex in Scrapy
скорее всего что защита
впн включил и все как у тебя на скриншотах
и xpath берется без проблем
источник
2020 May 28

N

Nick Name in Scrapy
привет. вопрос по xpath, не знаю как лучше всего поступить.
//div[@class='some_class']/h4/ а дальше может быть два варианта: либо a/text(), либо сразу text(). видел вариант с оператором |, но не понравился тем, что придётся по сути два раза одно и то же писать, только в конце изменить либо a, либо просто. узнал о звёздочке, но в первом варианте работает (//div[@class='some_class']/h4/*/text()), а во втором нет.
источник

AR

Andrey Rahmatullin in Scrapy
h4//text()
источник

AR

Andrey Rahmatullin in Scrapy
если это не подходит, то корячиться любым способом
источник

N

Nick Name in Scrapy
ля, еба я тупой)
источник

VB

Vladyslav Babych in Scrapy
Может кто-то подсказать с логгированием при запуске из скрипта. В настройках везде выставил ERORR, а мне всё-равно всё падает
источник

VB

Vladyslav Babych in Scrapy
CONCURRENT_REQUESTS = cr_count or int(app.registry.settings['getitems.threads_count'])

   s = get_project_settings()
   s.update({'INPUT_ASIN_FILE': input_file,
             'CONCURRENT_REQUESTS': CONCURRENT_REQUESTS,
             'CONCURRENT_REQUESTS_PER_DOMAIN': CONCURRENT_REQUESTS,
             'CONCURRENT_REQUESTS_PER_IP': CONCURRENT_REQUESTS})


   process = CrawlerProcess(s)
   process.crawl('asin_parser', start_timestamp, input_file=input_file, app=app, daemon=daemon)
   process.start()
источник

OS

Oleg Shleiko in Scrapy
Vladyslav Babych
Может кто-то подсказать с логгированием при запуске из скрипта. В настройках везде выставил ERORR, а мне всё-равно всё падает
покажите плз коману запуска из скрипта
источник