Size: a a a

2020 July 20

t

tfhx8 in Scrapy
ок
источник

AB

Alexander B in Scrapy
Парни, полмагазина xpath ОК, 4xx/5xx нет, но много ненаходов:
2020-07-19 21:41:38 [scrapy.core.scraper] WARNING: Dropped: Mandatory key missed: 'title'
{'url': 'https://tver.ts-krovizol.ru/catalog/product/xps-tekhnonikol-carbon-prof-1180x580x40-mm-l-kromka/'}
xpath изи //h1/text()
источник

AB

Alexander B in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
сохраняй респонс, смотри что там
источник

AB

Alexander B in Scrapy
о, попробую, спс
источник

МС

Михаил Синегубов... in Scrapy
угу, это первое что просится (сохранение или просто какой другой просмотре контенат). А насчет 4хх и 5хх, так они и бан-страницу могут с 200 ответом выдавать :)
источник

A

Andrii in Scrapy
Alexander B
Парни, полмагазина xpath ОК, 4xx/5xx нет, но много ненаходов:
2020-07-19 21:41:38 [scrapy.core.scraper] WARNING: Dropped: Mandatory key missed: 'title'
{'url': 'https://tver.ts-krovizol.ru/catalog/product/xps-tekhnonikol-carbon-prof-1180x580x40-mm-l-kromka/'}
xpath изи //h1/text()
А там точно етот хпатч? Может //h2?
источник

AB

Alexander B in Scrapy
да не, h1) пиво допью и буду смотреть че там в респонсе
источник

D

Dr. Bot in Scrapy
попробуй <title> тег ловить. он есть у всех страниц. не прогадаешь
источник

AR

Andrey Rahmatullin in Scrapy
там ничего не собралось же
источник

D

Dr. Bot in Scrapy
не собралось потому что может не быть//h1
источник

D

Dr. Bot in Scrapy
а страница есть с контентом. кто знает
источник

t

tfhx8 in Scrapy
запускаю -o name.json, открываю файл, а там некоторые поля в какой то неизвестной кодировки, есть решение?
источник

AB

Alexander B in Scrapy
Dr. Bot
попробуй <title> тег ловить. он есть у всех страниц. не прогадаешь
ну в этом лишняя инфа, там, но я почекаю на других
источник

D

Dr. Bot in Scrapy
tfhx8
запускаю -o name.json, открываю файл, а там некоторые поля в какой то неизвестной кодировки, есть решение?
это json формат такой. попробуй для теста .csv и увидишь что всё ок
источник

D

Dr. Bot in Scrapy
почитай про то как json кодирует
источник

D

Dr. Bot in Scrapy
когда будешь json открывать, там будет всё ок
источник

t

tfhx8 in Scrapy
Dr. Bot
когда будешь json открывать, там будет всё ок
я вимом открывал, возможно ты правл
источник

D

Dr. Bot in Scrapy
tfhx8
я вимом открывал, возможно ты правл
да сделай просто json.loads и увидишь что всё ок 😉
источник

t

tfhx8 in Scrapy
Кирилл
напишешь если найдешь
источник