Size: a a a

2020 July 08

OS

Oleg Shleiko in Scrapy
или filebit вроде есть приблуда...
источник

OS

Oleg Shleiko in Scrapy
Я к тому что бы минимализировать кастомные наработки
источник

К

Кирилл in Scrapy
Посмотри хэндлеры. Уже почти под все написано
источник

OS

Oleg Shleiko in Scrapy
Кирилл
Посмотри хэндлеры. Уже почти под все написано
ок, спасибо
источник

S

SoHard 🎄 in Scrapy
Andrey Rahmatullin
Смотря как получал
да это из того же json проблема в том что я правлю старый парсер на 2.7 без возможности толком протестировать код потому что я кидаю его заказчику а он у себя проверяет
источник

К

Кирилл in Scrapy
SoHard 🎄
да это из того же json проблема в том что я правлю старый парсер на 2.7 без возможности толком протестировать код потому что я кидаю его заказчику а он у себя проверяет
Этокак?
источник

S

SoHard 🎄 in Scrapy
Кирилл
Этокак?
там у него связка джанги и парсера и у меня вроде все нормально уже выводит, а ему в базу и в лог срет этими иероглифами
источник

VB

Vladyslav Babych in Scrapy
Возможно у него кодировака дурацкая
источник

SS

Stepan Smirnov in Scrapy
SoHard 🎄
там у него связка джанги и парсера и у меня вроде все нормально уже выводит, а ему в базу и в лог срет этими иероглифами
я пару раз натыкался на ошибку декодировки в логах, при этом те же самые значения записывались в csv без проблем
источник

S

SoHard 🎄 in Scrapy
Stepan Smirnov
я пару раз натыкался на ошибку декодировки в логах, при этом те же самые значения записывались в csv без проблем
Да на сайте тоже такая ебола
источник

SS

Stepan Smirnov in Scrapy
SoHard 🎄
Да на сайте тоже такая ебола
вроде можно везде нужную вам кодировку указать
источник

AR

Andrey Rahmatullin in Scrapy
Ну короче надо смотреть как в источнике и как извлекается
источник

SS

Stepan Smirnov in Scrapy
Пытаюсь при помощи Splash раскрыть первую кнопку "pricing & availability" на странице:
https://www.fishersci.no/no/en/products/I9C8JVNS/animal-surgical-devices.html

Использую скрипт ниже.

function main(splash, args)
 assert(splash:go(args.url))
 splash:wait(5)
 btns = splash:select("ul[class='tab_nav large-offset-2']>li:nth-child(1)>a")
 btns:click_mouse()
 splash:wait(1)
 splash:set_viewport_full()
 return {
   html = splash:html(),
   png = splash:png()
 }
end

При этом выскакивает ошибка "attempt to call method 'click_mouse' (a nil value)" хотя селектор указывает на нужную кнопку. Что я делаю не так?
источник

AS

Alexander Serebrov in Scrapy
Там mouse_click() вроде
источник

AS

Alexander Serebrov in Scrapy
А не наоборот
источник

AS

Alexander Serebrov in Scrapy
источник

SS

Stepan Smirnov in Scrapy
...
источник

SS

Stepan Smirnov in Scrapy
Alexander Serebrov
Там mouse_click() вроде
исправил эту ошибку,

function main(splash, args)
 assert(splash:go(args.url))
 splash:wait(5)
 btns = splash:select("ul[class='tab_nav large-offset-2']>li:nth-child(1)>a")
 btns:mouse_click()
 splash:wait(1)
 splash:set_viewport_full()
 return {
   html = splash:html(),
   png = splash:png()
 }
end


но все равно
'js_error_message': \"undefined is not an object (evaluating 'rect.left')\"
источник

AR

Andrey Rahmatullin in Scrapy
btns-то не пустой?
источник

SS

Stepan Smirnov in Scrapy
btns:text() возвращает "Pricing & Availability"
источник