Size: a a a

2020 June 20

🎱

🎱 in Scrapy
Фаза Фазов
хз.. может регулярными выражениями поиграть?
первая например будет  например  просто .get()
вторая и последняя только буквы .re('[\D]+[\D]) чет типа такого наверно... ну а там надо эксперементировать с началом строки итд..
получилось, только попробовал с css селектором, не знаю насколько криво такой вариант но он работает.
product_details = []
       for td in response.xpath('//table[@class="table-with-fixed-col"]/tbody/tr')
              td.css('td::text').getall()

получаю:
['40003', 'black', '12', '1.3 lbs', 'medium']
['40001', 'blue', '12', '1.3 lbs', 'medium']
['40004', 'green', '12', '1.3 lbs', 'medium']
['40002', 'red', '12', '1.3 lbs', 'medium']
['40010', 'orange', '12', '1.3 lbs', 'medium']
['40008', 'white', '12', '1.3 lbs', 'medum']
['40006', 'yellow', '12', '1.3 lbs', 'medium']
источник

ФФ

Фаза Фазов in Scrapy
ну так а надо как?
источник

🎱

🎱 in Scrapy
Фаза Фазов
ну так а надо как?
я пробовал с xpath, не получалось, мб неправильно делал. Опыта мало с xpath, сегодня в первый раз тронул
источник

A

Andrii in Scrapy
источник

ФФ

Фаза Фазов in Scrapy
🎱
я пробовал с xpath, не получалось, мб неправильно делал. Опыта мало с xpath, сегодня в первый раз тронул
SelectorGadget  поставь на хром. помогает иногда
источник

🎱

🎱 in Scrapy
спасибо парни, туториал почитаю, гаджет поставлю)
источник

ФФ

Фаза Фазов in Scrapy
🎱
спасибо парни, туториал почитаю, гаджет поставлю)
хороших выходных)
источник

i

ildar in Scrapy
🎱
ребят, подскажите как можно в tbody извлечь данные для каждой tr в отдельный список ?
типо так,
[] тут данные с td
[] тут данные с td
[] тут данные с td
...
как-то так?
[[x.css('td::text')] for x in response.css('.table-with-fixed-col tr').getall()]
источник

i

ildar in Scrapy
единственный минус тут, что если будут вдруг tr пустые то может что-то поломаться
источник
2020 June 21

🎱

🎱 in Scrapy
ildar
единственный минус тут, что если будут вдруг tr пустые то может что-то поломаться
да, ты прав. С этим столкнулся, как то можно поставить проверку что если tr пустой, то заменить пустой строкой или None ?
источник

🎱

🎱 in Scrapy
ildar
как-то так?
[[x.css('td::text')] for x in response.css('.table-with-fixed-col tr').getall()]
спасибо
источник

i

ildar in Scrapy
[[x.css('td::text')] if x else '' for x in response.css('.table-with-fixed-col tr').getall()]
источник

i

ildar in Scrapy
а если их вообще исключать такие надо, то лучше так наверное:
[[x.css('td::text')] for x in response.css('.table-with-fixed-col tr').getall() if x]
источник

🎱

🎱 in Scrapy
ildar
а если их вообще исключать такие надо, то лучше так наверное:
[[x.css('td::text')] for x in response.css('.table-with-fixed-col tr').getall() if x]
td::text пустые и так пропускает
источник

🎱

🎱 in Scrapy
ildar
[[x.css('td::text')] if x else '' for x in response.css('.table-with-fixed-col tr').getall()]
так не хочет работать
источник

OS

Oleg Shleiko in Scrapy
tfhx8
сервис или саму программу используете? А подключаете к скриптам на автомате или шаманите?)
у них апишка есть такая же как и на рукапче той же
источник

A

Archie in Scrapy
подскажите как на scrapy скрапать динамичекский контент, пытался взять скрытый апи но там в response увы приходит не словарь
источник

К

Кирилл in Scrapy
парсь html, в чем проблема
источник

A

Archie in Scrapy
Кирилл
парсь html, в чем проблема
это не костиль?
источник

A

Archie in Scrapy
или так делают
источник