Size: a a a

2020 April 09

A

Andrii in Scrapy
Roma
надо пробовать - но я сомневаюсь что это будет работать в том виде что ты хочешь....Намучался я с таким подходом - но у меня была капча + разные iframe + работало только на драйвере google chrome - что было указано в FAQ на самом сервисе.....Причем если ошибка - сервис тупо отдавал - нет данных и не понятно - это ошибка в коде, в запросе или защита самого сервера
сделал так, работает. Но потом еще помудрую как с файла куки взять то
def start_requests(self):
       yield Request(url, cookies=self.driver.get_cookies(), headers=headers, callback=self.parse)
источник

A

Alex in Scrapy
Ребят, как заставить scrapy разделитель в csv ставить" ; "а не "," ? Пробовал в settings.py писать: FEED_FORMAT="csv"
FEED_DELIMITER=";"
FEED_EXPORT_ENCODING="utf_8_sig" не помогает
источник

К

Кирилл in Scrapy
Alex
Ребят, как заставить scrapy разделитель в csv ставить" ; "а не "," ? Пробовал в settings.py писать: FEED_FORMAT="csv"
FEED_DELIMITER=";"
FEED_EXPORT_ENCODING="utf_8_sig" не помогает
источник

c

camilo in Scrapy
How to save items in different collections in Mongodb?
источник

К

Кирилл in Scrapy
camilo
How to save items in different collections in Mongodb?
Just save them 🤷
источник

c

camilo in Scrapy
Кирилл
Just save them 🤷
I know how to save them in the same collection, but I don't know how to save them in different collections.
источник

К

Кирилл in Scrapy
for pymongo
db.first_collection.insert_one({})
db.second_collection.insert_one({})
источник

A

Alex in Scrapy
Кирилл спасибо. Помогло.
источник

A

Andrii in Scrapy
Привет. Вопрос по айтемам. В цикле данные не обновляются, а в detailed_page все работает
источник

A

Andrii in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
что такое " В цикле данные не обновляются"?
источник

AR

Andrey Rahmatullin in Scrapy
связано ли это с тем, что объект итема всё время меняется один и тот же?
источник

A

Andrii in Scrapy
источник

A

Andrii in Scrapy
Brand,Category,Manufacturer,PackageUnit,Price,PriceUnit,SN,Type,Unit - остались от последного цикла, а вот constituents,perUnit - работает ок
источник

AR

Andrey Rahmatullin in Scrapy
ну всё верно
источник

AR

Andrey Rahmatullin in Scrapy
сначала цикл проходит, потом уже страницы скачиваются, поэтому во всех detailed_page видно одно и то же состояние итема, последнее, а perUnit и constituents новые потому что итем йилдится сразу после их присваивания
источник

A

Andrii in Scrapy
а как сделать чтобы каждый цикл работал?)
источник

AR

Andrey Rahmatullin in Scrapy
он работает
источник

AR

Andrey Rahmatullin in Scrapy
просто если ты хочешь чтобы в коллбэки передавались разные итемы, передавай разные итемы, а то ты передаёшь один, вот он один и есть
источник

AR

Andrey Rahmatullin in Scrapy
всё как попросил
источник