Size: a a a

2020 May 28

МС

Михаил Синегубов... in Scrapy
в юзеркейсе (кстати, по моему, жто "перевранный" use case) дается алгоритм "сделай вот так, и будет тебе счастье".
по ссылке обычный FAQ. По принципу "у тебя есть конктретный вопрос, вот тебе один из конкретных ответов. А вот как ты ответ используешь - твои проблемы"
источник

G

Georg in Scrapy
Михаил Синегубов
в юзеркейсе (кстати, по моему, жто "перевранный" use case) дается алгоритм "сделай вот так, и будет тебе счастье".
по ссылке обычный FAQ. По принципу "у тебя есть конктретный вопрос, вот тебе один из конкретных ответов. А вот как ты ответ используешь - твои проблемы"
Ну я как бы и сказал юзкейсы
Тобишь инфа, которая позволит быстро понять соль. Ну или просто наставить на путь истинный.
источник

МС

Михаил Синегубов... in Scrapy
ну сорян, не дочитал, конец рабочего дня...
если так, то тем более - use case это и есть "сценарий использования".
а какой ты сценарий хочешь, если на одном сайте одно, на втором - другое :)
источник

G

Georg in Scrapy
Михаил Синегубов
ну сорян, не дочитал, конец рабочего дня...
если так, то тем более - use case это и есть "сценарий использования".
а какой ты сценарий хочешь, если на одном сайте одно, на втором - другое :)
Я же говорил, сценарий гем, по сути тестирования скрипта на схожесть с реальным браузером и обход всяких подлых ловушек разработчиков)
На это нужны логгеры и мат часть, которая позволит разобраться в свалке запросов и данных.
В любом случае это очень полезные скилы, как по-моему. И пздец интересная тема. Только пока не находил инфы, которая бы устроила в полной мере.
По сути речь о мат части. И пути, куда копать, чтобы выжить.
источник

G

Georg in Scrapy
Михаил Синегубов
ну сорян, не дочитал, конец рабочего дня...
если так, то тем более - use case это и есть "сценарий использования".
а какой ты сценарий хочешь, если на одном сайте одно, на втором - другое :)
Ну где же ты
источник

МС

Михаил Синегубов... in Scrapy
где где, тута я.
я еще раз говорю - готовый прям "юзкейсов" нет, да они и нафиг не нужны. Разбиваешь проблему на мелкие кусочки и гуглишь.
источник

И

Илья in Scrapy
https://www.cdp.net/en/companies/companies-scores#446647786929955804cc9a3a08ef1eb4     На странице есть таблица, она подгружается посредством ПОСТ запроса по 200 значений, в инспекторе я вижу параметры запроса, как теперь имитировать этот запрос в скрапи   ?   Я так понимаю нужен request(method=POST, headers - берем из урла после вопроса и передаем в виде словаря, body - смотрим полезную нагрузку запроса, куки в куках соответственно) Правильно мыслю ?
источник

AR

Andrey Rahmatullin in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
куки руками в паука писать можно только если тебе его запустить один раз
источник

AK

Anil Kumar in Scrapy
How to store data to csv while running multiple spiders using CrawlerProcess?
источник

AK

Anil Kumar in Scrapy
I'm able to run multiple spiders using CrawlerProcess but the data is not storing into a file. The command I typed is "scrapy crawl -o exp.csv" .
источник

AR

Andrey Rahmatullin in Scrapy
you can't use CrawlerProcess with scrapy crawl
источник

AK

Anil Kumar in Scrapy
Andrey Rahmatullin
you can't use CrawlerProcess with scrapy crawl
Then how to run multiple spiders at a time.
источник

AR

Andrey Rahmatullin in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
(or in multiple processes)
источник

AK

Anil Kumar in Scrapy
Tell me the command to start Crawler process
источник

AR

Andrey Rahmatullin in Scrapy
read the link
источник

AK

Anil Kumar in Scrapy
I've already read the docs. In the docs they have crawler process for running multiple spiders.
источник

AR

Andrey Rahmatullin in Scrapy
yes
источник

AK

Anil Kumar in Scrapy
источник