Size: a a a

2020 August 12

D

Dr. Bot in Scrapy
Александр К-ош
А где об этом можно узнать подробнее?
если знаешь англ. вот неплохой курс https://www.udemy.com/course/web-scraping-in-python-using-scrapy-and-splash/
источник

МС

Михаил Синегубов... in Scrapy
Александр К-ош
А где об этом можно узнать подробнее?
когда припрет - сам найдешь, или не найдешь и скажешь что "скарпи какашка" 😂
источник

МС

Михаил Синегубов... in Scrapy
не надо пытаться объять не объятное :)
источник

АК

Александр К-ош... in Scrapy
Английский знаю частично. Когда подучу, ссылка может пригодиться.
источник

АК

Александр К-ош... in Scrapy
пайплайны и мидлварями - эти слова в виде ключевиков использовать при поиске?
источник

АК

Александр К-ош... in Scrapy
Как бы эти слова пока не знаю. Поэтому задаю такой вопрос.
источник

D

Dr. Bot in Scrapy
Александр К-ош
Как бы эти слова пока не знаю. Поэтому задаю такой вопрос.
источник

АК

Александр К-ош... in Scrapy
Благодарю за информацию. Встречал такую формулировку - fake-useragent - это его надо прикручивать к Скрапи? А как?
источник

AR

Andrey Rahmatullin in Scrapy
в доке написано
источник

МС

Михаил Синегубов... in Scrapy
Александр К-ош
Благодарю за информацию. Встречал такую формулировку - fake-useragent - это его надо прикручивать к Скрапи? А как?
угу, я тебе, наверное, прям, наверное, невероятное скажу, но, довольно часто, люди документашки пишут. И, самое невероятное, они там, иногда, пишут даже как установить и настроить их продукт.
https://pypi.org/project/scrapy-fake-useragent/

и да, ты уже начинаешь меня подбешивать такими вопросами. Можешь нарваться на RO. Мозгами то, хоть иногда, надо пользоваться
источник

АК

Александр К-ош... in Scrapy
Ок
источник

D

Dr. Bot in Scrapy
Михаил Синегубов
угу, я тебе, наверное, прям, наверное, невероятное скажу, но, довольно часто, люди документашки пишут. И, самое невероятное, они там, иногда, пишут даже как установить и настроить их продукт.
https://pypi.org/project/scrapy-fake-useragent/

и да, ты уже начинаешь меня подбешивать такими вопросами. Можешь нарваться на RO. Мозгами то, хоть иногда, надо пользоваться
грубиян
источник

МС

Михаил Синегубов... in Scrapy
Dr. Bot
грубиян
сам с себя офигеваю
источник

A

Andrii in Scrapy
Михаил Синегубов
угу, я тебе, наверное, прям, наверное, невероятное скажу, но, довольно часто, люди документашки пишут. И, самое невероятное, они там, иногда, пишут даже как установить и настроить их продукт.
https://pypi.org/project/scrapy-fake-useragent/

и да, ты уже начинаешь меня подбешивать такими вопросами. Можешь нарваться на RO. Мозгами то, хоть иногда, надо пользоваться
Блин а я список со 1000 юа в тхт запхал и рандомом пихаю в реквест 😂 а тут все так просто )
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Блин а я список со 1000 юа в тхт запхал и рандомом пихаю в реквест 😂 а тут все так просто )
вооот, а на самом деле, 99% того, что ты пытаешься написать, уже кто-то написал, и просто надо найти это :)
источник

МС

Михаил Синегубов... in Scrapy
Andrii
Блин а я список со 1000 юа в тхт запхал и рандомом пихаю в реквест 😂 а тут все так просто )
кстати, эта либа, точне, сам fake-useragent косячит периодически, сервак в дауне.
по хорошему, нужно что то вроде кэша на диске.
источник

A

Archie in Scrapy
как на BS4  сделать типо find_all  по td.code a   и взять текст?
источник

A

Andrii in Scrapy
ребят, что ето за формат даты 1420070400000
источник

AR

Andrey Rahmatullin in Scrapy
UNIX timestamp в миллисекундах
источник

S

Sergey in Scrapy
Парни привет! на целевом сайте 57 000 интересующих меня строк. Scrapy успешно собирает 1500 строк и заканчивает работу [scrapy.core.engine] INFO: Closing spider (finished). Что поправить чтобы spider собирал всю инфу?
источник