Size: a a a

2021 February 02

GG

Gulnur Gunur in Scrapy
Чем SgmlLinkExtractor отличается от LinkExtractor?
источник

МС

Михаил Синегубов... in Scrapy
а это, случайно, не старое название класса?
источник

G

Georgiy in Scrapy
Gulnur Gunur
Чем SgmlLinkExtractor отличается от LinkExtractor?
SgmlLinkExtractor - сделали deprecated 2014 году (с версии scrapy 1.0).
https://github.com/scrapy/scrapy/pull/777
И он полностью удален с scrapy с версии 2.3.0
https://docs.scrapy.org/en/latest/news.html#scrapy-2-3-0-2020-08-04
источник

GG

Gulnur Gunur in Scrapy
спс
источник

AR

Andrey Rahmatullin in Scrapy
Alex Python
да, я тоже заметил что они раз в 10 дешевле , не понял в чем прикол )
наверно в том что в6-адресов можно нагенерить куда больше
источник

AR

Andrey Rahmatullin in Scrapy
Михаил Синегубов
+1 за постман. Создаёшь коллекцию, создаёшь в ней пачку запросов и тестишь коаыряя туда/сюда параметры. А, иногда вспоминаешь что надо куки чистить😁
*неразборчиво рычит про куки в постмане*
источник

МС

Михаил Синегубов... in Scrapy
Andrey Rahmatullin
*неразборчиво рычит про куки в постмане*
та лааднааа,  раза с десятого в подкорке откладывается в виде безусловного рефлекса😂
источник

B

Bulatbulat48 in Scrapy
Gulnur Gunur
restrict_xpaths= объясните пож.
как понимаю выделяет/ограничивает зону запроса для сбора линков. В целом можно/нужно обходится без линкэкстрактора и использовать его только в каких-то узких кейсах где нужнен полу-автоматический сбор.
источник

AP

Alex Python in Scrapy
кстати, кто нить знает как ограничить количество попыток запросов на сайт в библиотеке requests? Стоит 1 кривой запрос сделать как он им видимо долбит сайт после чего и банит
источник

S

SoHard 🎄 in Scrapy
Alex Python
кстати, кто нить знает как ограничить количество попыток запросов на сайт в библиотеке requests? Стоит 1 кривой запрос сделать как он им видимо долбит сайт после чего и банит
Там 1 попытка
источник

S

SoHard 🎄 in Scrapy
Результат которой тебе сразу прилетает
источник

k

kurashh in Scrapy
Всем привет!
Подскажите, есть у кого-то идеи как заматчить из ссылки последнюю папку?

есть ссылки типа : https://test.zz/serials/some/shit/sezon-7
где нужно заматчить конкретно sezon-7 без всяких костылей ака \/s.+-\d+

ничего в голову не лезет...
источник

S

SoHard 🎄 in Scrapy
kurashh
Всем привет!
Подскажите, есть у кого-то идеи как заматчить из ссылки последнюю папку?

есть ссылки типа : https://test.zz/serials/some/shit/sezon-7
где нужно заматчить конкретно sezon-7 без всяких костылей ака \/s.+-\d+

ничего в голову не лезет...
str.split('/')[-1]
источник

S

SoHard 🎄 in Scrapy
и это не костыли, а регулярные выражения, советую основы изучить потом в любом случае будет необходимость
источник

k

kurashh in Scrapy
SoHard 🎄
str.split('/')[-1]
ой, спасибо я и не подумал про сплит 😊
источник

AP

Alex Python in Scrapy
😂
источник

S

SoHard 🎄 in Scrapy
есть аналоги yopmail.com но с апи?
источник

AP

Alex Python in Scrapy
так всегда бывает)) про самый простой способ подумаешь в последнюю очередь)
источник

S

SoHard 🎄 in Scrapy
SoHard 🎄
есть аналоги yopmail.com но с апи?
желательно нахаляву
источник

k

kurashh in Scrapy
Alex Python
так всегда бывает)) про самый простой способ подумаешь в последнюю очередь)
да уж...
источник