В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

567 membersпожаловаться на группу
2020 July 18

AR

Andrey Rahmatullin in Scrapy
Nick Name
а, Окей, допустим.
но я все равно не понял как мне переопределить метод from_crawler, точнее чем мне его надо переопределить, чтобы получить доступ к self.settings в ините моего паука?
В ините никак, написано ж
источник
07:55пожаловаться#1

N

Nick Name in Scrapy
Andrey Rahmatullin
В ините никак, написано ж
там написано, что from_crawler переопределить надо. или я не так понял доку?)
если не так понял, то как мне тогда вызвать определённый метод в начале парсинга? в parse писать как то кривовато выглядит
источник
10:48пожаловаться#2

AR

Andrey Rahmatullin in Scrapy
там написано, что from_crawler переопределить надо, если надо использовать сеттингс до того как __init__ завершится, там не написано что его надо переопределить "чтобы получить доступ к self.settings в ините моего паука"
источник
10:48пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
пиши нужный код в from_crawler
источник
10:48пожаловаться#4

N

Nick Name in Scrapy
Andrey Rahmatullin
пиши нужный код в from_crawler
понял, спасибо, заработало.
но я не понимаю как можно получить имя файла из
scrapy crawl -o filename.csv
 в самом коде? FEED_URI_PARAMS показывает None:

ipdb> self.settings.attributes["FEED_URI_PARAMS"].value
2020-07-18 11:51:51 [asyncio] DEBUG: Using selector: EpollSelector
ipdb>
источник
11:52пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
только через argparse
источник
12:34пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
а, вру, в FEEDS оно попадает
источник
12:35пожаловаться#7

N

Nick Name in Scrapy
Andrey Rahmatullin
а, вру, в FEEDS оно попадает
вау, точно. а я раньше смотрел так не было, плохо смотрел. спасибо большое)
источник
12:52пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
ну до этого точно так же попадало в FEED_URI
источник
12:53пожаловаться#9

SS

Stepan Smirnov in Scrapy
Использую такого паука для скачивания pdf-файлов:
https://pastebin.com/sBQn76fN

pipeline:
https://pastebin.com/LtxYactt
источник
17:16пожаловаться#10

SS

Stepan Smirnov in Scrapy
лог
источник
17:16пожаловаться#11

SS

Stepan Smirnov in Scrapy
как файлы записываются
источник
17:16пожаловаться#12

SS

Stepan Smirnov in Scrapy
Что нужно поменять в пайплане(?) чтобы имена файлов писались в UTF-8 (символы " ", "ø", "å" не менялись на "%20", "%C3%B8", "%C3%A5")
источник
17:16пожаловаться#13

К

Кирилл in Scrapy
Stepan Smirnov
Что нужно поменять в пайплане(?) чтобы имена файлов писались в UTF-8 (символы " ", "ø", "å" не менялись на "%20", "%C3%B8", "%C3%A5")
https://docs.python.org/3/library/urllib.parse.html#urllib.parse.unquote
источник
17:19пожаловаться#14

SS

Stepan Smirnov in Scrapy
спасибо
источник
17:22пожаловаться#15

SS

Stepan Smirnov in Scrapy
Stepan Smirnov
Использую такого паука для скачивания pdf-файлов:
https://pastebin.com/sBQn76fN

pipeline:
https://pastebin.com/LtxYactt
мне в этом пауке часто приходится менять значение переменных вручную. Как лучше реализовать их обновление в таком коде? Через чтение файла?
источник
17:40пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
смотря каких переменных
источник
18:09пожаловаться#17

SS

Stepan Smirnov in Scrapy
пути к файлам/папкам, которые создаются другими скриптами
источник
18:11пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
передавай их через -a
источник
18:11пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
хотя смотря как и откуда ты берёшь значения, если только руками копируешь то так, а если их можно считать автоматом - лучше читать автоматом
источник
18:11пожаловаться#20