В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

437 membersпожаловаться на группу
2020 April 07

VB

Vladyslav Babych in Scrapy
https://gist.github.com/c01e5d8311dca296c48d5f5f4b09ed0a Понадобилось мне изменить настройки при запуске скрипта. Но почему-то после всех действий внутри паука та и после процесса получаю старые значения. Почему это может быть?
Gist
try_to_change_setting_from_script
GitHub Gist: instantly share code, notes, and snippets.
источник
12:06пожаловаться#1

М

Мак in Scrapy
Мак
при использовании SplashRequest, при настройке dont_filter=True, параметры повторного запроса (в том числе и метаданные, почему то) судя по всему берутся кешированные. Как можно это дело настроить? мне необходимо чтоб именно мета передавалась разная...
никто не подскажет?
источник
12:22пожаловаться#2

МС

Михаил Синегубов in Scrapy
Мак
никто не подскажет?
кэш чей, у скрапи кеширование настроено?
источник
12:55пожаловаться#3

М

Мак in Scrapy
нет
источник
12:56пожаловаться#4

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
https://gist.github.com/c01e5d8311dca296c48d5f5f4b09ed0a Понадобилось мне изменить настройки при запуске скрипта. Но почему-то после всех действий внутри паука та и после процесса получаю старые значения. Почему это может быть?
Gist
try_to_change_setting_from_script
GitHub Gist: instantly share code, notes, and snippets.
сугубо мое ИМХО
1. ты изменяешь экземпляр настроек, потом опять считываешь настройки проекта и пыфтаешся прочитать.... так они же не изменяются
2. внутри паука, подозреваю что читаешь в init дока, вроде, рекомендует использовать from_crawler для чтения настроек...
источник
13:30пожаловаться#5

VB

Vladyslav Babych in Scrapy
Михаил Синегубов
сугубо мое ИМХО
1. ты изменяешь экземпляр настроек, потом опять считываешь настройки проекта и пыфтаешся прочитать.... так они же не изменяются
2. внутри паука, подозреваю что читаешь в init дока, вроде, рекомендует использовать from_crawler для чтения настроек...
Но разве обьект настроек не синглтрон?
источник
13:31пожаловаться#6

МС

Михаил Синегубов in Scrapy
Vladyslav Babych
Но разве обьект настроек не синглтрон?
хз, я таких умных словов не знаю 😂.
по правде, я не читал настройки после работы паука
источник
13:31пожаловаться#7

К

Кирилл in Scrapy
Vladyslav Babych
Но разве обьект настроек не синглтрон?
почему ты так думаешь?
источник
13:35пожаловаться#8

VB

Vladyslav Babych in Scrapy
Я так предполагаю
источник
13:36пожаловаться#9

i

ildar in Scrapy
смутно помню когда я пилил последовательный запуск 2х роутеров, выяснилось, что на-лету их после создания объекта паука уже так просто не сменишь
источник
13:51пожаловаться#10

i

ildar in Scrapy
раннер же включает в себя всю машинерию с миддлварями и прочим, если надо поменять что-то, что только при инициализации задаётся, то только пересоздавать
источник
13:53пожаловаться#11

i

ildar in Scrapy
а если нет то просто сунуть в кастом_сеттингс паука или инициализировать из аргумента
источник
13:53пожаловаться#12

i

ildar in Scrapy
FEED_URI, тем не менее, читается один раз, при создании scrapy.extensions.feedexport.FeedExporter
источник
13:53пожаловаться#13

i

ildar in Scrapy
keyword arguments to initialize the spider это то, что передаётся в scrapy crawl через -a
источник
13:53пожаловаться#14

i

ildar in Scrapy
и принимается в __init__
источник
13:53пожаловаться#15

i

ildar in Scrapy
а через runner.settings можно задать?
источник
13:53пожаловаться#16

i

ildar in Scrapy
типа, runner.settings=settings_non_ed
источник
13:53пожаловаться#17

i

ildar in Scrapy
можно, но не поможет
источник
13:53пожаловаться#18

i

ildar in Scrapy
ну можно сделать экспортер, который читает настройку не в __init__, но вы ещё эту настройку в него потом передайте
источник
13:53пожаловаться#19

i

ildar in Scrapy
Vladyslav Babych
Я так предполагаю
вот, я когда-то тоже хотел неизведанного...
источник
13:54пожаловаться#20