Size: a a a

2020 December 09

B

Bulatbulat48 in Scrapy
Dmitry
Теперь-то все ясно!! Возвращаясь к вопросу - судя по докам, должна быть shallow copy, то есть выдавать new? И как теперь проще всего пофиксить, чтобы было new? Не передавать через cb_kwargs?
а deepcopy если сделать?
источник

AR

Andrey Rahmatullin in Scrapy
ему надо наоборот шаринг
источник

B

Bulatbulat48 in Scrapy
а, понял
источник

AR

Andrey Rahmatullin in Scrapy
дипкопи за него reqser сделает :)
источник

D

Dmitry in Scrapy
Andrey Rahmatullin
что именно из этого баг?
Что должен быть shallow copy, а он дип
источник

AR

Andrey Rahmatullin in Scrapy
кгхм
источник

AR

Andrey Rahmatullin in Scrapy
а как будет иначе если объект сложен на диск и считан обратно?
источник

B

Bulatbulat48 in Scrapy
так а почему просто словарь не можешь передавать? а в колбеках собирай новый лоадер на основе парента
источник

D

Dmitry in Scrapy
Andrey Rahmatullin
а как будет иначе если объект сложен на диск и считан обратно?
Значит надо доки править, какой-то дисклеймер туда добавить, что если что-то где-то включено, тогда он не shallow. Но вообще это плохо с точки зрения user experience, что вообще приходится с этим разбираться.
источник

AR

Andrey Rahmatullin in Scrapy
а где написано про shallow?
источник

D

Dmitry in Scrapy
Bulatbulat48
так а почему просто словарь не можешь передавать? а в колбеках собирай новый лоадер на основе парента
Я так и делал раньше, но параметров больше было, так что закончилось все тем, что я в kwargs передавал винегрет из параметров и уже сам начинал в них путаться, потому что они ещё и positional становились. И решил их объединить в один класс, где все понятно.
источник

D

Dmitry in Scrapy
Andrey Rahmatullin
а где написано про shallow?
Requests > описание cb_kwargs. Сорри, с телефона
источник

AR

Andrey Rahmatullin in Scrapy
там я уже посмотрел, там только про " when the request is cloned using the copy() or replace() methods"
источник

B

Bulatbulat48 in Scrapy
Dmitry
Я так и делал раньше, но параметров больше было, так что закончилось все тем, что я в kwargs передавал винегрет из параметров и уже сам начинал в них путаться, потому что они ещё и positional становились. И решил их объединить в один класс, где все понятно.
а сколько айтемлоадеров передаешь между реквестами?
источник

AR

Andrey Rahmatullin in Scrapy
но ты можешь написать тикет что в  этом месте не хватает про дисковые очереди и сериализацию, да
источник

AR

Andrey Rahmatullin in Scrapy
https://github.com/scrapy/scrapy/issues/2711 вот вам кстати про детект
источник

i

i in Scrapy
Семён Трояновский
 Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации (Минцифра, но также известно как Минцирк) разработало проект постановления, фактически запрещающий работу в России сервисов, использующих шифрование доменных имён — то есть, DoH (Domain over HTTPS), DoT (Domain over TLS) и eSNI... Более того, пояснительная записка предлагает и вовсе запретить TLS 1.3. 

https://regulation.gov.ru/projects#npa=108513
вспоминается как правительство Казахстана, предложило поставить в мозиллу доверенный госсертификат, чтобы трафик расшифровывать. И как все в России ржали. А теперь похоже казахи ржать будут)
источник

i

i in Scrapy
а там точно про прям запретить? может там какие-нибудь шифры по ГОСТам хотят они, чтобы просто стояли.
источник

AR

Andrey Rahmatullin in Scrapy
список шифров для тлс1.3 закрыт :)
источник

i

i in Scrapy
мде. а еще они там похоже хотят dns с шифрацией пресекать. видать у ркн психическая травма от годовой попытки забанить телегу.
источник