Телеграмм чат группы scrapy

Size: a a a

Scrapy

2021 January 14

а, походу вона как этот рыночек работает- там авторизованные edi-поставщики внизу списком, к примеру https://kontur.ru/edi

СКБ Контур

Контур.EDI — система электронного документооборота и обмена данными

Электронный документооборот EDI для ритейла - это прозрачное и оперативное взаимодействие с контрагентами через обмен edi-сообщениями. Сокращение непроизводственных издержек и всегда актуальные сведения о товарах.

источник

19:35пожаловаться #1

i in Scrapy

из раздела "сетям выгодно свои каталоги кому-то выгружать-отдавать"

i in Scrapy

i in Scrapy

CTRLCTRLV in Scrapy

ну не то чтобы прямо расковырять

первое что приходит на ум скачать apk и засунуть его в эмулятор 😁 а дальше хз как его бодяжить

источник

19:46пожаловаться #5

Andrii in Scrapy

Наверное лучше нанять человека

источник

20:00пожаловаться #6

Alexander Serebrov in Scrapy

CTRLCTRLV

первое что приходит на ум скачать apk и засунуть его в эмулятор 😁 а дальше хз как его бодяжить

Можно использовать mitm proxy и перехватывать реквесты от приложения, потом их воспроизводить в скрапи и получать те же данные
Только это не очень правильно с точки зрения нагрузки на их мобильную апи

источник

20:12пожаловаться #7

Andrii in Scrapy

А чем HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage' лучше за HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.DbmCacheStorage' ?

источник

22:27пожаловаться #8

Andrey Rahmatullin in Scrapy

тем что дбм говно

источник

22:46пожаловаться #9

2021 January 15

Andrii in Scrapy

а если есть уже кеш, можно как-то в елде сказать что для етого запроса не юзать кеш ?

источник

01:12пожаловаться #10

Georgiy in Scrapy

Andrii

а если есть уже кеш, можно как-то в елде сказать что для етого запроса не юзать кеш ?

Да, 'dont_cache': True в meta

источник

01:14пожаловаться #11

Andrii in Scrapy

Georgiy

Да, 'dont_cache': True в meta

у меня все одно берет с кеша :(

источник

01:15пожаловаться #12

Andrii in Scrapy

yield scrapy.FormRequest(url, callback=self.parse_club, body=f"verein_id={club_id}", headers=self.headers, meta={'data': z, 'dont_cache': True})

источник

01:15пожаловаться #13

Georgiy in Scrapy

Andrii

у меня все одно берет с кеша :(

это немного не то dont_cache - это что бы не записывать response с запроса в cache

источник

01:18пожаловаться #14

Andrii in Scrapy

ну да,а мне нужно что б не брал

источник

01:18пожаловаться #15

Georgiy in Scrapy

Andrii

ну да,а мне нужно что б не брал

Вариант 1. - тот cache, которые у тебя накопился к текущему моменту - удалить.
И запустить по новой с

yield scrapy.FormRequest(... meta={... 'dont_cache': True})

Тогда новый httpcache уже не будет содежрать response из FormRequests.

Вариант 2. переписать HttpCacheMiddleware.process_request

источник

01:33пожаловаться #16

Andrii in Scrapy

Georgiy

Вариант 1. - тот cache, которые у тебя накопился к текущему моменту - удалить.
И запустить по новой с

yield scrapy.FormRequest(... meta={... 'dont_cache': True})

Тогда новый httpcache уже не будет содежрать response из FormRequests.

Вариант 2. переписать HttpCacheMiddleware.process_request

да новЬІй впадло запускать) ищу решение

источник

01:34пожаловаться #17

Andrii in Scrapy

https://stackoverflow.com/questions/41743071/scrapy-how-to-remove-a-url-from-httpcache-or-prevent-adding-to-cache?rq=1

Stack Overflow

Scrapy how to remove a url from httpcache or prevent adding to cache

I am using latest scrapy version, v1.3

I crawl a webpage page by page, by following urls in pagination. In some pages, website detects that I use a bot and gives me an error in html. Since it is a

источник

01:34пожаловаться #18

Andrii in Scrapy

что-то такое

источник

01:34пожаловаться #19

Georgiy in Scrapy

Andrii

https://stackoverflow.com/questions/41743071/scrapy-how-to-remove-a-url-from-httpcache-or-prevent-adding-to-cache?rq=1

Stack Overflow

Scrapy how to remove a url from httpcache or prevent adding to cache

I am using latest scrapy version, v1.3

I crawl a webpage page by page, by following urls in pagination. In some pages, website detects that I use a bot and gives me an error in html. Since it is a

Там вопрос звучит "how can I prevent that page get into cache?" (как предотвратить попадание страницы в cache), а не как проигнорировать существующий cached response для текущего запроса.

источник

01:50пожаловаться #20