Телеграмм чат группы scrapy

Size: a a a

Scrapy

490 membersпожаловаться на группу

2020 May 29

Alexander Serebrov in Scrapy

из моих воспоминаний - это как-то было связано с переменной window, а не с TTL 🤔

источник

11:32пожаловаться #1

Andrey Rahmatullin in Scrapy

неуж правда на это смотрят

источник

11:35пожаловаться #2

Alex in Scrapy

всем привет
вопрос по поводу

Items

использую в коде так:

yield {
             'Auto': car_brand,
             'Type ad': type_ad,
     }

Работает, все ок. Но я не импортирую из items.py ничего.
Правильно ли использовать таким образом или лучше импортировать и делать все как в туториалах?

источник

11:36пожаловаться #3

Andrey Rahmatullin in Scrapy

ты не используешь итемы

источник

11:36пожаловаться #4

Andrey Rahmatullin in Scrapy

два варианта, либо продолжать их не использовать, либо начать использовать

источник

11:36пожаловаться #5

Alex in Scrapy

а как же тогда создается файл со всеми ключами и данными?

источник

11:36пожаловаться #6

Andrey Rahmatullin in Scrapy

итемы необязательны.

источник

11:37пожаловаться #7

Alex in Scrapy

ок, спасибо
просто я не создаю словарь для хранения и итемы не импортирую
но все работает)
вот и задался вопросом

источник

11:37пожаловаться #8

Andrey Rahmatullin in Scrapy

словарь ты создаёшь

источник

11:39пожаловаться #9

Alex in Scrapy

он сам создается тогда?
в коде нигде не объявлен словарь

источник

11:40пожаловаться #10

Andrey Rahmatullin in Scrapy

объявлен

источник

11:41пожаловаться #11

Andrey Rahmatullin in Scrapy

вон же на картинке

источник

11:41пожаловаться #12

Alex in Scrapy

да действительно)
я чет думал что словарь должен заранее быть объявлен и иметь имя)

источник

11:46пожаловаться #13

Andrey Rahmatullin in Scrapy

словари не являются чем-то особенным в питоне

источник

11:47пожаловаться #14

Evgen in Scrapy

JS есть какой то или нет?)

источник

15:24пожаловаться #15

Andrey Rahmatullin in Scrapy

Дак его банят/не банят за обычный запрос

источник

15:27пожаловаться #16

Andrey Rahmatullin in Scrapy

Я так понял

источник

15:27пожаловаться #17

Andrey Rahmatullin in Scrapy

Т.е. совсем какие-то тонкости

источник

15:27пожаловаться #18

МС

Михаил Синегубов... in Scrapy

Evgen

JS есть какой то или нет?)

если мне,то
1. под убунтой - да, есть. Там шифруется токен для перехода (в начале редирект на страницу с JS)
2. под виндой все Ок, причем, первый запуск был без изменения проекта.

источник

15:28пожаловаться #19

МС

Михаил Синегубов... in Scrapy

в общем, один и тот же проект (и провайдер, и IP) - поведение разное

источник

15:29пожаловаться #20