Size: a a a

2020 December 21

S

SoHard 🎄 in Scrapy
да, в апи ничего по датацентровких проксях не нашёл подобного, боль и страдания
источник

AR

Andrey Rahmatullin in Scrapy
не надо делать "по коду элемента достаю xpath до нужного объекта" (что бы это ни значило)
источник

AR

Andrey Rahmatullin in Scrapy
но вообще в каком-то из заявлений выше скорее всего неправда
источник

AR

Andrey Rahmatullin in Scrapy
либо хтмл очень битый
источник

A

AstralRomance in Scrapy
Вот лежит у меня рядом с scrapy.cfg мой питоновский скрипт, из него я хочу дергать своего паука.
Мне для этого надо его в __init__.py в директории spiders добавить же?
источник

МС

Михаил Синегубов... in Scrapy
AstralRomance
Вот лежит у меня рядом с scrapy.cfg мой питоновский скрипт, из него я хочу дергать своего паука.
Мне для этого надо его в __init__.py в директории spiders добавить же?
нет
источник

МС

Михаил Синегубов... in Scrapy
как минимум, это не обязательно
источник

МС

Михаил Синегубов... in Scrapy
источник

МС

Михаил Синегубов... in Scrapy
кури доки
источник

A

AstralRomance in Scrapy
https://pastebin.com/RhUEeUKT

А как мне дернуть паука из аиограм бота? Как я понимаю, они оба используют твистед, собственно, если я делаю как в пасте (как в доке), то я получаю один раз ответ от бота, а при остальных попытках что-то кинуть боту, все падает. Что я делаю не так?
источник

К

Кирилл in Scrapy
AstralRomance
https://pastebin.com/RhUEeUKT

А как мне дернуть паука из аиограм бота? Как я понимаю, они оба используют твистед, собственно, если я делаю как в пасте (как в доке), то я получаю один раз ответ от бота, а при остальных попытках что-то кинуть боту, все падает. Что я делаю не так?
1. aiogram не использует твистед
2. Ты скинул обрывки кода которые ничего не говорят
источник

A

AstralRomance in Scrapy
https://pastebin.com/iHk1nnBa

Вот тут более полный код.
Все еще на первый запрос получаю ответ, скрапер печатает результаты, а дальше просто глухо, бот на команды не реагирует.
источник

AR

Andrey Rahmatullin in Scrapy
неправильно обрабатываешь исключения, думаю
источник

AR

Andrey Rahmatullin in Scrapy
поэтому не видно что именно ломается и где
источник

AR

Andrey Rahmatullin in Scrapy
(reactor.run нельзя вызвать повторно)
источник

К

Кирилл in Scrapy
AstralRomance
https://pastebin.com/iHk1nnBa

Вот тут более полный код.
Все еще на первый запрос получаю ответ, скрапер печатает результаты, а дальше просто глухо, бот на команды не реагирует.
Реактор нельзя останавливать
источник
2020 December 22

A

AstralRomance in Scrapy
Andrey Rahmatullin
(reactor.run нельзя вызвать повторно)
Мне в main'е его запускать?
Не очень понимаю, что с этим делать.
источник

AR

Andrey Rahmatullin in Scrapy
Это уж тебе решать
источник

A

AstralRomance in Scrapy
А какие у меня варианты?
Я хочу, чтобы у меня по вводу валидной строчки (валидирую  выше) дергался скрапер, который вернет мне числа.
источник

К

Кирилл in Scrapy
Не останавливай реактор, пусть все время работает
источник