AR
да, тут всю весну ходили люди, несумевшие спарсить ворлдометер
Size: a a a
2020 December 28
YM
причем с построением графиков и пушем в твитер
МП
ой, заделай парсинг каких-то ковидных сайтов для сбора инфы, будет тебе и пет проект и что показать, типа вот, соц проект
Ковидные данные ведь и так есть в множестве АПИ
YM
бонус в том, что показать не только что я есть уметь, а что занимаюсь важной работой
A
бонус в том, что показать не только что я есть уметь, а что занимаюсь важной работой
Тогда нужно делать сайт еще и аналитику по своему городу
A
Тогда да
YM
а почему нет?
A
Потому что нужно пет по скрепингу а не фулстак
AR
Привет. Посоветуйте тему для пет проекта на скрапи? Умею в джанго.
цены на введённый юзером товар в пяти магазинах
A
Кстати раз уже пошел разговор, бест практик, как лучше сравнять изминения? Курс валют
A
Я пишу в файл и если != Тогда делаю тригер
2020 December 29
МС
Всем привет. Сегодня решил познакомиться со scrapy.
Можете пожалуйста подсказать, как у вас правильно запускать spider'ы из асинхронной функции? Есть какие-нибудь примеры?
И вообще, как у scrapy с асинхронными запросами?
Можете пожалуйста подсказать, как у вас правильно запускать spider'ы из асинхронной функции? Есть какие-нибудь примеры?
И вообще, как у scrapy с асинхронными запросами?
речь именно про async или про асинхрон в принципе? Если в принципе, то там на твистеде все, и работает через него норм.
А
речь именно про async или про асинхрон в принципе? Если в принципе, то там на твистеде все, и работает через него норм.
Да, видел этот reactor, но пока не понял как оно работает. Полагаю, просто обернуть scrapy таской и вызвать когда нужно не получится?
Хотелось бы что-то вроде:
Хотелось бы что-то вроде:
runner = CrawlerRunner()
runner.crawl(spider)
asyncio.create_task(runner.run())
await *other_async_function*
Можно как-то с твистед?МС
Что именно нужно в асинхроне. Запросы или обработка? Если сами запросы, то они в асинхроне.
Если вопрос в запуске паука из скрипта - кури мануал, там есть
Если вопрос в запуске паука из скрипта - кури мануал, там есть
А
Асинхронная ли "обработка" — вряд ли есть разница. Не могу представить чему там асинхронить. Если только внутри делать чего не начну.
Нужно чтобы асинхронные запросы работали "конкурентно" не только друг с другом, но и с другими тасками (где также могут быть другие асинхронные запросы, например).
Как запускать пауков из скрипта — читал, но про асинхронный запуск не видел
(Хотя, может как-то через реактор можно 🤔)
Нужно чтобы асинхронные запросы работали "конкурентно" не только друг с другом, но и с другими тасками (где также могут быть другие асинхронные запросы, например).
Как запускать пауков из скрипта — читал, но про асинхронный запуск не видел
(Хотя, может как-то через реактор можно 🤔)
AR
он асинхронный.
А
он асинхронный.
Спасибо, уже рассказали. Понять что он асинхронный для меня пол дела. Ещё бы понять как воспользоваться этой асинхронностью 😅
Но судя по тому что читаю, то что мне нужно только обсуждается и вряд ли уже реализовано :/
Но судя по тому что читаю, то что мне нужно только обсуждается и вряд ли уже реализовано :/