К
Size: a a a
2020 December 22
AR
А какие у меня варианты?
Я хочу, чтобы у меня по вводу валидной строчки (валидирую выше) дергался скрапер, который вернет мне числа.
Я хочу, чтобы у меня по вводу валидной строчки (валидирую выше) дергался скрапер, который вернет мне числа.
Не знаю, я не использовал этот фреймворк который ты используешь
A
Ну и у тебя опять обрывки кода, я подозреваю что ты не используешь реактор для asyncio
Нет, в реактор я не лезу.
AR
Тебе и читать, как его с твистедом интегрировать, скрапи-то тут не участвует вообще
К
Нет, в реактор я не лезу.
Тогда у тебя два разных асинхрона отдельно
A
Тогда у тебя два разных асинхрона отдельно
Так, то есть, я могу перед пуском поллинга, сделать раннера, а в боте ему просто ссылки кидать?
К
Так, то есть, я могу перед пуском поллинга, сделать раннера, а в боте ему просто ссылки кидать?
Вроде того
A
И установи правильный реактор
А вот этот момент можно подробнее? Я с этим первый раз сталкиваюсь.
К
А вот этот момент можно подробнее? Я с этим первый раз сталкиваюсь.
Ты выбрал не самую простую задачу для своего уровня знаний
https://docs.scrapy.org/en/latest/topics/asyncio.html
https://docs.scrapy.org/en/latest/topics/asyncio.html
A
Ты выбрал не самую простую задачу для своего уровня знаний
https://docs.scrapy.org/en/latest/topics/asyncio.html
https://docs.scrapy.org/en/latest/topics/asyncio.html
О, спасибо.
A
Возможно если взять scrapyd или scrapyrt (если запросов мало), тогда будет меньше проблем, чем с прямой интеграцией
Запросов мало. Я правильно понимаю, что можно взять scrapyd и просто прокидывать в скрапер json?
К
Запросов мало. Я правильно понимаю, что можно взять scrapyd и просто прокидывать в скрапер json?
Да. Но там есть некоторые проблемки с проверкой завершения задач
A
Ну, запросов сильно меньше 1000 в сутки будет.
A
Думаю, в самом лучшем случае, счет на сотни будет вестись.
DO
скажите плиз, а TakeFirst нормально же работает и на input_processor?
Я его на output кидаю постоянно