Size: a a a

2020 August 19

f

fishsouprecipe 🤍 in aiogram [ru]
Сори, что не к айограму, но
Смотрите, такая проблема. Есть асинхронное веб приложение которое является парсером. Парсер использует Selenium так как на сайте очень хорошая защита есть от парсинга и через http запросы впадлу это сделать.

1. Как запустить несколько таском асинхронно по парсингу
2. Чтобы спарсить определённый блок инфморации необходимо так же сделать несколько переходов, возможно ли совместить с первым пунктом, чтобы при маленьком количестве заданий парсилось быстрее.
3. Как сделать это в асинке? Если через asyncio.Loop.run_in_executor, то какой использовать из кф, а может что-то нужно своё написать?
4. Как общаться приложению с парсером, через отдельный модуль или поднять локальный сервер? Мне кажется, что лучше 1)
источник

🤔T

🤔 Thoughtful in aiogram [ru]
fishsouprecipe 🤍
Сори, что не к айограму, но
Смотрите, такая проблема. Есть асинхронное веб приложение которое является парсером. Парсер использует Selenium так как на сайте очень хорошая защита есть от парсинга и через http запросы впадлу это сделать.

1. Как запустить несколько таском асинхронно по парсингу
2. Чтобы спарсить определённый блок инфморации необходимо так же сделать несколько переходов, возможно ли совместить с первым пунктом, чтобы при маленьком количестве заданий парсилось быстрее.
3. Как сделать это в асинке? Если через asyncio.Loop.run_in_executor, то какой использовать из кф, а может что-то нужно своё написать?
4. Как общаться приложению с парсером, через отдельный модуль или поднять локальный сервер? Мне кажется, что лучше 1)
почему не задать вопрос в питон чате?
источник

f

fishsouprecipe 🤍 in aiogram [ru]
Тут более умные люди по моему опыту, хотя странно, ботоводы же
источник

f

fishsouprecipe 🤍 in aiogram [ru]
Айограм интеллектуально выше остальных чатов по питоне, ИМХО
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
fishsouprecipe 🤍
Айограм интеллектуально выше остальных чатов по питоне, ИМХО
не нихуя
источник

f

fishsouprecipe 🤍 in aiogram [ru]
Ну мне интересненько его так почитывать, мб из-за более узкой тематики
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
🤔 по моему опыту очень хорошая защита это блять сессия
источник

f

fishsouprecipe 🤍 in aiogram [ru]
Передавать сессию является поблемой или aiohttp в это не может?
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
да блять даже реквесты могут
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
селениум в 99 и 99999% ненужон
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
и вопросы у тебя....
источник

f

fishsouprecipe 🤍 in aiogram [ru]
А можешь скинуть какой-то  информейшн об этом?
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
сам знаешь за асинцио
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
почитай за него и первые 3 вопроса отпадут
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
fishsouprecipe 🤍
А можешь скинуть какой-то  информейшн об этом?
🤔о чем? любой источник о вебе
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
от гет и пост до протоколов и особенностей серверов
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
а 4. хз. что за приложение. может хватит и треда
источник

f

fishsouprecipe 🤍 in aiogram [ru]
У меня есть прочблема, требующая скорейшего решения, почитать просто не прагматично было бы)
источник

f

fishsouprecipe 🤍 in aiogram [ru]
threading?
источник

️️

️️👑OGURCHIK 🖤 ️... in aiogram [ru]
угу
источник