AS
Size: a a a
2021 February 08
МС
Golang 😏 или C, вот выход
таки да, я бы еще добавил "большинство компилируемых"...
К
Уже смотрел в сторону go, но пока остановился на aiohttp))
На го есть даже приятные решения, чего не скажешь о С
AP
Кто нить на payeer входил post get запросами ?
2021 February 09
BB
Добрый вечер. Если не затруднит, ткните носом в пример, где скачиваются файлы. вообще понять не могу , что к чему.
https://realpython.com/web-scraping-with-scrapy-and-mongodb/
вот аналогичный пример , построения пайплайна. а как-то можно запускать не через командную строку
https://realpython.com/web-scraping-with-scrapy-and-mongodb/
вот аналогичный пример , построения пайплайна. а как-то можно запускать не через командную строку
S
Добрый вечер. Если не затруднит, ткните носом в пример, где скачиваются файлы. вообще понять не могу , что к чему.
https://realpython.com/web-scraping-with-scrapy-and-mongodb/
вот аналогичный пример , построения пайплайна. а как-то можно запускать не через командную строку
https://realpython.com/web-scraping-with-scrapy-and-mongodb/
вот аналогичный пример , построения пайплайна. а как-то можно запускать не через командную строку
К
Добрый вечер. Если не затруднит, ткните носом в пример, где скачиваются файлы. вообще понять не могу , что к чему.
https://realpython.com/web-scraping-with-scrapy-and-mongodb/
вот аналогичный пример , построения пайплайна. а как-то можно запускать не через командную строку
https://realpython.com/web-scraping-with-scrapy-and-mongodb/
вот аналогичный пример , построения пайплайна. а как-то можно запускать не через командную строку
https://docs.scrapy.org/en/latest/topics/media-pipeline.html#using-the-files-pipeline
Задаешь ссылки на файлы в file_urls айтема, подключаешь нужный пайплайн и оно само скачает
Задаешь ссылки на файлы в file_urls айтема, подключаешь нужный пайплайн и оно само скачает
BB
https://docs.scrapy.org/en/latest/topics/media-pipeline.html#using-the-files-pipeline
Задаешь ссылки на файлы в file_urls айтема, подключаешь нужный пайплайн и оно само скачает
Задаешь ссылки на файлы в file_urls айтема, подключаешь нужный пайплайн и оно само скачает
благодарю.
DO
Подскажите, пожалуйста, можно ли как-то по html понять, нужно ли ее рендерить браузером или нет?
У меня есть список урлов, я хочу пройтись и сохранить GET'ом все html, но отдельно узнать про каждый, нужно ли дорендеривать сохраненную html.
У меня есть список урлов, я хочу пройтись и сохранить GET'ом все html, но отдельно узнать про каждый, нужно ли дорендеривать сохраненную html.
AR
Если никакого джс нет ни инлайн, ни ссылками, то не надо
AR
Но такого хтмл в жизни не бывает
DO
Спасибо. Да, я этого понимаю. То есть лучше рендерить вообще все-все-все, чем пытаться "экономить" и делить все html на requires_rendering и нет. Верно?
AR
Нет, лучше ничего не рендерить
AR
Но вообще от задачи зависит
DO
Задача классифицировать сайты. Например: есть гитхаб, там есть внешняя ссылка, нужно понять: это коммерческий проект или просто бесплатная библиотека.
Как планируется делать:
1) Скачать все html страницы всех собранных ссылок
2) Из них достать весь текст / метатеги
3) По ним составить список keywords, которые помогут в нашей классификации (например, наличие слова pricing)
4) Некоторые сайты требуют рендеринга, чтобы выдать хоть какой-нибудь текст, но их должно быть не так много, так как, чтобы лендос индексировался в гугле, создатели должны в html добавить весь необходимый текст для индексации
Как планируется делать:
1) Скачать все html страницы всех собранных ссылок
2) Из них достать весь текст / метатеги
3) По ним составить список keywords, которые помогут в нашей классификации (например, наличие слова pricing)
4) Некоторые сайты требуют рендеринга, чтобы выдать хоть какой-нибудь текст, но их должно быть не так много, так как, чтобы лендос индексировался в гугле, создатели должны в html добавить весь необходимый текст для индексации
AR
Аа, ну тут сложно, да
AR
Возможно, для этой задачи можно и не рендерить, кроме вот последних случаев
AR
Ещё кстати нужно будет отличать нормальный ответ от, например, редиректа антибота