VM
причём, изначальную задачу
Size: a a a
2020 October 28
АА
ну почему же только страницы. wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png,mov "http://www.somedomain.com"
html страницы — это в частности. Т.к. мне нужен только текст, а не файлы веб-страниц
VM
а не то, как ты придумал её решать
ND
html страницы — это в частности. Т.к. мне нужен только текст, а не файлы веб-страниц
текст страницы?
B
а не то, как ты придумал её решать
+
M
Чтобы парсить текст страницы надо сначала получить как-то эту страницу
SG
Доброго дня! Существует ли утилита для рекурсивного поиска текста на веб-страницах?
Как, например, wget, который рекурсивно может выкачивать все доки
Как, например, wget, который рекурсивно может выкачивать все доки
Ты в курсе, что сегодня куча сайтов это не много html-страничек, а SPA или даже PWA?
АА
причём, изначальную задачу
На сайте хочу найти все страницы, на которых присутствуют интересующие меня слова. Руками тыкаться долго. Хочется автомтизировать и хотя бы получить страницы, на которых уже можно серфить и читать инфу.
M
если ты хочешь парсить интернет, тогда это новый гугл)
M
поиск с site:website
SG
Возьми список allowed страниц из robots.txt питоном и питоном же парси
Это самый простой способ определить, куда ходить можно, а куда не нужно
Это самый простой способ определить, куда ходить можно, а куда не нужно
SG
Либо воспользхуйся "поиском по сайту" ог гугла или яндекса, это согратит время мануального поиска
АА
Чтобы парсить текст страницы надо сначала получить как-то эту страницу
да придумать связки утилит можно.
Интересует существование команды ubuntu как самый простой вариант
Интересует существование команды ubuntu как самый простой вариант
АА
Либо воспользхуйся "поиском по сайту" ог гугла или яндекса, это согратит время мануального поиска
ctrl + F?
Для этого нужно руками открывать все подстраницы
Для этого нужно руками открывать все подстраницы
VM
была бы такая команда, провоторговцы уже давно засудили бы всех и вся
VM
и авторов и мейнтейнеров
VM
есть curl/wget, есть awk/lua/python
VM
кому надо - сам пишет парсеры