спасибо, я пока не буду пробовать выполнять это, дабы пятница, и раб день подошел к концу :) спасибо за наводки, почитаю про cgroup

Ну то есть тут максимально тупое и прямолинейное И.
Юзает хттп/с И подключено = часть www.

«множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. »
Как проиндексируется сервер на который и с которого нет ссылок? Кравлеры ходят только по ссылкам. Так-же не проиндексируются интранет и, по понятным причинам, сервера дарквеба. Учите нетсталкинг, оно интересно. 😉

А мы можем проиндексировать все диапазоны айпи, а не ссылки?

Я тебе больше скажу, существуют специализированные поисковики для пентестеров, багхантеров и хакеров, которые периодически условно nmap-ят всю сеть, на предмет открытых(любых) портов. Но всё равно нужно знать адрес сервера.

Это которые а ля шодан?

В общем буду искать подобные вопросы. Хоть обсуждать стали айти а не политику 😃

А как-же group policy или там policy-kit? 😜

Вот вы конечно углубились в философию 😂

www это вообще абстракция. Причём даже более абстрактная чем сервера gopher или федерация серверов matrix или IRC сети или XMPP «сеть». Погнали каверзные вопросы:

1. Если сервер, работающий по протоколу http/https и отдающий html страничку не имеет ссылок (<a href="">) на другие сервера работающие по протоколу http/https. И ни один сервер в Интернете, работающий по протоколу http/https на своих страницах не имеет ссылок на этот сервер, то является-ли такой сервер частью www?
2. Если сервер, работающий по протоколу http/https, находится в интранете, подключенном к Интернету и не имеет доступа извне, является-ли частью www, и если нет, то чем он отличается от одинокого сервера из пункта 1?
3. Если сервер, работает по протоколу http/https и отдаёт какой-нибудь условный json, то является-ли такой сервер частью WWW?
4. Если сервер, работает по протоколу http/https и имеет адрес в одной из доменных зон: .onion, .i2p, является-ли такой сервер частью www и если нет, то чем он отличается от серверов пп 1-4?

На все вопросы хотелось-бы получить ответы вида да/нет и разумеется почему.

Подсказка. Рекомендуется почитать про DeepWeb (Не путать с DarkWeb!).

1. Нет. Потому что ты не можешь обычными инструментами обнаружить этот сервер. Он относится к DeepWeb, а не к www. На этот сервер никогда не попадёт ни один crawler ни одного поисковика.
2. Нет. Это тоже часть DeepWeb, к которой в принципе нельзя получить доступ извне, не смотря на то что интранет является частью интернет.
3. Это пограничный случай. Crawler-ы поисковых систем не индексируют такие служебные серверы, но при этом на такие серверы ходят обычные сервера, какая-нить условная морда мониторинга, например.
4. Нет. Это часть DarkWeb.

Единственное не знаю ответа на последний вопрос. Так как не знаю что это за домены. А остальное это скрытые сети.Их только с огромной натяжкой можно считать частью www. Но скорее нет чем да.

О тут и ответ уже написали.

На все ответы верный ответ нет. Верхние три это часть DeepWeb, последний — это домены DarkWeb (TOR — The Onion Router и I2P — Invisible Internet Project).