Помнится смотрел видос, чел просто сделал фингеринг-скан ответов веб сервера. Т.е. тупо если ответ изменится, то вероятно что-то меняют/обновляют конфигурацию. В один прекрасный момент через год ответ изменился, он прошёлся по каталогам, что были прописаны в роботс.тхт. И о чудо, куча инфы. )
Всё бы ничего, но серверы это были ЦРУ