Лучше своего написать
Если JS для реализации проходит то можно юзануть NightmareJS
Это что-то типа либы для тестирования сайтов
Да можно и просто на NodeJS обычном сделать такое, оно несложно

Я видел раньше приколюхи которые делают что-то подобное но по-моему они там сильно пингуют сайт и часто даже предупреждают что оно может что-то сломать

А JS это как бы родное для веб приложений, поэтому было бы самым оптимальным вариантом выжимать из него всё что необходимо и будет норм
Лишнего точно не сделаешь

Глянь на бурпсьютовский спайдер.

Если есть окунь ломаный, то им можно

А так, есть же на гите гора оупенсорсных

Ща гляну

Окунь?

Акунетикс

Burp Suite for Pentester: Web Scanner & Crawler
https://www.hackingarticles.in/burp-suite-for-pentester-web-scanner-crawler/

You might be using a number of different tools in order to test a web-application, majorly to detect the hidden web-pages and directories or to get a rough idea about where the low-hanging fruits or the major vulnerabilities are. So today, in this article, we’ll discuss how you can identify the hidden web-pages or determine... Continue reading →
The post Burp Suite for Pentester: Web Scanner & Crawler (https://www.hackingarticles.in/burp-suite-for-pentester-web-scanner-crawler/) appeared first on Hacking Articles (https://www.hackingarticles.in/).

Burp Suite for Pentester: Web Scanner & Crawler
https://www.hackingarticles.in/burp-suite-for-pentester-web-scanner-crawler/

You might be using a number of different tools in order to test a web-application, majorly to detect the hidden web-pages and directories or to get a rough idea about where the low-hanging fruits or the major vulnerabilities are. So today, in this article, we’ll discuss how you can identify the hidden web-pages or determine... Continue reading →
The post Burp Suite for Pentester: Web Scanner & Crawler (https://www.hackingarticles.in/burp-suite-for-pentester-web-scanner-crawler/) appeared first on Hacking Articles (https://www.hackingarticles.in/).

Interactive CLI Web Crawler.
Evine is a simple, fast, and interactive web crawler and web scraper written in Golang.

https://github.com/saeeddhqan/evine

Lacher Lizard Project:
Fast Web Site Crawler and Vulnerability Analyzer

Description:
https://youtu.be/yYpAaOyJ2K0

GitHub:
https://github.com/alifrd/Lacher-Lizard

Буду пробовать, спасибо

Посыл понятен))

а это не замедлит работу сервиса?

да и на нейронку мощности нужны. + обучать надо

да и никто ошибок у нейронных сетей не отменял