Ну если так, то да, я бы попробовал больше проксей использовать

Возможно на сервере есть какие-то ограничения на количество запросов за определённое время. Но почему не продолжает хз. Возможно 15 минут мало)

Не запускается потом сам Нетпик, а не скан сайта. Висит загрузка бесконечная и все) Может ресурсов не хватает снова запуститься, но тут я ничего не могу сделать, новый ноут брать позже буду.

@kosta_bankovski поообщайся с Lev про Netpeak, плз.
#netpeak

есть какой то сервис, который покажет все ссылки файлов для скачивания на нашем сайте?

так пиши на хард

Витя @pilot_bbk  как-то лягушку на сервере запускал. Там должно много парситься

Нельзя в нем изменить настройку эту.

так пускай через лягуху

Лягуху надо ставить, разбираться в ней.

Тогда тем более кусками парси, где-то читал что это метод, когда ресурса не хватает

в 1 поток, огрнаичивай до 3 урлов в секунду. авторизация через веб в лягухе и вперед. ну еще рендеринг js врубить за одно.

таки еобъемы можно и на десктопе, если его не трогать. но 180к будет сканиться где-то сутки при таких скоростях

В Search Console появилась ошибка "На одной или нескольких страницах вашего сайта обнаружены проблемы безопасности.....При попытке скачать отдельные (возможно, все) материалы с этого сайта появляется предупреждение о подозрительном ПО". При этом список URL страниц с проблемами пуст. Воспользовавшись сервисом
https://transparencyreport.google.com/safe-browsing/
получил вероятную проблему
"На этом сайте размещены редко скачиваемые файлы."
На сайте нету лишних файлов, сайт просканирован на вирусы.
Для скачивания есть только файлы docx, doc и pdf.
****
Как узнать к каким файлам или страницам претензия?

да камон, 180 это ничтожно. За пол дня заделает. Пол мульта или мульт это уже другой вопрос.

Вын=глядит как дор, следователь скорее всего по тайтлам или еще как поискать страницы или прям категории где можно скачать что-то.

Ну если не вывезет нетпик, то буду с лягушкой знакомиться)

@kosta_bankovski поообщайся с Lev про Netpeak, плз.
#netpeak

Около месяца размещал ссылку на Гугл документ в блоге