Можно отключить во фроге следование правилам роботс.тхт

Да, все эти галочки я перетыкал, все так же парсить одну страницу. Даже если рендерить через js

Если именно с этой страницы начинать, то там редирект срабатывает на внешний сайт, думаю фрог поэтому затыкается.
Нетпиковский спайдер проскакивает это и дальше сканирует.
Но если задача такого парсинга — собрать адреса всех страниц организаций этой рубрики, то нужно будет с правилами парсинга поколдовать, чтобы сканировало только то, что нужно (только по урлам фильтрануть не получится в случае с 2гисом).

Всем привет! Нужен совет!
Можно ли CDN реально улучшить ситуацию с загрузкой сайта? Сам сайт вроде грузится нормально, но вот гугл объявления притормаживают. Посетителей 30к-50к в день.
Клудфлейр не рассматриваю (возможно зря) поскольку у них в России вроде как нет серверов.
Есть сервис w.tools, но там что-то цены поднебесные, нужно в месяц по 10к отдавать за сайт с такой посещаемостью.

Дайте совет и рекомендации что делать и как быть?! ПОЖАЛУЙСТА!!!!!

А что за ситуация с загрузкой сайта? Просто у cdn есть свои минусы

сайт немного стал притормаживать и объявления медленно подгружаются, что негативно по моему мнению сказывается на доходе

сайт могу показать, если нужно на него взглянуть)))

да и вообще страшно))) вдруг сервер не выдержит))) а тут нагрузка с него снимается и на cdn перекладывается

Часть пула айпишников перебанено РКНом

ну это проблемка конечно

CDN для статейника не нужен, нагрузку с сервера оно не снимет

Статика практически не создает нагрузки

у меня киношный сайт

Тогда имеет смысл, там большая доля медиа контента

Осталось научиться её делать всем, а не 5% вебмастеров. 😊

Может быть имеет смысл арендовать выделенный сервер мощный и за него денежку платить, а не за CDN. Тут и ресурсы будут и ip чистый

Это имеет смысл

Если контент легален, берите сервер в той стране, откуда 2/3 аудитории

контент, конечно, не совсем легален, но с РКН дружу.. тьфу..тьфу..тьфу...
80% трафик Россия, но сервер сейчас в Нидерландах. Сервак мне нравится и по цене в 2 раза дешевле любого русского на таких же мощностях.
Поэтому не хочу переходить на российских поставщиков серверных услуг))))

[NL] Intel 2xL5630 / 48 RAM / 2x200 Gb SSD - 54$ в месяц. Дешевле нигде не видел. Но у них нет серверов в России