😏

Так он же не сеошник, чтобы роботс ковырять

Там в другом вопрос был - куча генеренных wp страниц с хвостами, вот никто не пользуется...меня техническая сторона вопроса интересует - если их ввести, будет ли расходоваться краулинговый бюджет.

У меня таких денех нет, поэтому у меня и роботс свой, и дизайны шаблонные 😒

Это другой вопрос. И тут можно спорить, но не буду. ) По крайней мере прилюдно.

У меня теперь тоже нет)

Но зачем взрослого дяденьку защищать, Толь? Когда никто не нападает? Мы с ним периодически в личке трещим и про роботс тоже)

я может что не понимаю в вопросе твоём, ну вот в хелпе что - "Робот Яндекса, используя эту директиву, не будет многократно перезагружать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер."

ну и ответ гугла - Google рассказал, что такое краулинговый бюджет. Представитель компании Гэри Илш опубликовал подробный пост, посвященный этой теме. В нем он объяснил, что понимается под этим термином, какие факторы могут влиять на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

Как рассказал Илш, большинству сайтов не стоит беспокоиться о краулинговом бюджете. Обращать внимание на бюджет сканирования стоит только крупным сайтам.

мне кажется первоисточники дают ответ на все что ты хочешь

Воооот, вот оно.

Я не защищаю😒

Поэтому и заморочилась, а почистить легко.

Ничего, очарование спадет и появится трезвая оценка всего и вся) вангую

Я вроде никогда не любил его особо

Вот как раз, может будет кому полезно. В данном случае fbclid, но там много чего можно таким же Макаром отсечь.

Значит просто настроение у тебя такое было) хорошо, а то уж было подумала перешёл на темную сторону. Кто будет новичкам помогать, если не ты)

У меня там был вопрос, чего Андрей такую фичу в стандартный роботс не поставит) ну мало ли, может я чего не знаю.

так такую фичу надо ставить индивидуально под свой сайт

Неее, там конкретно бесплатная тема марафонская генерит хвосты, fbclid - пример просто.