V
в .htaccess вписать, должно работать
SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop
SetEnvIfNoCase User-Agent .*ahrefsbot.* botstop
+
robots.txt тоже можно
User-agent: AhrefsBot
Disallow: /
Size: a a a
2020 September 26
V
Спасибо!
В
V
то что нужно, спасибо
OL
привет, тут есть довернное лицо для Google My Business?
2020 September 27
N
Всем привет. Сегодня попробовал бесплатно зарегистрироваться на https://ahrefs.com/. Не получилось. Дескать, бот не может попасть на сайт.
Я проверяю здесь: https://ahrefs.com/robot/site-audit
Да, выдается, что бот не попадает.
Я написал в техподдержку. Они ответили:
t can be some kind of security plugin/webserver settings enabled on your end or your hosting blocking our user agent.
Please, make sure, that our IPs are whitelisted and AhrefsBot & AhrefsSiteAudit user agents are allowed for crawling
Ну, я вообще не знаю. Роботс у меня вот такой:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: /tag/
Disallow: /ad/*
Disallow: /polzovatelskoe-soglashenie/
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: */uploads
Allow: /index.php?yandex_feed=news
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Disallow: /
А Хостер - бегет. Может, хостеру позвоню сейчас. Ну, кто может резать этого бота?
Я проверяю здесь: https://ahrefs.com/robot/site-audit
Да, выдается, что бот не попадает.
Я написал в техподдержку. Они ответили:
t can be some kind of security plugin/webserver settings enabled on your end or your hosting blocking our user agent.
Please, make sure, that our IPs are whitelisted and AhrefsBot & AhrefsSiteAudit user agents are allowed for crawling
Ну, я вообще не знаю. Роботс у меня вот такой:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: /tag/
Disallow: /ad/*
Disallow: /polzovatelskoe-soglashenie/
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: */uploads
Allow: /index.php?yandex_feed=news
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Disallow: /
А Хостер - бегет. Может, хостеру позвоню сейчас. Ну, кто может резать этого бота?
N
Спасибо. Сейчас пишу в техподдержку бегета.
YP
Всем привет. Сегодня попробовал бесплатно зарегистрироваться на https://ahrefs.com/. Не получилось. Дескать, бот не может попасть на сайт.
Я проверяю здесь: https://ahrefs.com/robot/site-audit
Да, выдается, что бот не попадает.
Я написал в техподдержку. Они ответили:
t can be some kind of security plugin/webserver settings enabled on your end or your hosting blocking our user agent.
Please, make sure, that our IPs are whitelisted and AhrefsBot & AhrefsSiteAudit user agents are allowed for crawling
Ну, я вообще не знаю. Роботс у меня вот такой:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: /tag/
Disallow: /ad/*
Disallow: /polzovatelskoe-soglashenie/
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: */uploads
Allow: /index.php?yandex_feed=news
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Disallow: /
А Хостер - бегет. Может, хостеру позвоню сейчас. Ну, кто может резать этого бота?
Я проверяю здесь: https://ahrefs.com/robot/site-audit
Да, выдается, что бот не попадает.
Я написал в техподдержку. Они ответили:
t can be some kind of security plugin/webserver settings enabled on your end or your hosting blocking our user agent.
Please, make sure, that our IPs are whitelisted and AhrefsBot & AhrefsSiteAudit user agents are allowed for crawling
Ну, я вообще не знаю. Роботс у меня вот такой:
User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: /tag/
Disallow: /ad/*
Disallow: /polzovatelskoe-soglashenie/
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm*=
Disallow: *openstat=
Disallow: */uploads
Allow: /index.php?yandex_feed=news
User-agent: AhrefsSiteAudit
Allow: /
User-agent: AhrefsBot
Disallow: /
А Хостер - бегет. Может, хостеру позвоню сейчас. Ну, кто может резать этого бота?
Так у тебя же бот Ahrefs закрыт в robots (последние 2 строки удали и попробуй)
N
Так у тебя же бот Ahrefs закрыт в robots (последние 2 строки удали и попробуй)
Хм. Правда. Копирнул отсюда не глядя: https://ahrefs.com/robot
Но все же блокировал его бегет. Уже через ТП разблокировал.
Но все же блокировал его бегет. Уже через ТП разблокировал.
AM
Привет. Такой вопрос. Блог под бурж. Блогу 2-3 месяца. 20 статей. 1000-2000 слов в статье. Рефер доменов 5. Беклинков 13. Это все судя по ахрефсу. Органик кейвордс - 3, то есть почти ничего. В чем может быть проблема? Песочница или что-то другое?
2-3 месяца. В бурже ? Если тебе мен де года и нету млн бренда. То просто *развивайте свой сайт 😄
FM
2-3 месяца. В бурже ? Если тебе мен де года и нету млн бренда. То просто *развивайте свой сайт 😄
год? Что-то долго) Думал до полугода
FM
альтернативная медицина попадает под EAT?
OL
альтернативная медицина попадает под EAT?
тема здоровья, конечно
VN
альтернативная медицина попадает под EAT?
в первую очередь
Q
Oleg Lanchak
тема здоровья, конечно
А фитнес блог? Упражнения, питание?
Q
Или в целом, будет внимание как к мед. сайтам, если cайт по фитнесу?
N
А фитнес блог? Упражнения, питание?
Если поставить фотку сундара пичаи то все ок будет
VN
ну конечно. медицина в широком понимании (с финансами так же). те вещи которые могут повлиять на здоровье пользователя.