коллеги, есть ситуация, когда главная отдает то 301 то 200 ответ гугл боту, судя по логам. При том один и тот же ИП , в один и тот же момент времени, в логах светится как 200 и 301. ЦМСка редкая, разработчики говорят, что ничего не знаем, воспроизвести не можем. Хостер - аналогично, говорит что нет никаких блокировок. Но факт остается фактом. Воспроизвести проблему через обычную тулзку проверки ответа не помогает. Какие варианты? Пакеты формировать с ИПшником гугл  бота?))

значала бот зашел на хттп версию, а та его кинула на хттпс
или же с www аналогично
почему бот туда решил зайти? мб нашел какие-то древние ссылки еще до переезда на форумах (условно)

в жабе то мы указываем домен уже с протоколом
а изначально там относительные ссылки в логах

возможно я туплю, но я кликаю на конкретный ивент с полным урлом. В логах вижу полны урл. сейчас специально в исходнике проверю

могу ошибаться офк, но разве логи собираются с протоколом с www ?
сколько видел примеров и в инете, и вообще по разным сайтам - девственный файл логов не содержит инфы про протокол и домен, его потом в жабу ( как я вижу по скрину ) мы руками добавлем
ну или же при выгрузке логов, какой-то механизм автоматически приписывает к адресу тот протокол и домен как мы ему укажем по дефолту

вроде разобрался. спс

проверь в сыром файле логов есть ли запись полного пути или все таки относительный
лог-аналайзер сам дописывает путь
я так, когда то завис, когда в клиента было 10 поддоменов со схожей структурой, а я  не мог понять, почему одни и те же страницы отдают разные ответы)

вот такой формат. думаю нашел проблему. сейчас копну

один и тот же формат урла с разным статусом http://dl4.joxi.net/drive/2020/05/21/0002/3567/138735/35/a62c6b4441.jpg

это может быть обращение к
http://example.com/sitemap.xml
https://example.com/sitemap.xml
http://m.example.com/sitemap.xml
https://www.example.com/sitemap.xml

может. но вижу такую ерунду по многим урлам, от куда сие берется пока не локализировал т.к. все чисто, а долбится бот не первый месяц. Копаюсь дальше

можно сделать лайв анализ посмотреть как сервер отвечает на прямой запрос лайв теста с консоли, и сразу посмотреть, как это же обращение записалось в логах

Колеги
Есть ли такая вероятность что поисковик не найдет исходящие ссылки на странице, если у нее каноникал сам на себя ?

спасибо. Пришел к тому же варианту. Буду делать. Спасибо за мнения

каноникал сам на себя это классика жанра. К исходящим ссылкам не имеет никакого отношения, если ссылка через тег <a>

вот и мне интресно стало.
Поддержка так ответила просто

поддержка чего?

😂 сама формулировка может вогнать в ступор)

Спайдер нетпик определил страницу как висячий узел
То есть у неё нет исходящих внутренних
Сказали что из за каноникала