На ночь глядя статья от Сергея Кокшарова про технические особенности обработки 503 ошибки. Читайте и мотайте на ус!
А пока несколько выводов интересных из статьи:
🔸Поисковики обрабатывают 503 ошибку для существующих и несуществующих в своей базе страниц по-разному
🔸Google учитывает время в Retry-After для новых страниц, но не учитывает для старых
🔸Яндекс оперирует очередью на краулинг, где каждому URL в ней соответствует точное время, когда страница должна быть запрошена.
🔸Для проведения тех. работ в Яндексе нет смысла Retry-After ставить менее 4-5 часов.
Подробности ищите в статье
https://tpv.sr/1QoBIZd/