Если именно "просканировано несмотря", то может быть код, может быть кеш. (не особо большая проблема) Если "отправленный урл закрыт для индексирования", значит, пора обновлять сайтмеп.
Мне кажется, причина просадки, тем более существенной, не может быть в этом. Если ловит страницу, которая была открыта и стала закрыта, просто выкидывает из выдачи.
То есть, даже если ситуация именно такая, как описывает SC — может пропадать и появляться с каким-то интервалом. А вот если страница физически пропадала или отдавала 404...