ребят, подскажите, в сайтмере более 600к страниц. гугл исключил порядка 490к
хочу их удалить, чтобы не тратить краулинговый бюджет. прошло более полутора лет. улучшение страниц ничего не дало - видимо помечены уже гуглом.
встал вопрос - как их вычислить.
серч консоль дает не олее 1к страниц. испольовать инструменты типа "нетпик чекер" дорого, долго и он вылетает постоянно.
Есть мысли? посоветуйте
либо писать свой тул с эмуляцией добавления урл в консоль, пробивки на индекс, что будет более 19уе, либо парсить в нет чеке (19уе) кусками по 30-50к строк, за неделю можно обрабоать, и получить мощные данные