Evgeniy Marchenko
а как по итогу лучше прописать параметры роботс, чтобы яндекс не парсил все подряд?
Лучше использовать несколько способов, мета тег и закрывать в robots, + настраивать канонические страницы, тогда в индекс ненужное будет в минимальном количестве попадать