меня интерисуют именно неявные - с явными мозгов бы хватило справится лягухой))
Что такое нервные дубли?
Есть дубли:
А. Через параметр URL1 URL1? не смотря на, то, что мы их можем запретить в директивах, бот всеравно может ходить, качаем логи, берём инструмент (я беру ехель) формулу пишем и ещем это
Б. Тоже самое ищем / и без в конце
В. Есть дубли по одинаковым тайтл, тут помогает обычный краулер
Г. Если вы ведёте речь о тех дублях, которые вызывают канибализацию, то тут видимо надо смотреть СЕРП и мигание страниц, т.е постоянно снимаем СЕРП, там где мигает начинаем думать
Д. Как вариант можно подумать, о решение через оператор site, перебираем ключи с ядра, снимаем топ 5 по каждому ключу, и руками перебираем на наличие дублей...