Ребята, вопрос по краулеру неатпик. Мне нужно им спарсить только те страницы которые находятся на подпапке /RU/, как мне это сделать? Настроить виртуальный ROBOTS.TXT. Я вроде все настроил, исключил с помощью Disallow:, но краулер все равно собирает левые страницы с других подпапок. Подскажите пожалуйста, почему так?