Яндекс пишет: Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.
Google пишет: Убедитесь, что ваш веб-сервер поддерживает HTTP-заголовок If-Modified-Since. С его помощью Google может узнать, изменился ли контент сайта с момента последнего сканирования. Эта функция помогает сократить лишнюю нагрузку на сервер.
Логика: Чтобы ускорить индексацию новых товаров поисковиками и новых страниц, а так же переиндексацию изменений на странице, снизить нагрузку на хостинг, нужно корректно отдавать серверные заголовок MODIFIED_SINCE. Скорость навигации по сайту тоже вырастет потому что при частом открытии страниц сайта браузер уже не запрашивает с сервера страницу.
Ошибка: много встречал примеров когда датой обновления документа бало текущее время на момент запроса к странице. В корне не правильно, потому что в итоге вы не получаете правильной работы этих заголовков, в итоге роботы грузят каждую страницу даже не меняющуюся. В этом случае выделенные лимиты на обход будут быстро исчерпываться и индексация будет медленной.