robots.txt
User-Agent: *
все нужные директивы прописаны, все как надо
User-Agent: Googlebot
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Crawl-Delay: 10