Правильная настройка файла robots для uCoz - отдельный разговор, требующий особой трепетности и внимания. Файл отвечает в первую очередь за направление поисковых ботов, от того, как вы их направите, будет зависеть и то, будет ли страница отображаться на страницах поисковых систем или нет.
Вот так выглядит стандартный robots.txt взят с сайта uCoz:
Код
User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Sitemap: http://сайт/sitemap.xml
Sitemap: http://сайт/sitemap-forum.xml
Sitemap: http://сайт/sitemap-shop.xml
Но, если вы купили домен, то пропишите в файл это:
Таким образом можно закрыть отдельные разделы и каталоги:
Код
User-agent: *
Disallow: /sekretiki/
Для того, чтобы запретить только сам каталог, но без его содержимого, на конце ставится знак $:
Код
User-agent: *
Disallow: /sekretiki$
Таким образом, дирректория «/sekretiki» запрещены к индексации, но «/sekretiki.html» допустимы.
Для того, чтобы использовать в адресе переменные, используйте звездочки:
Код
User-agent: *
Disallow: /sekretiki/*-0-0
Disallow: /news/17-*-0-*
С помощью этих символов, можно сделать правильно запрет индексирования страниц-дублей:
Код можно комментировать. Все что находится после # в строке не читается:
Код
User-agent: * # Приветствую всех роботов
Allow: /sekretiki/ # Разрешаю секреты
Disallow: / # Запрещаю индексировать все остальные страницы
User-agent: GoogleBot # Приветствую только робота Google
Disallow: /sekretiki/ # А вот ему я запрещаю именно секреты
Указываем карту сайта Sitemap:
Код
Sitemap: http://forum.ucoz.ru/sitemap.xml
Sitemap: http://forum.ucoz.ru/sitemap-forum.xml
Теперь, когда вы знаете, из чего состоит файл robots.txt, перейдем к расшифровке стандартного:
Код
User-agent: * — правила касаются всех ботов;
Allow: /*?page — разрешить индексировать страницы пагинации;
Allow: /*?ref= — разрешить доступ к страницам соц. авторизации;
Allow: /stat/dspixel — разрешить доступ к системному скрипту статистики;
Disallow: /*? — запретить индексировать URL с параметрами;
Disallow: /stat/ — запретить индексацию URL статистики;
Disallow: /index/1 — запретить индексацию Страницы входа;
Disallow: /index/3 — запретить индексацию страницы регистрации;
Disallow: /register — запретить индексацию страницы регистрации;
Disallow: /index/5 — запретить индексацию системного URL восстановления пароля;
Disallow: /index/7 — запретить индексацию системного Меню аватарок;
Disallow: /index/8 — запретить индексацию пользовательских профилей;
Disallow: /index/9 — запретить индексацию системного URL Истории репутации;
Disallow: /index/sub/ — запретить индексацию системного URL;
Disallow: /panel/ — запретить индексацию ПУ;
Disallow: /admin/ — запретить индексацию ПУ;
Disallow: /informer/ — запретить индексацию системных информеров;
Disallow: /secure/ — запретить индексацию системной капчи;
Disallow: /poll/ — запретить индексацию опросов;
Disallow: /search/ — запретить индексацию страниц поиска;
Disallow: /abnl/ — запретить индексацию системных URL;
Disallow: /*_escaped_fragment_= — дополнительный запрет на индексацию системных URL;
Disallow: /*-*-*-*-987$ — запрет дублей страниц в модулях Новости
и Блог, связанных с кодом комментариев на странице;
Disallow: /shop/checkout/ — запрет на индексацию Корзины для модуля uShop;
Disallow: /shop/user/ — запрет на индексацию пользовательских профилей для модуля uShop;
Disallow: /*0-*-0-17$ — дополнительный запрет на индексацию системных URL;
Disallow: /*-0-0- — запрет к индексации страниц добавления материалов,
списков материалов пользователей, ленточного варианта форума (некоторые дублирующие URL),
страниц со списком пользователей (некоторые дублирующие URL), поиска по форуму, правил форума,
добавления тем на форуме, различные фильтры (с дублями), страницы с редиректами на залитые на сервер файлы;
Sitemap: http://вашсайт.ru/sitemap.xml — ссылка на общую карту сайта;
Sitemap: http://вашсайт.ru/sitemap-forum.xml — ссылка на карту форума;
Sitemap: http://вашсайт.ru/sitemap-shop.xml — ссылка на карту магазина.
