Robots.txt для IntB
Некоторые рекомендации по составлению файла robots.txt
Одна страница
4X_Pro
Всего сообщений: 419
Зарегистрирован: 22 сент. 2014 г., 18:56
Откуда: Москва, Перово
Рейтинг пользователя: 15
Основатель проекта
Всего сообщений: 419Зарегистрирован: 22 сент. 2014 г., 18:56
Откуда: Москва, Перово
Рейтинг пользователя: 15
. Редактировалось 1 раз, последний — #1
Чтобы избежать индексации служебных разделов, рекомендую использовать такой файл robots.txt:
User-Agent: *
Disallow: /category
Disallow: /bookmark
Disallow: /help
Disallow: /search
Disallow: /users/search
Disallow: /user
Disallow: /online
Disallow: */post-*
Disallow: /s/
Disallow: */reply.htm
Disallow: */last.htm
Disallow: *rules.htm
Disallow: /newtopics
Disallow: /moderate
Disallow: /privmsg
Disallow: /admin
А также добавить в него URL всех всопомгательных или флудовых разделов форума (например, для данного сайта такими могут быть тестовый и административный).
Критикуя — предлагай, предлагая — обосновывай!
4xpro.ru — мой личный сайт-мультиблог на Intellect Board.
Одна страница
У вас нет прав для отправки сообщений в эту тему.