搜索引擎限制
user_agent收入的搜索引擎，在搜索引擎中，我们通过百度，谷歌很容易就可以查到相关的一些资料，方便了我们对知识的查找，但在某些特定情况下，我们并不希望有人可以通过某写搜索引擎直接访问到我们的网页。举例如果我开放了一个公网的服务，这个网页带宽很小，只能容纳几个人访问，所有在这种条件下我们并不希望更多的人通过百度，或者谷歌访问这个页面，来消耗我们的带宽，在这里我们就可以通过rewirete功能针对%
- {HTTP_USER_AGENT}搜索引擎进行限制。
- %{REQUEST_URI}：网页锁定URI文件
限制配置
方式一
vim httpd-vhosts.conf<ifModule mod_rewrite.c> ???# 开启功能模块 ???RewriteEngine on ???# 指定引擎*Firefox/4.0 ???RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0* [NC,OR] ???# 指定引擎Tomato Bot/1.0 ???RewriteCond %{HTTP_USER_AGENT} ^.*Tomato Bot/1.0* [NC] ???# 防止死循环、不匹配404跳转到这里 ???RewriteCond %{REQUEST_URI} !^/404* ???# 如果指定到搜索引擎就报404错误 ???RewriteRule .* /404.html</ifModule>注：请注意，你的404.html千万别在天传到其他页面了，否则很可能就会死循环。
注：其实rewrite到404.html并不是很好的办法，而apache的rewrite功能有意向就是forbidden，那就是F。
方式二
vim httpd-vhosts.conf<ifModule mod_rewrite.c> ???# 开启功能模块 ???RewriteEngine on ???# 指定引擎*Firefox/4.0 ???RewriteCond %{HTTP_USER_AGENT} ^.*Firefox/4.0* [NC,OR] ???# 指定引擎Tomato Bot/1.0 ???????RewriteCond %{HTTP_USER_AGENT} ^.*Tomato Bot/1.0* [NC] ????????????# 如果指定到搜索引擎就显示forbidden ???RewriteRule .* - [F]</ifModule>Apache 搜索引擎限制配置
原文地址：https://www.cnblogs.com/xiangsikai/p/8372086.html