通过web.config或.htaccess规则文件屏蔽User_Agent(UA)访问

查找网站访问较多的 User_Agent可通过“访问统计”功能进行查看，登录进入到虚拟主机管理面板点击“访问统计”。

进入访问统计详细页面--找到“浏览器 (前 10) 点击：全部列出/版本 ”查看访问占比较大的客户端（User_Agent）浏览器版本。

如果某个特定的特征占的比例特别高，比如User_Agent为Amazonbot的占了90%，而Amazonbot对我们网站不是太重要的话，可按以下方式设置拦截。

 屏蔽多个以"|"分隔，且同样适用屏蔽蜘蛛的访问爬行，规则如下：

Linux主机下规则文件.htaccess(可手工创建.htaccess文件到站点根目录)添加以下规则：

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Bytespider|Amazonbot|YisouSpider|^$" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>

Windows主机下规则文件web.config (可手工创建web.config文件到站点根目录)添加以下规则：

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
  <system.webServer>
   <rewrite>
    <rules>
     <rule name="Block spider">
      <match url="(^robots.txt$)" ignoreCase="false" negate="true" />
      <conditions>
      <add input="{HTTP_USER_AGENT}" pattern="Bytespider|Amazonbot|YisouSpider|^$" ignoreCase="true" /> 
      </conditions>
       <action type="AbortRequest"/>
     </rule>
    </rules>
   </rewrite>
  </system.webServer>
</configuration>

网站流量超标排查
apache、iis规则屏蔽拦截蜘蛛抓取
apache、iis屏蔽限制ip访问(适用虚拟主机)
apache、iis规则设置防盗链