我们都知道，网络爬虫能够有自己的发展空间就是因为用爬虫程序抓取网页信息便捷、高效、迅速，但是同时也要小心IP地址受限制。很简单的一个道理，比如说我们自己现在有一个网站，网站内容都是我们自己辛辛苦苦写出来的，但是就是会有很多恶意竞争的对象，专门用恶意程序爬虫抓取我们自己的数据，所以为了能够保护自己的网站，宁可错杀一千也不放过一个，服务器的承载力总归是有限的，如果有程序一直超负荷抓取服务器信息，服务器很容易就崩溃了。因此现在很多互联网网站，为了保护自己网站的安全，都会设置防爬机制，拒绝网络爬虫。
这个时候如果还想继续访问这个网站，HTTP代理ip就很重要，如果当前的ip地址受限制，可以换一个新的ip地址，保证爬虫的顺利进行。亿牛云就你们的数据采集提供了大量的http代理ip，他可不是网上那种随便使用的共享代理，亿牛云为客户提供的是自营线路的ip，ip都是高匿的，使用速度快，延迟低，ip量大，不管那种反扒严重的网站使用的效果都很好。
https://www.16yun.cn官网介绍
http://ip.16yun.cn:817/reg_accounts/register/?sale_user=ZM_seven7后台登陆网站 ??
注册了解产品具体介绍，联系客服提供免费测试
网络爬虫中HTTP代理的重要性
原文地址：http://blog.51cto.com/14037965/2308028