现在的网络爬虫经常与代理ip有关联，那么是不是一定爬虫就必须要有代理ip呢？其实这也并不是一定的。网络爬虫可以不用
代理IP，毕竟使用相同的IP不断爬取数据也是有可能的，但是这会大大限制效率。
但是随着网络爬虫的规模变大，现在网络爬虫基本都会用到ip代理池。
网络爬虫和国内代理IP在互联网的关系堪比一对好基友，当网络爬虫遇到反爬虫障碍时，使用代理IP可以帮助网络爬虫突破IP地址限制。
我们都知道每个网站都有反爬机制的，如果你使用同一个IP去不断的访问一个页面，及其容易导致反爬机制的触发，从而出现IP限制访问，这时就需要更换IP。其次，若是使用一个IP不断访问页面爬取信息，就好比一个陌生人不断到你家做客，一天上百次的那种，这就及其容易被拉黑，而这时如果每次去戴着不同的“面具”，则会被认为每次都是不同的人，自然就不会发生拉黑的情况。
除了爬虫规模之外，网站对服务器自身所作出的保护，也是我们需要频繁换ip的重要理由。
