Python网络爬虫不进行伪装去爬取数据根本就是行不通的，这又不是搜索引擎，所以我们的爬虫去爬取信息是不受网站喜欢的。你正大光明的去，不封你ip封谁呢？
因此网页爬虫如果想要爬取信息，必须先做好一系列的伪装，下面小编就和大家简单说下怎么写网络爬虫伪装请求的代码。
一定有部分人碰到过这类问题：
原本我们写得好好的爬虫代码，一直正常运行的，忽然就提示报错了。
报错信息如下：
Http 800 Internal internet error
这意味着你的目标网站设置了反爬虫程序，要是用当前的爬虫代码，会被拒绝。
之前正常的爬虫代码如下：
这个时候，需要我们给我们的爬虫代码做下伪装，给它添加表头伪装成是来自浏览器的请求，修改后的代码如下：
要是爬虫在爬取的过程中遇到IP限制问题，就找极光ip代理吧，ip质量数量都不错的。
