Python 3.x 中"HTTP Error 403: Forbidden"问题的解决方案

问题:

urllib.request.urlopen() 方法经常会被用来打开一个网页的源代码,然后会去分析这个页面源代码,但是对于有的网站使用这种方法时会抛出"HTTP Error 403: Forbidden"异常

例如 执行下面的语句时

#如果不加上下面的这行出现会出现urllib2.HTTPError: HTTP Error 403: Forbidden错误    #主要是由于该网站禁止爬虫导致的，可以在请求加上头信息，伪装成浏览器访问User-Agent,具体的信息可以通过火狐的FireBug插件查询    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'}    req = urllib.request.Request(url=chaper_url, headers=headers)    urllib.request.urlopen(req).read()

将urllib.request.urlopen.read() 替换成上面的代码后,对于出现问题的页面就可以就正常访问