python3 创建Opener对象以实现Cookie与其它HTTP功能

基本的urlopen()函数不支持验证、cookie或其他HTTP高级功能。

要支持这些功能，必须使用build_opener()函数来创建自己的自定义Opener对象。

install_opener(opener) 安装opener作为urlopen()使用的全局URL opener，即意味着以后调用urlopen()时都会使用安装的opener对象。opener通常是build_opener()创建的opener对象。

一些复杂情况详细解决办法：

1. cookie处理

如果要管理HTTP cookie，需要创建添加了HTTPCookieProcessor处理程序的opener对象。默认情况下。HTTPCookieProcessor使用CookieJar对象，将不同类型的CookieJar对象作为HTTPCookieProcessor的参数提供，可支持不同的cookie处理。如下面代码：

url = 'http://www.baidu.com'
postdata = ''
cookie_filename = 'cookie.txt'
cookie =http.cookiejar.MozillaCookieJar(cookie_filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
request = urllib.request.Request(url, postdata, headers)

2.proxy代理

import urllib.request  
proxy_handler = urllib.request.ProxyHandler({'http':'123.123.2123.123:8080'})  
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()  
proxy_auth_handler.add_password('realm', '123.123.2123.123', 'user', 'password')  
opener = urllib.request.build_opener(urllib.request.HTTPHandler, proxy_handler)  
f = opener.open('http://www.baidu.com')   
a = f.read()