分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置：首页 > 网页技术

HttpClient使用总结

发布时间：2023-09-06 02:03责任编辑：彭小芳关键词：暂无标签
???????????????

一、使用方法

使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。
1. 创建HttpClient对象。
2. 创建请求方法的实例，并指定请求URL。如果需要发送GET请求，创建HttpGet对象；如果需要发送POST请求，创建HttpPost对象。
3. 如果需要发送请求参数，可调用HttpGet、HttpPost共同的setParams(HetpParams params)方法来添加请求参数；对于HttpPost对象而言，也可调用setEntity(HttpEntity entity)方法来设置请求参数。
4. 调用HttpClient对象的execute(HttpUriRequest request)发送请求，该方法返回一个HttpResponse。
5. 调用HttpResponse的getAllHeaders()、getHeaders(String name)等方法可获取服务器的响应头；调用HttpResponse的getEntity()方法可获取HttpEntity对象，该对象包装了服务器的响应内容。程序可通过该对象获取服务器的响应内容。
6. 释放连接。无论执行方法是否成功，都必须释放连接


  1. try {
  2.  ???????// 创建一个默认的HttpClient
  3.  ???????HttpClient httpclient =new DefaultHttpClient();
  4.  ???????// 创建一个GET请求
  5.  ???????HttpGet request =new HttpGet("www.google.com");
  6.  ???????// 发送GET请求，并将响应内容转换成字符串
  7.  ???????String response = httpclient.execute(request, new BasicResponseHandler());
  8.  ???????Log.v("response text", response);
  9.  ???} catch (ClientProtocolException e) {
  10.  ???????e.printStackTrace();
  11.  ???} catch (IOException e) {
  12.  ???????e.printStackTrace();
  13.  ???}

二、多线程的HttpClient

在实际项目中，我们很可能在多处需要进行HTTP通信，这时候我们不需要为每个请求都创建一个新的HttpClient。现在我们的应用程序使用同一个HttpClient来管理所有的Http请求，一旦出现并发请求，那么一定会出现多线程的问题。这就好像我们的浏览器只有一个标签页却有多个用户，A要上google，B要上baidu，这时浏览器就会忙不过来了。幸运的是，HttpClient提供了创建线程安全对象的API

  1. public class CustomerHttpClient {
  2.  ???private static final String CHARSET = HTTP.UTF_8;
  3.  ???/**
  4.  ????* 最大连接数
  5.  ????*/
  6.  ???public final static int MAX_TOTAL_CONNECTIONS = 800;
  7.  ???/**
  8.  ????* 获取连接的最大等待时间
  9.  ????*/
  10.  ???public final static int WAIT_TIMEOUT = 60000;
  11.  ???/**
  12.  ????* 每个路由最大连接数
  13.  ????*/
  14.  ???public final static int MAX_ROUTE_CONNECTIONS = 400;
  15.  ???/**
  16.  ????* 连接超时时间
  17.  ????*/
  18.  ???public final static int CONNECT_TIMEOUT = 10000;
  19.  ???/**
  20.  ????* 读取超时时间
  21.  ????*/
  22.  ???public final static int READ_TIMEOUT = 10000;
  23.  
  24.  
  25.  ???private static HttpClient customerHttpClient;
  26.  
  27.  ???private CustomerHttpClient() {
  28.  ???}
  29.  
  30.  ???public static synchronized HttpClient getHttpClient() {
  31.  ???????if (null == customerHttpClient) {
  32.  ???????????HttpParams params = new BasicHttpParams();
  33.  ???????????// 设置一些基本参数
  34.  ???????????HttpProtocolParams.setVersion(params, HttpVersion.HTTP_1_1);
  35.  ???????????HttpProtocolParams.setContentCharset(params,
  36.  ???????????????????CHARSET);
  37.  ???????????HttpProtocolParams.setUseExpectContinue(params, true);
  38.  ???????????HttpProtocolParams
  39.  ???????????????????.setUserAgent(
  40.  ???????????????????????????params,
  41.  ???????????????????????????"Mozilla/5.0(Linux;U;Android 2.2.1;en-us;Nexus One Build.FRG83) "
  42.  ???????????????????????????????????+ "AppleWebKit/553.1(KHTML,like Gecko) Version/4.0 Mobile Safari/533.1");
  43.  ???????????// 超时设置
  44.  ???????????/* 从连接池中取连接的超时时间 */
  45.  ???????????ConnManagerParams.setTimeout(params, WAIT_TIMEOUT);
  46.  ???????????/* 连接超时 */
  47.  ???????????HttpConnectionParams.setConnectionTimeout(params, CONNECT_TIMEOUT);
  48.  ???????????/* 请求超时 */
  49.  ???????????HttpConnectionParams.setSoTimeout(params, READ_TIMEOUT);
  50.  
  51.  
  52.  ???????????// 设置最大连接数 ?
  53.  ???????????ConnManagerParams.setMaxTotalConnections(params, MAX_TOTAL_CONNECTIONS);
  54.  ???????????// 设置每个路由最大连接数 ?
  55.  ???????????ConnPerRouteBean connPerRoute = new ConnPerRouteBean(MAX_ROUTE_CONNECTIONS);
  56.  ???????????ConnManagerParams.setMaxConnectionsPerRoute(params, connPerRoute);
  57.  
  58.  ???????????// 设置我们的HttpClient支持HTTP和HTTPS两种模式
  59.  ???????????SchemeRegistry schReg = new SchemeRegistry();
  60.  ???????????schReg.register(new Scheme("http", PlainSocketFactory
  61.  ???????????????????.getSocketFactory(), 80));
  62.  ???????????schReg.register(new Scheme("https", SSLSocketFactory
  63.  ???????????????????.getSocketFactory(), 443));
  64.  
  65.  ???????????// 使用线程安全的连接管理来创建HttpClient
  66.  ???????????ClientConnectionManager conMgr = new ThreadSafeClientConnManager(
  67.  ???????????????????params, schReg);
  68.  ???????????customerHttpClient = new DefaultHttpClient(conMgr, params);
  69.  ???????}
  70.  ???????return customerHttpClient;
  71.  ???}
  72. }

1、超时配置

上面的代码提到了3种超时设置，比较容易搞混，HttpClient的3种超时说明

  1. /* 从连接池中取连接的超时时间 */
  2. ConnManagerParams.setTimeout(params, 1000);
  3. /* 连接超时 */
  4. HttpConnectionParams.setConnectionTimeout(params, 2000);
  5. /* 请求超时 */
  6. HttpConnectionParams.setSoTimeout(params, 4000);

第一行设置ConnectionPoolTimeout：这定义了从ConnectionManager管理的连接池中取出连接的超时时间，此处设置为1秒。
第二行设置ConnectionTimeout：　　这定义了通过网络与服务器建立连接的超时时间。Httpclient包中通过一个异步线程去创建与服务器的socket连接，这就是该socket连接的超时时间，此处设置为2秒。
第三行设置SocketTimeout：　　　　这定义了Socket读数据的超时时间，即从服务器获取响应数据需要等待的时间，此处设置为4秒。

以上3种超时分别会抛出ConnectionPoolTimeoutException,ConnectionTimeoutException与SocketTimeoutException。　

2、线程池配置

ThreadSafeClientConnManager默认使用了连接池

  1. //设置最大连接数
  2.  ???ConnManagerParams.setMaxTotalConnections(httpParams, 10);
  3.  ???//设置最大路由连接数
  4.  ???ConnPerRouteBean connPerRoute = new ConnPerRouteBean(10);
  5.  ???ConnManagerParams.setMaxConnectionsPerRoute(httpParams, connPerRoute);

比较特别的是 每个路由(route)最大连接数。什么是一个route？这里route的概念可以理解为运行环境机器到目标机器的一条线路。举例来说，我们使用HttpClient的实现来分别请求 www.baidu.com 的资源和 www.bing.com 的资源那么他就会产生两个route。这里为什么要特别提到route最大连接数这个参数呢，因为这个参数的默认值为2，如果不设置这个参数值默认情况下对于同一个目标机器的最大并发连接只有2个！这意味着如果你正在执行一个针对某一台目标机器的抓取任务的时候，哪怕你设置连接池的最大连接数为200，但是实际上还是只有2个连接在工作，其他剩余的198个连接都在等待，都是为别的目标机器服务的。



3、工具类

有了单例的HttpClient对象，我们就可以把一些常用的发出GET和POST请求的代码也封装起来，写进我们的工具类中了。POST请求示例：


  1. private static final String TAG ="CustomerHttpClient";
  2.  
  3. public static String post(String url, NameValuePair... params) {
  4.  ???????try {
  5.  ???????????// 编码参数
  6.  ???????????List<NameValuePair> formparams = new ArrayList<NameValuePair>(); // 请求参数
  7.  ???????????for (NameValuePair p : params) {
  8.  ???????????????formparams.add(p);
  9.  ???????????}
  10.  ???????????UrlEncodedFormEntity entity = new UrlEncodedFormEntity(formparams,
  11.  ???????????????????HTTP.UTF_8);
  12.  ???????????// 创建POST请求
  13.  ???????????HttpPost request =new HttpPost(url);
  14.  ???????????request.setEntity(entity);
  15.  ???????????// 发送请求
  16.  ???????????HttpClient client = getHttpClient();
  17.  ???????????HttpResponse response = client.execute(request);
  18.  ???????????if(response.getStatusLine().getStatusCode() != HttpStatus.SC_OK) {
  19.  ???????????????throw new RuntimeException("请求失败");
  20.  ???????????}
  21.  ???????????HttpEntity resEntity = ?response.getEntity();
  22.  ???????????return (resEntity ==null) ?null : EntityUtils.toString(resEntity, CHARSET);
  23.  ???????} catch (UnsupportedEncodingException e) {
  24.  ???????????Log.w(TAG, e.getMessage());
  25.  ???????????return null;
  26.  ???????} catch (ClientProtocolException e) {
  27.  ???????????Log.w(TAG, e.getMessage());
  28.  ???????????return null;
  29.  ???????} catch (IOException e) {
  30.  ???????????throw new RuntimeException("连接失败", e);
  31.  ???????}
  32.  
  33.  ???}　


4、线程池技术

4.1 长连接和短连接

所谓长连接是指客户端与服务器端一旦建立连接以后，可以进行多次数据传输而不需重新建立连接，而短连接则每次数据传输都需要客户端和服务器端建立一次连接。

长连接的优势在于省去了每次数据传输连接建立的时间开销，能够大幅度提高数据传输的速度，对于P2P应用十分适合。
短连接每次数据传输都需要建立连接，我们知道HTTP协议的传输层协议是TCP协议，TCP连接的建立和释放分别需要进行3次握手和4次握手，频繁的建立连接即增加了时间开销，同时频繁的创建和销毁Socket同样是对服务器端资源的浪费。

对于诸如Web网站之类的B2C应用，并发请求量大，每一个用户又不需频繁的操作的场景下，维护大量的长连接对服务器无疑是一个巨大的考验。而此时，短连接可能更加适用。
而对于需要频繁发送HTTP请求的应用，需要在客户端使用HTTP长连接。

4.2、连接池

连接池管理的对象是长连接。连接池技术作为创建和管理连接的缓冲池技术，目前已广泛用于诸如数据库连接等长连接的维护和管理中，能够有效减少系统的响应时间，节省服务器资源开销。其优势主要有两个：其一是减少创建连接的资源开销，其二是资源的访问控制。


HTTP连接是无状态的，这样很容易给我们造成HTTP连接是短连接的错觉，实际上HTTP1.1默认即是持久连接，HTTP1.0也可以通过在请求头中设置Connection:keep-alive使得连接为长连接。

4.3、HttpConnection

没有连接池的概念，多少次请求就会建立多少个IO，在访问量巨大的情况下服务器的IO可能会耗尽。

4.4、HttpClient3

也有连接池的东西在里头，使用MultiThreadedHttpConnectionManager，大致过程如下：

  1. MultiThreadedHttpConnectionManager connectionManager = new MultiThreadedHttpConnectionManager(); ?
  2. HttpClient client = new HttpClient(connectionManager);...// 在某个线程中。 ?
  3. GetMethod get = new GetMethod("http://jakarta.apache.org/"); ?
  4. try { ?
  5. client.executeMethod(get);// print response to stdout ?
  6. System.out.println(get.getResponseBodyAsStream()); ?
  7. } finally { ?
  8. // be sure the connection is released back to the connection ??
  9. managerget.releaseConnection(); ?
  10. } ?



可以看出来，它的方式与jdbc连接池的使用方式相近，比较不爽的就是需要手动调用releaseConnection去释放连接。对每一个HttpClient.executeMethod须有一个method.releaseConnection()与之匹配。

4.5、HttpClient4

HTTP Client4.0的ThreadSafeClientConnManager实现了HTTP连接的池化管理，其管理连接的基本单位是Route（路由），每个路由上都会维护一定数量的HTTP连接。这里的Route的概念可以理解为客户端机器到目标机器的一条线路，例如使

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved