用于 java.net.URLConnection
经常被问到这里,和 Oracle教程 是 太 简明扼要。
该教程基本上只显示了如何触发GET请求并读取响应。它没有解释如何使用它来执行POST请求,设置请求标头,读取响应标头,处理cookie,提交HTML表单,上传文件等。
那么,我该如何使用呢 java.net.URLConnection
解雇和处理“高级”HTTP请求?
用于 java.net.URLConnection
经常被问到这里,和 Oracle教程 是 太 简明扼要。
该教程基本上只显示了如何触发GET请求并读取响应。它没有解释如何使用它来执行POST请求,设置请求标头,读取响应标头,处理cookie,提交HTML表单,上传文件等。
那么,我该如何使用呢 java.net.URLConnection
解雇和处理“高级”HTTP请求?
首先是免责声明:发布的代码片段都是基本示例。你需要处理琐碎的事情 IOException
s和 RuntimeException
喜欢 NullPointerException
, ArrayIndexOutOfBoundsException
并自己配合。
我们首先需要至少知道URL和字符集。参数是可选的,取决于功能要求。
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));
查询参数必须在 name=value
格式和连接 &
。你通常也会 URL编码 使用指定charset的查询参数 URLEncoder#encode()
。
该 String#format()
只是为了方便。当我需要String连接运算符时,我更喜欢它 +
超过两次。
这是一项微不足道的任务。这是默认的请求方法。
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...
应使用任何查询字符串连接到URL ?
。该 Accept-Charset
header可能会提示服务器参数的编码方式。如果你没有发送任何查询字符串,那么你可以离开 Accept-Charset
标题走了。如果您不需要设置任何标题,那么您甚至可以使用 URL#openStream()
快捷方法。
InputStream response = new URL(url).openStream();
// ...
无论哪种方式,如果对方是一个 HttpServlet
那么它 doGet()
方法将被调用,参数将可用 HttpServletRequest#getParameter()
。
出于测试目的,您可以将响应主体打印到stdout,如下所示:
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}
设置 URLConnection#setDoOutput()
至 true
隐式设置请求方法为POST。 Web表单的标准HTTP POST是类型的 application/x-www-form-urlencoded
其中查询字符串被写入请求主体。
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...
注意:每当您想以编程方式提交HTML表单时,请不要忘记使用 name=value
任何一对 <input type="hidden">
元素进入查询字符串当然也是 name=value
对的 <input type="submit">
您想要以编程方式“按”的元素(因为通常在服务器端使用它来区分是否按下按钮,如果是,则按哪一个)。
你也可以施放获得的 URLConnection
至 HttpURLConnection
并使用它 HttpURLConnection#setRequestMethod()
代替。但是,如果您尝试使用连接进行输出,则仍需要设置 URLConnection#setDoOutput()
至 true
。
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...
无论哪种方式,如果对方是一个 HttpServlet
那么它 doPost()
方法将被调用,参数将可用 HttpServletRequest#getParameter()
。
您可以使用显式触发HTTP请求 URLConnection#connect()
,但是当您想要获取有关HTTP响应的任何信息(例如使用响应正文)时,将根据需要自动触发请求 URLConnection#getInputStream()
等等。上面的例子确实如此,所以 connect()
电话实际上是多余的。
你需要一个 HttpURLConnection
这里。如有必要,先把它扔掉。
int status = httpConnection.getResponseCode();
for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
System.out.println(header.getKey() + "=" + header.getValue());
}
当。。。的时候 Content-Type
包含一个 charset
参数,然后响应主体可能是基于文本的,我们希望用服务器端指定的字符编码处理响应主体。
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line) ?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}
服务器端会话通常由cookie支持。某些Web表单要求您已登录和/或由会话跟踪。你可以使用 CookieHandler
用于维护cookie的API。你需要准备一个 CookieManager
用一个 CookiePolicy
的 ACCEPT_ALL
在发送所有HTTP请求之前。
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
请注意,众所周知,这并不总是在所有情况下都能正常工作。如果它失败了,那么最好是手动收集和设置cookie头。你基本上需要抓住所有 Set-Cookie
来自登录响应或第一个的标头 GET
请求然后通过后续请求传递此信息。
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...
该 split(";", 2)[0]
是否有摆脱与服务器端无关的cookie属性 expires
, path
等等,你也可以使用 cookie.substring(0, cookie.indexOf(';'))
代替 split()
。
该 HttpURLConnection
将默认缓冲 整个 在实际发送之前请求正文,无论您是否使用自己设置了固定的内容长度 connection.setRequestProperty("Content-Length", contentLength);
。这可能会导致 OutOfMemoryException
每当您同时发送大型POST请求(例如上传文件)时。为了避免这种情况,你想设置 HttpURLConnection#setFixedLengthStreamingMode()
。
httpConnection.setFixedLengthStreamingMode(contentLength);
但是如果事先确实不知道内容长度,那么你可以通过设置来利用分块流模式 HttpURLConnection#setChunkedStreamingMode()
因此。这将设置HTTP Transfer-Encoding
标题为 chunked
这将强制请求正文以块的形式发送。以下示例将以1KB的块发送正文。
httpConnection.setChunkedStreamingMode(1024);
它可能会发生 请求返回意外的响应,而它与真正的Web浏览器一起正常工作。服务器端可能会阻止基于的请求 User-Agent
请求标头。该 URLConnection
默认情况下会将其设置为 Java/1.6.0_19
最后一部分显然是JRE版本。您可以按如下方式覆盖:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.
使用来自的用户代理字符串 最近的浏览器。
如果HTTP响应代码是 4nn
(客户端错误)或 5nn
(服务器错误),那么你可能想要阅读 HttpURLConnection#getErrorStream()
查看服务器是否发送了任何有用的错误信息。
InputStream error = ((HttpURLConnection) connection).getErrorStream();
如果HTTP响应代码为-1,则连接和响应处理出现问题。该 HttpURLConnection
实现在较旧的JRE中有点错误,保持连接活着。你可能想通过设置关闭它 http.keepAlive
系统属性 false
。您可以在应用程序的开头以编程方式执行此操作:
System.setProperty("http.keepAlive", "false");
你通常会用 multipart/form-data
编码混合POST内容(二进制和字符数据)。编码更详细地描述于 RFC2388。
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}
如果对方是 HttpServlet
那么它 doPost()
方法将被调用,部件将可用 HttpServletRequest#getPart()
(注意,因此 不 getParameter()
等等!)。该 getPart()
然而,方法相对较新,它在Servlet 3.0(Glassfish 3,Tomcat 7等)中引入。在Servlet 3.0之前,您最好的选择是使用 Apache Commons FileUpload 解析一个 multipart/form-data
请求。另见 这个答案 有关FileUpload和Servelt 3.0方法的示例。
有时您需要连接HTTPS URL,可能是因为您正在编写Web scraper。在这种情况下,你可能会遇到一个 javax.net.ssl.SSLException: Not trusted server certificate
在某些HTTPS站点上,他们没有更新SSL证书,或者 java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found
要么 javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name
在一些配置错误的HTTPS站点上。
以下一次性运行 static
你的web scraper类中的初始化器应该是 HttpsURLConnection
对这些HTTPS站点更宽松,因此不再抛出这些异常。
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}
该 Apache HttpComponents HttpClient 是 许多 在这一切更方便:)
如果您只需要从HTML解析和提取数据,那么最好使用类似的HTML解析器 Jsoup
首先是免责声明:发布的代码片段都是基本示例。你需要处理琐碎的事情 IOException
s和 RuntimeException
喜欢 NullPointerException
, ArrayIndexOutOfBoundsException
并自己配合。
我们首先需要至少知道URL和字符集。参数是可选的,取决于功能要求。
String url = "http://example.com";
String charset = "UTF-8"; // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...
String query = String.format("param1=%s¶m2=%s",
URLEncoder.encode(param1, charset),
URLEncoder.encode(param2, charset));
查询参数必须在 name=value
格式和连接 &
。你通常也会 URL编码 使用指定charset的查询参数 URLEncoder#encode()
。
该 String#format()
只是为了方便。当我需要String连接运算符时,我更喜欢它 +
超过两次。
这是一项微不足道的任务。这是默认的请求方法。
URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...
应使用任何查询字符串连接到URL ?
。该 Accept-Charset
header可能会提示服务器参数的编码方式。如果你没有发送任何查询字符串,那么你可以离开 Accept-Charset
标题走了。如果您不需要设置任何标题,那么您甚至可以使用 URL#openStream()
快捷方法。
InputStream response = new URL(url).openStream();
// ...
无论哪种方式,如果对方是一个 HttpServlet
那么它 doGet()
方法将被调用,参数将可用 HttpServletRequest#getParameter()
。
出于测试目的,您可以将响应主体打印到stdout,如下所示:
try (Scanner scanner = new Scanner(response)) {
String responseBody = scanner.useDelimiter("\\A").next();
System.out.println(responseBody);
}
设置 URLConnection#setDoOutput()
至 true
隐式设置请求方法为POST。 Web表单的标准HTTP POST是类型的 application/x-www-form-urlencoded
其中查询字符串被写入请求主体。
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);
try (OutputStream output = connection.getOutputStream()) {
output.write(query.getBytes(charset));
}
InputStream response = connection.getInputStream();
// ...
注意:每当您想以编程方式提交HTML表单时,请不要忘记使用 name=value
任何一对 <input type="hidden">
元素进入查询字符串当然也是 name=value
对的 <input type="submit">
您想要以编程方式“按”的元素(因为通常在服务器端使用它来区分是否按下按钮,如果是,则按哪一个)。
你也可以施放获得的 URLConnection
至 HttpURLConnection
并使用它 HttpURLConnection#setRequestMethod()
代替。但是,如果您尝试使用连接进行输出,则仍需要设置 URLConnection#setDoOutput()
至 true
。
HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...
无论哪种方式,如果对方是一个 HttpServlet
那么它 doPost()
方法将被调用,参数将可用 HttpServletRequest#getParameter()
。
您可以使用显式触发HTTP请求 URLConnection#connect()
,但是当您想要获取有关HTTP响应的任何信息(例如使用响应正文)时,将根据需要自动触发请求 URLConnection#getInputStream()
等等。上面的例子确实如此,所以 connect()
电话实际上是多余的。
你需要一个 HttpURLConnection
这里。如有必要,先把它扔掉。
int status = httpConnection.getResponseCode();
for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
System.out.println(header.getKey() + "=" + header.getValue());
}
当。。。的时候 Content-Type
包含一个 charset
参数,然后响应主体可能是基于文本的,我们希望用服务器端指定的字符编码处理响应主体。
String contentType = connection.getHeaderField("Content-Type");
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
if (charset != null) {
try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
for (String line; (line = reader.readLine()) != null;) {
// ... System.out.println(line) ?
}
}
} else {
// It's likely binary content, use InputStream/OutputStream.
}
服务器端会话通常由cookie支持。某些Web表单要求您已登录和/或由会话跟踪。你可以使用 CookieHandler
用于维护cookie的API。你需要准备一个 CookieManager
用一个 CookiePolicy
的 ACCEPT_ALL
在发送所有HTTP请求之前。
// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));
// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
connection = new URL(url).openConnection();
// ...
请注意,众所周知,这并不总是在所有情况下都能正常工作。如果它失败了,那么最好是手动收集和设置cookie头。你基本上需要抓住所有 Set-Cookie
来自登录响应或第一个的标头 GET
请求然后通过后续请求传递此信息。
// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...
// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...
该 split(";", 2)[0]
是否有摆脱与服务器端无关的cookie属性 expires
, path
等等,你也可以使用 cookie.substring(0, cookie.indexOf(';'))
代替 split()
。
该 HttpURLConnection
将默认缓冲 整个 在实际发送之前请求正文,无论您是否使用自己设置了固定的内容长度 connection.setRequestProperty("Content-Length", contentLength);
。这可能会导致 OutOfMemoryException
每当您同时发送大型POST请求(例如上传文件)时。为了避免这种情况,你想设置 HttpURLConnection#setFixedLengthStreamingMode()
。
httpConnection.setFixedLengthStreamingMode(contentLength);
但是如果事先确实不知道内容长度,那么你可以通过设置来利用分块流模式 HttpURLConnection#setChunkedStreamingMode()
因此。这将设置HTTP Transfer-Encoding
标题为 chunked
这将强制请求正文以块的形式发送。以下示例将以1KB的块发送正文。
httpConnection.setChunkedStreamingMode(1024);
它可能会发生 请求返回意外的响应,而它与真正的Web浏览器一起正常工作。服务器端可能会阻止基于的请求 User-Agent
请求标头。该 URLConnection
默认情况下会将其设置为 Java/1.6.0_19
最后一部分显然是JRE版本。您可以按如下方式覆盖:
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.
使用来自的用户代理字符串 最近的浏览器。
如果HTTP响应代码是 4nn
(客户端错误)或 5nn
(服务器错误),那么你可能想要阅读 HttpURLConnection#getErrorStream()
查看服务器是否发送了任何有用的错误信息。
InputStream error = ((HttpURLConnection) connection).getErrorStream();
如果HTTP响应代码为-1,则连接和响应处理出现问题。该 HttpURLConnection
实现在较旧的JRE中有点错误,保持连接活着。你可能想通过设置关闭它 http.keepAlive
系统属性 false
。您可以在应用程序的开头以编程方式执行此操作:
System.setProperty("http.keepAlive", "false");
你通常会用 multipart/form-data
编码混合POST内容(二进制和字符数据)。编码更详细地描述于 RFC2388。
String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);
try (
OutputStream output = connection.getOutputStream();
PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
// Send normal param.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
writer.append(CRLF).append(param).append(CRLF).flush();
// Send text file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
writer.append(CRLF).flush();
Files.copy(textFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// Send binary file.
writer.append("--" + boundary).append(CRLF);
writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
writer.append("Content-Transfer-Encoding: binary").append(CRLF);
writer.append(CRLF).flush();
Files.copy(binaryFile.toPath(), output);
output.flush(); // Important before continuing with writer!
writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.
// End of multipart/form-data.
writer.append("--" + boundary + "--").append(CRLF).flush();
}
如果对方是 HttpServlet
那么它 doPost()
方法将被调用,部件将可用 HttpServletRequest#getPart()
(注意,因此 不 getParameter()
等等!)。该 getPart()
然而,方法相对较新,它在Servlet 3.0(Glassfish 3,Tomcat 7等)中引入。在Servlet 3.0之前,您最好的选择是使用 Apache Commons FileUpload 解析一个 multipart/form-data
请求。另见 这个答案 有关FileUpload和Servelt 3.0方法的示例。
有时您需要连接HTTPS URL,可能是因为您正在编写Web scraper。在这种情况下,你可能会遇到一个 javax.net.ssl.SSLException: Not trusted server certificate
在某些HTTPS站点上,他们没有更新SSL证书,或者 java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found
要么 javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name
在一些配置错误的HTTPS站点上。
以下一次性运行 static
你的web scraper类中的初始化器应该是 HttpsURLConnection
对这些HTTPS站点更宽松,因此不再抛出这些异常。
static {
TrustManager[] trustAllCertificates = new TrustManager[] {
new X509TrustManager() {
@Override
public X509Certificate[] getAcceptedIssuers() {
return null; // Not relevant.
}
@Override
public void checkClientTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
@Override
public void checkServerTrusted(X509Certificate[] certs, String authType) {
// Do nothing. Just allow them all.
}
}
};
HostnameVerifier trustAllHostnames = new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true; // Just allow them all.
}
};
try {
System.setProperty("jsse.enableSNIExtension", "false");
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCertificates, new SecureRandom());
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
}
catch (GeneralSecurityException e) {
throw new ExceptionInInitializerError(e);
}
}
该 Apache HttpComponents HttpClient 是 许多 在这一切更方便:)
如果您只需要从HTML解析和提取数据,那么最好使用类似的HTML解析器 Jsoup
使用HTTP时,引用它几乎总是更有用 HttpURLConnection
而不是基类 URLConnection
(以来 URLConnection
当你要求时,它是一个抽象类 URLConnection.openConnection()
在HTTP URL上,无论如何你都会得到它。
然后你可以而不是依靠 URLConnection#setDoOutput(true)
隐式设置请求方法 POST 相反 httpURLConnection.setRequestMethod("POST")
有些人可能会发现更自然(并且还允许您指定其他请求方法,例如 放, 删除,...)。
它还提供有用的HTTP常量,因此您可以执行以下操作:
int responseCode = httpURLConnection.getResponseCode();
if (responseCode == HttpURLConnection.HTTP_OK) {
受到关于SO的这个问题和其他问题的启发,我创建了一个最小的开源 基本-HTTP客户端 这体现了这里发现的大多数技术。
谷歌-HTTP-Java的客户端 也是一个很好的开源资源。
HTTP URL Hits有两个选项:GET / POST
GET请求: -
HttpURLConnection.setFollowRedirects(true); // defaults to true
String url = "https://name_of_the_url";
URL request_url = new URL(url);
HttpURLConnection http_conn = (HttpURLConnection)request_url.openConnection();
http_conn.setConnectTimeout(100000);
http_conn.setReadTimeout(100000);
http_conn.setInstanceFollowRedirects(true);
System.out.println(String.valueOf(http_conn.getResponseCode()));
POST请求: -
HttpURLConnection.setFollowRedirects(true); // defaults to true
String url = "https://name_of_the_url"
URL request_url = new URL(url);
HttpURLConnection http_conn = (HttpURLConnection)request_url.openConnection();
http_conn.setConnectTimeout(100000);
http_conn.setReadTimeout(100000);
http_conn.setInstanceFollowRedirects(true);
http_conn.setDoOutput(true);
PrintWriter out = new PrintWriter(http_conn.getOutputStream());
if (urlparameter != null) {
out.println(urlparameter);
}
out.close();
out = null;
System.out.println(String.valueOf(http_conn.getResponseCode()));
我建议你看一下代码 kevinsawicki / http请求,它基本上是一个包装器 HttpUrlConnection
它提供了一个更简单的API,以防您只是想立即发出请求,或者您可以查看源(它不是太大)来查看连接的处理方式。
示例:制作一个 GET
请求内容类型 application/json
和一些查询参数:
// GET http://google.com?q=baseball%20gloves&size=100
String response = HttpRequest.get("http://google.com", true, "q", "baseball gloves", "size", 100)
.accept("application/json")
.body();
System.out.println("Response was: " + response);
我也对这种反应非常鼓舞。
我经常在我需要做一些HTTP的项目上,我可能不想引入很多第三方依赖(带来其他依赖等等)
我开始根据这些对话开始编写我自己的实用程序(不是任何完成的地方):
package org.boon.utils;
import java.io.IOException;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLConnection;
import java.util.Map;
import static org.boon.utils.IO.read;
public class HTTP {
然后只有一堆或静态方法。
public static String get(
final String url) {
Exceptions.tryIt(() -> {
URLConnection connection;
connection = doGet(url, null, null, null);
return extractResponseString(connection);
});
return null;
}
public static String getWithHeaders(
final String url,
final Map<String, ? extends Object> headers) {
URLConnection connection;
try {
connection = doGet(url, headers, null, null);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
public static String getWithContentType(
final String url,
final Map<String, ? extends Object> headers,
String contentType) {
URLConnection connection;
try {
connection = doGet(url, headers, contentType, null);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
public static String getWithCharSet(
final String url,
final Map<String, ? extends Object> headers,
String contentType,
String charSet) {
URLConnection connection;
try {
connection = doGet(url, headers, contentType, charSet);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
然后发布...
public static String postBody(
final String url,
final String body) {
URLConnection connection;
try {
connection = doPost(url, null, "text/plain", null, body);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
public static String postBodyWithHeaders(
final String url,
final Map<String, ? extends Object> headers,
final String body) {
URLConnection connection;
try {
connection = doPost(url, headers, "text/plain", null, body);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
public static String postBodyWithContentType(
final String url,
final Map<String, ? extends Object> headers,
final String contentType,
final String body) {
URLConnection connection;
try {
connection = doPost(url, headers, contentType, null, body);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
public static String postBodyWithCharset(
final String url,
final Map<String, ? extends Object> headers,
final String contentType,
final String charSet,
final String body) {
URLConnection connection;
try {
connection = doPost(url, headers, contentType, charSet, body);
return extractResponseString(connection);
} catch (Exception ex) {
Exceptions.handle(ex);
return null;
}
}
private static URLConnection doPost(String url, Map<String, ? extends Object> headers,
String contentType, String charset, String body
) throws IOException {
URLConnection connection;/* Handle output. */
connection = new URL(url).openConnection();
connection.setDoOutput(true);
manageContentTypeHeaders(contentType, charset, connection);
manageHeaders(headers, connection);
IO.write(connection.getOutputStream(), body, IO.CHARSET);
return connection;
}
private static void manageHeaders(Map<String, ? extends Object> headers, URLConnection connection) {
if (headers != null) {
for (Map.Entry<String, ? extends Object> entry : headers.entrySet()) {
connection.setRequestProperty(entry.getKey(), entry.getValue().toString());
}
}
}
private static void manageContentTypeHeaders(String contentType, String charset, URLConnection connection) {
connection.setRequestProperty("Accept-Charset", charset == null ? IO.CHARSET : charset);
if (contentType!=null && !contentType.isEmpty()) {
connection.setRequestProperty("Content-Type", contentType);
}
}
private static URLConnection doGet(String url, Map<String, ? extends Object> headers,
String contentType, String charset) throws IOException {
URLConnection connection;/* Handle output. */
connection = new URL(url).openConnection();
manageContentTypeHeaders(contentType, charset, connection);
manageHeaders(headers, connection);
return connection;
}
private static String extractResponseString(URLConnection connection) throws IOException {
/* Handle input. */
HttpURLConnection http = (HttpURLConnection)connection;
int status = http.getResponseCode();
String charset = getCharset(connection.getHeaderField("Content-Type"));
if (status==200) {
return readResponseBody(http, charset);
} else {
return readErrorResponseBody(http, status, charset);
}
}
private static String readErrorResponseBody(HttpURLConnection http, int status, String charset) {
InputStream errorStream = http.getErrorStream();
if ( errorStream!=null ) {
String error = charset== null ? read( errorStream ) :
read( errorStream, charset );
throw new RuntimeException("STATUS CODE =" + status + "\n\n" + error);
} else {
throw new RuntimeException("STATUS CODE =" + status);
}
}
private static String readResponseBody(HttpURLConnection http, String charset) throws IOException {
if (charset != null) {
return read(http.getInputStream(), charset);
} else {
return read(http.getInputStream());
}
}
private static String getCharset(String contentType) {
if (contentType==null) {
return null;
}
String charset = null;
for (String param : contentType.replace(" ", "").split(";")) {
if (param.startsWith("charset=")) {
charset = param.split("=", 2)[1];
break;
}
}
charset = charset == null ? IO.CHARSET : charset;
return charset;
}
反正你懂这个意思....
以下是测试:
static class MyHandler implements HttpHandler {
public void handle(HttpExchange t) throws IOException {
InputStream requestBody = t.getRequestBody();
String body = IO.read(requestBody);
Headers requestHeaders = t.getRequestHeaders();
body = body + "\n" + copy(requestHeaders).toString();
t.sendResponseHeaders(200, body.length());
OutputStream os = t.getResponseBody();
os.write(body.getBytes());
os.close();
}
}
@Test
public void testHappy() throws Exception {
HttpServer server = HttpServer.create(new InetSocketAddress(9212), 0);
server.createContext("/test", new MyHandler());
server.setExecutor(null); // creates a default executor
server.start();
Thread.sleep(10);
Map<String,String> headers = map("foo", "bar", "fun", "sun");
String response = HTTP.postBodyWithContentType("http://localhost:9212/test", headers, "text/plain", "hi mom");
System.out.println(response);
assertTrue(response.contains("hi mom"));
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
response = HTTP.postBodyWithCharset("http://localhost:9212/test", headers, "text/plain", "UTF-8", "hi mom");
System.out.println(response);
assertTrue(response.contains("hi mom"));
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
response = HTTP.postBodyWithHeaders("http://localhost:9212/test", headers, "hi mom");
System.out.println(response);
assertTrue(response.contains("hi mom"));
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
response = HTTP.get("http://localhost:9212/test");
System.out.println(response);
response = HTTP.getWithHeaders("http://localhost:9212/test", headers);
System.out.println(response);
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
response = HTTP.getWithContentType("http://localhost:9212/test", headers, "text/plain");
System.out.println(response);
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
response = HTTP.getWithCharSet("http://localhost:9212/test", headers, "text/plain", "UTF-8");
System.out.println(response);
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
Thread.sleep(10);
server.stop(0);
}
@Test
public void testPostBody() throws Exception {
HttpServer server = HttpServer.create(new InetSocketAddress(9220), 0);
server.createContext("/test", new MyHandler());
server.setExecutor(null); // creates a default executor
server.start();
Thread.sleep(10);
Map<String,String> headers = map("foo", "bar", "fun", "sun");
String response = HTTP.postBody("http://localhost:9220/test", "hi mom");
assertTrue(response.contains("hi mom"));
Thread.sleep(10);
server.stop(0);
}
@Test(expected = RuntimeException.class)
public void testSad() throws Exception {
HttpServer server = HttpServer.create(new InetSocketAddress(9213), 0);
server.createContext("/test", new MyHandler());
server.setExecutor(null); // creates a default executor
server.start();
Thread.sleep(10);
Map<String,String> headers = map("foo", "bar", "fun", "sun");
String response = HTTP.postBodyWithContentType("http://localhost:9213/foo", headers, "text/plain", "hi mom");
System.out.println(response);
assertTrue(response.contains("hi mom"));
assertTrue(response.contains("Fun=[sun], Foo=[bar]"));
Thread.sleep(10);
server.stop(0);
}
你可以在这里找到其余的:
https://github.com/RichardHightower/boon
我的目标是以更简单的方式提供人们想要做的常见事情....
新的HTTP客户端随Java 9一起提供,但作为一部分 孵化器模块命名
jdk.incubator.httpclient
。孵化器模块是 一种将非最终API放在开发人员手中的方法 API将在未来完成或删除 发布。
在Java 9中,您可以发送一个 GET
请求如下:
// GET
HttpResponse response = HttpRequest
.create(new URI("http://www.stackoverflow.com"))
.headers("Foo", "foovalue", "Bar", "barvalue")
.GET()
.response();
然后你可以检查返回的 HttpResponse
:
int statusCode = response.statusCode();
String responseBody = response.body(HttpResponse.asString());
由于这个新的HTTP客户端在 java.httpclient
jdk.incubator.httpclient
模块,你应该在你的。中声明这种依赖 module-info.java
文件:
module com.foo.bar {
requires jdk.incubator.httpclient;
}