抓取網頁內容出現 connection reset 求救~~

抓取網頁connection reset

monkey9320 2016-10-27 22:27:50 ‧ 2017 瀏覽

分享至

我用的是之前參考網路上的但是我程式碼太大所以貼它的
讀取網頁過大時，"有時(同一個)"會出現錯誤:connection reset

import java.io.*;

import java.net.URL;

import java.net.URLConnection;

public class SimpleURL2 {

public static void main(String[] args) throws IOException {

URL url = new URL("http://ithelp.ithome.com.tw/ironman7/app/index");

URLConnection conn = url.openConnection();

conn.connect();

String type = conn.getContentType();

System.out.println("Context: "+type);

FileWriter fw = new FileWriter("/Users/yfsun/Documents/Hi_Day10.txt");

InputStreamReader in = new InputStreamReader(conn.getInputStream(),"UTF-8");

int data = in.read();

while (data != -1){

System.out.print((char)data);

data = in.read();

fw.write(data);

fw.flush();

}

in.close();

fw.close();

}

}

monkey9320 iT邦新手 5 級 ‧ 2016-10-27 22:32:09 檢舉

P.S程式碼是我參考的大概差不多

海綿寶寶 iT邦大神 1 級 ‧ 2016-10-28 09:28:30 檢舉

給個良心建議
寫程式不要「差不多」
就算是 URL，打錯一個字你就連不到了
更別說程式了...

monkey9320 iT邦新手 5 級 ‧ 2016-10-28 11:18:53 檢舉

喔喔因為我想說概念一樣自己的程式碼又比較多就貼這個XD 感恩

登入發表討論

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

1 個回答

海綿寶寶

iT邦大神 1 級 ‧ 2016-10-28 09:26:43

最佳解答

你找的那個程式不太好
因為他讀網頁用 in.read
一次讀一個 character

可以改用Oracle 官方範例看看

import java.net.*;
import java.io.*;

public class URLReader {
    public static void main(String[] args) throws Exception {

        URL oracle = new URL("http://www.oracle.com/");
        BufferedReader in = new BufferedReader(
        new InputStreamReader(oracle.openStream()));

        String inputLine;
        while ((inputLine = in.readLine()) != null)
            System.out.println(inputLine);
        in.close();
    }
}