JSP抓取网页代码的程序
发布时间:2006-10-14 2:59:39   收集提供:gaoqian
<%@ page contentType="text/html;charset=gb2312"%>
<%  

String sCurrentLine;  

String sTotalString;  

sCurrentLine="";  

sTotalString="";  

java.io.InputStream l_urlStream;  

java.net.URL l_url = new java.net.URL("http://www.163.net/");  

java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();  

l_connection.connect();  

l_urlStream = l_connection.getInputStream();  

java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));  

while ((sCurrentLine = l_reader.readLine()) != null)  

{  

sTotalString+=sCurrentLine;  

}  

out.println(sTotalString);  

%>

后记  

  虽然代码比较简单,但是,我认为根据这个,可以实现“网络爬虫”的功能,比如从页面找href连接,然后再得到那个连接,然后再“抓”,不停止地(当然可以限定层数),这样,可以实现“网页搜索”功能。  
 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50