读书人

C#怎么实现网页内容的抓取

发布时间: 2012-03-18 13:55:39 作者: rapoo

C#如何实现网页内容的抓取。
最近做个项目,想实现这样一个功能:用户输入一个词条,如果百度百科用,就提取百度百科的词条然后显示出来,否则提示用户创建该词条。

这就涉及到网络爬虫的问题,求教。
有现成的库用么?

[解决办法]
webbrowser
[解决办法]
建议还是学一下http协议吧, 很简单的。

我个人喜欢用socket, 当然也可以使用封装好的webrequest
[解决办法]

WebClient client = new WebClient();
client.Credentials = CredentialCache.DefaultCredentials;
resStream = client.OpenRead(pageUrl);
sr = new StreamReader(resStream, System.Text.Encoding.UTF8);
strHtml = sr.ReadToEnd();
resStream.Close();
sr.Close();

这样就可以抓到了

读书人网 >C#

热点推荐