正文 

当前位置： 首页 > java > java教程

使用htmlagilitypack批量抓取网页数据

寂寞夏天      2022-02-08     146

关键词：

【转】使用HtmlAgilityPack批量抓取网页数据

相关软件点击下载

登录的处理。因为有些网页数据需要登陆后才能提取。这里要使用ieHTTPHeaders来提取登录时的提交信息。

抓取网页

 HtmlAgilityPack.HtmlDocument htmlDoc;

            if (!string.IsNullOrEmpty(登录URL))
            {
                htmlDoc = htmlWeb.Load(登录URL, 提交的用户验证信息, 获取数据的网页URL);
            }
            else
            {
                htmlDoc = htmlWeb.Load(获取数据的网页URL);
            }
        

 

 

 ArrayList list = new ArrayList();
            list.add("//table/tr[1]/td");
            list.add("//table/tr[2]/td");
            //获取循环的节点的xpath，比如：//table/tr
            HtmlNodeCollection repeatNodes = htmlDoc.DocumentNode.SelectNodes("//table/tr");

            //循环节点
            foreach (HtmlNode node in repeatNodes)
            {
                //循环获取数据
                foreach (string dataPath in list)
                {

                    HtmlNode dataNode = node.SelectSingleNode(list);
                    if (dataNode != null)
                    {
                        string text = dataNode.InnerText;
                    }

                }
            }

如果出现乱码，调整编码集为gb2312或者是utf-8

htmlWeb.DefaultEncoding = System.Text.Encoding.GetEncoding(strEncode);


-------------------------------------------------------------------------------------------

using System;

using System.Collections.Generic;

using System.Text;

using Microsoft.VisualStudio.TestTools.WebTesting;

using HtmlAgilityPack;

publicclassWebTest1Coded : WebTest

{

publicoverrideIEnumerator<WebTestRequest> GetRequestEnumerator()

{

WebTestRequest request1 = newWebTestRequest("http://www.microsoft.com/");

request1.ValidateResponse += newEventHandler<ValidationEventArgs>(request1_ValidateResponse);

yieldreturn request1;

}

void request1_ValidateResponse(object sender, ValidationEventArgs e)

{

//load the response body string as an HtmlAgilityPack.HtmlDocument

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();

doc.LoadHtml(e.Response.BodyString);

//locate the "Nav" element

HtmlNode navNode = doc.GetElementbyId("Nav");

//pick the first <li> element

HtmlNode firstNavItemNode = navNode.SelectSingleNode(".//li");

//validate the first list item in the Nav element says "Windows"

e.IsValid = firstNavItemNode.InnerText == "Windows";

}

}

htmlagility抓取网页上的数据

///<summary>///财政部mca///http://www.mca.gov.cn/article/sj/xzqh/1980////https://github.com/zzzprojects/html-agility-pack///https://github.com/linezero/HtmlAgilityPack///</summary>publicparti 查看详情

爬虫软件尝试-后羿采集器：批量免费抓取网页数据

...台（Windows、Mac、Linux），操作简单无需技术。使用流程：下载软件打开->输入抓取数据的网址->职能采集->等待自动采集完毕->导出输出：多种格式文件截图如下：主页输入抓取网址 点击数据表头... 查看详情

使用 HtmlAgilityPack.NETCore 获取网页

】使用HtmlAgilityPack.NETCore获取网页【英文标题】：GetwebpageusingHtmlAgilityPack.NETCore【发布时间】：2017-04-1208:56:47【问题描述】：我使用HtmlAgilityPack处理html页面。以前我是这样做的：HtmlWebweb=newHtmlWeb();HtmlDocumentdocument=web.Load(url);varnodes... 查看详情

使用 HtmlAgilityPack 在 C# 中解析网页信息

】使用HtmlAgilityPack在C#中解析网页信息【英文标题】：usingHtmlAgilityPackforparsingawebpageinformationinC#【发布时间】：2013-11-0823:05:32【问题描述】：我正在尝试使用HtmlAgilityPack来解析网页信息。这是我的代码：usingSystem;usingHtmlAgilityPack;na... 查看详情

如何使用 C# 在 Visual Studio 2010 中使用正则表达式或 HTMLAgilityPack 抓取 HTML 页面的特定部分？

】如何使用C#在VisualStudio2010中使用正则表达式或HTMLAgilityPack抓取HTML页面的特定部分？【英文标题】：HowtoscrapeaparticularpartofaHTMLpageusingregularexpressionorHTMLAgilityPackinvisualstudio2010usingC#?【发布时间】：2012-04-2703:02:59【问题描述】：我... 查看详情

使用 HtmlAgilityPack 下载网页时违反 HTTP 协议

】使用HtmlAgilityPack下载网页时违反HTTP协议【英文标题】：HTTPProtocolviolationwhendownloadingwebpageusingHtmlAgilityPack【发布时间】：2011-01-1110:41:10【问题描述】：我正在尝试解析来自www.mediafire.com的下载页面，但是当我尝试将页面加载到Htm... 查看详情

使用 html 敏捷包抓取表数据

...用html敏捷包抓取表数据【英文标题】：Scrapingtabledatawithhtmlagilitypack【发布时间】：2014-03-2007:14:19【问题描述】：我有一张如下表。我想抓取该表每一行的第1列和第4列。表格的结构是这样的：每个数据都有一个b标签我尝试过这... 查看详情

使用htmlagilitypack爬取网站信息并存储到mysql

...所以只有先到其它网站抓取存到数据库再开始做这个了。HtmlAgilityPack在c#里应该很多人用吧，简单又强大。之前也用它做过几个爬取信息的小工具。不过很久了源代码都没有了，都忘了怎么用了，这次也是一点一点找资料慢慢做... 查看详情

请教网页里的特定数据怎么抓取？

...，是因为网页有屏蔽吗？求python的代码抓取网页抓取可以使用爬虫技术，以下是一些常用的网页抓取方法：1.使用Python的Requests库请求网页，然后使用BeautifulSoup库进行页面解析，提取目标数据。2.使用Selenium库模拟浏览器操作，通... 查看详情

使用 python 和 sqlite 进行网页抓取。如何有效存储抓取的数据？

】使用python和sqlite进行网页抓取。如何有效存储抓取的数据？【英文标题】：Webscrapingwithpythonandsqlite.Howtostorescrapeddataeffectively?【发布时间】：2013-04-1714:49:48【问题描述】：我想定期（例如每小时）抓取一些特定网页。这是我想... 查看详情

使用Java从网页中抓取数据？

】使用Java从网页中抓取数据？【英文标题】：ScrapingdatafromwebpageusingJava?【发布时间】：2013-02-1619:51:51【问题描述】：我正在为我的一个班级创建一个twitter机器人来练习使用队列并构建我的简历。我希望机器人从paper.li时事通讯... 查看详情

htmlagilitypack使用——xpath注意事项

【转】HtmlAgilityPack使用——XPath注意事项在使用HtmlAgilityPack这个开源的类库进行网页内容解析的时候是非常的方便（使用方法见另一篇博客《HTML解析：基于XPath的C#类库HtmlAgiliytyPack》），其基于XPath路径语法进行高效的选择文档... 查看详情

使用javascript呈现的内容从网页抓取数据

...文件中，如下所示：那么，我该怎么做才能抓取它（可能使用python）？我认 查看详情

网页抓取、屏幕抓取、数据挖掘技巧？ [关闭]

...人知道任何好的API或资源来帮助我。顺便说一句，我正在使用java。到目前为止，我的工作流程如下：连接到网站（使用来自Apache的HT 查看详情

使用 Xpath 和 HtmlAgilityPack 的节点为 NULL

】使用Xpath和HtmlAgilityPack的节点为NULL【英文标题】：NodeisNULLusingXpathandHtmlAgilityPack【发布时间】：2014-07-0809:08:36【问题描述】：我已经为imdb网站编写了一个抓取器，现在我需要解析页面。我将使用HtmlAgilityPack来实现。例如，我下... 查看详情

如何使用octoparse轻松抓取到网页数据

数据的重要性在这个年代已经不言而喻。而抓取网页数据的手段也层出不穷，各种大神总有办法抓取到最全最干净的数据。今天介绍的这款软件，总要是针对小白玩家，或者是一些来自其他行业例如电商，金融业，实体经营的... 查看详情

使用python和beautifulsoup4抓取网页后重复数据

】使用python和beautifulsoup4抓取网页后重复数据【英文标题】：RepeatingDataafterwebscrapingusingpythonandbeautifulsoup4【发布时间】：2015-09-1604:57:53【问题描述】：我正在尝试从Garmin网站抓取高尔夫数据。我想获得高尔夫球场的名称和地址，... 查看详情

抓取分析网页批量下载评书(上)之搜索有声小说

一、背景   母亲喜欢听评书，跟着广播每天一集总觉得不过瘾，于是2010年给她买了一个带内存，能播放MP3的音箱，从此给她找评书便成了我的责任和义务。    一开始开始还好，单先生说的书多，找起来不... 查看详情