关键词：
目前网络上有不少开源的网络爬虫可供我们使用，爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表：
下面我们再对Nutch、Larbin、Heritrix这三个爬虫进行更细致的比较：
Nutch
开发语言：Java
http://lucene.apache.org/nutch/
简介：
Apache的子项目之一，属于Lucene项目下的子项目。
Nutch是一个基于Lucene，类似Google的完整网络搜索引擎解决方案，基于Hadoop的分布式处理模型保证了系统的性能，类似Eclipse的插件机制保证了系统的可客户化，而且很容易集成到自己的应用之中。
Larbin
开发语言：C++
http://larbin.sourceforge.net/index-eng.html
简介
larbin是一种开源的网络爬虫，由法国的年轻人 Sébastien Ailleret独立开发。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。
Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。
latbin最初的设计也是依据设计简单但是高度可配置性的原则，因此我们可以看到，一个简单的larbin的爬虫可以每天获取５００万的网页，非常高效。
Heritrix
开发语言：Java
简介
与Nutch比较
和 Nutch。二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫它们实现的原理基本一致：深度遍历网站的资源，将这些资源抓取到本地，使用的方法都是分析网站每一个有效的URI，并提交Http请求，从而获得相应结果，生成本地文件及相应的日志信息等。
Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。
二者的差异：
Nutch 只获取并保存可索引的内容。Heritrix则是照单全收。力求保存页面原貌
Nutch 可以修剪内容，或者对内容格式进行转换。
Nutch 保存内容为数据库优化格式便于以后索引；刷新替换旧的内容。而Heritrix 是添加(追加)新的内容。
Nutch 从命令行运行、控制。Heritrix 有 Web 控制管理界面。
Nutch 的定制能力不够强，不过现在已经有了一定改进。Heritrix 可控制的参数更多。
Heritrix提供的功能没有nutch多，有点整站下载的味道。既没有索引又没有解析，甚至对于重复爬取URL都处理不是很好。
Heritrix的功能强大 但是配置起来却有点麻烦。
java常用类库以及简介，具体使用细节进行百度（爬虫爬取的数据）
来至于互联网Office文档的Java处理包POI[推荐]ApachePOI是一个开源的Java读写Excel、WORD等微软OLE2组件文档的项目。目前POI已经有了Ruby版本。结构：HSSF－提供读写MicrosoftExcelXL...Java常用工具包Jodd[推荐]Jodd是一个开源的Java工具集... 查看详情
网络爬虫简介
爬虫简介：网络爬虫是按照一定的规则，自动的抓取万维网信息的程序或者脚本。各编程语言编写爬虫程序：1，PHP：PHP是世界是最好的语言，但他天生不是做这个的，而且对多线程、异步支持不是很好，并发处理能力弱。爬虫... 查看详情
python爬虫|网络爬虫简介(代码片段)
文章目录Python爬虫|网络爬虫简介网络爬虫何时有用网络爬虫是否合法背景调研检查robots.txt检查网站地图估算网站大小识别网站所用技术寻找网站所有者编写第一个网络爬虫下载网页网站地图爬虫ID遍历爬虫链接爬虫Python爬虫|网... 查看详情
python爬虫|网络爬虫简介(代码片段)
文章目录Python爬虫|网络爬虫简介网络爬虫何时有用网络爬虫是否合法背景调研检查robots.txt检查网站地图估算网站大小识别网站所用技术寻找网站所有者编写第一个网络爬虫下载网页网站地图爬虫ID遍历爬虫链接爬虫Python爬虫|网... 查看详情
网络爬虫简介
什么是网络爬虫为什么要学网络爬虫网络爬虫的组成网络爬虫的类型网络爬虫的工作流程网络爬虫的爬行策略网络爬虫的更新策略扩展：网页分析算法扩展：GooSeeker工具 1.什么是网络爬虫(1)网络爬虫又称网络蜘蛛，可以... 查看详情
爬虫简介以及request模块(代码片段)
一爬虫简介概述近年来，随着网络应用的逐渐扩展和深入，如何高效的获取网上数据成为了无数公司和个人的追求，在大数据时代，谁掌握了更多的数据，谁就可以获得更高的利益，而网络爬虫是其中最为常用的一种从网上... 查看详情
incommunitywetrust
...啡的时候，正好聊到关于PingCAP和TiDB的一些历史以及对于开源软件公司核心竞争力的理解，回顾这几年的创业生涯和TiDB社区的生长壮大，就像是一场巨大且正在进行中的社会学实验，原本零散的一些想法随着一条主线变得逐渐清... 查看详情
python爬虫的入门教程都有哪些值得推荐的？
...n爬虫的入门教程有很多，以下是我推荐的几本：1.《Python网络爬虫开发实战》：这本书介绍了Python爬虫的基本原理，以及如何使用Python编写爬虫程序，实现网络爬虫的功能。2.《Python爬虫技术实战》：这本书介绍了Python爬虫的基... 查看详情
python爬虫第一课python爬虫环境与爬虫简介
1.1认识爬虫网络爬虫作为收集互联网数据的一种常用工具，近年来随着互联网的发展而快速崛起。使用网络爬虫爬取网络数据首先需要了解网络爬虫的概念和主要分类，各类爬虫的系统结构，运作方式，常用的爬... 查看详情
爬虫概述
1.目录清单爬虫简介通用爬虫和聚焦爬虫网络请求那些事儿网络数据抓包分析2.章节内容2.1.爬虫简介在各行各业如火如荼快速发展的今天，市场是决定一家公司是否可持续发展最重要的一个衡量指标，市场的定位和发展核心是对... 查看详情
网络爬虫相关软件以及论文检索与推荐网站调研
...询使用。一.网络爬虫相关软件1.搜索引擎NutchNutch是一个开源Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。Nutch的创始人是DougCutting 查看详情
第一章网络爬虫简介(代码片段)
本章将介绍如下主题：网络爬虫领域介绍爬虫的合法与非法性对目标网站进行背景调研逐步完善一个高级网络爬虫1.1网络爬虫的使用场景 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的... 查看详情
爬虫框架之scrapy(代码片段)
...、setitings.py十三、获取亚马逊商品信息一、介绍Scrapy一个开源和协作的框架，其最初是为了页面抓取(更确切来说,网络抓取)所设计的， 查看详情
opennms和商业开源网管软件sugarnms的比较
...sp;OpenNMS是网络管理系统NetworkManagementSystem的简称，是一种开源软件网络监视工具。可用来自动发现网络节点，监控网络服务，如HTTP，DNS，SSH等，当系统服务停止时，OpenNMS会依管理者所建立的规则寄出通知，告知运维人员网络障... 查看详情
python都有哪些常见的，好用的爬虫框架
网络爬虫的抓取策略有很多种，按照系统结构和实现技术，大致可以分为以下几种：通用网络爬虫（GeneralPurposeWebCrawler）、聚焦网络爬虫（FocusedWebCrawler）、增量式网络爬虫（IncrementalWebCrawler）、深层网络爬虫（DeepWebCrawler）。... 查看详情
58反抓取简介
0x00 介绍网络爬虫，常又被称呼为Spider，网络机器人，主要模拟网络交互协议，长时间，大规模的获取目标数据。普通爬虫会从网站的一个链接开始，不断收集网页资源，同时不断延伸抓取新获取的URL以及相应的资源。 ... 查看详情
001爬虫的基本概念以及urllib的request和parse
...体没有限制、可以上传文件putdelete（删除一些信息）发送网络请求（可以带一定的数据给服务器）head（请求头）Accept：文本格式Accept-Encoding：编码格式Connection：长链接/短链接Cookie：缓存Referer：表示从哪个页面跳转的Uer-Agent：... 查看详情
爬虫基础以及一个简单的实例(代码片段)
最近在看爬虫方面的知识，看到崔庆才所著的《Python3网络爬虫开发实战》一书讲的比较系统，果断入手学习。下面根据书中的内容，简单总结一下爬虫的基础知识，并且实际练习一下。详细内容请见：https://cuiqingcai.com/5465.html（... 查看详情