榜单搜索

WebMagic

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
目录
WebMagic介绍

基本介绍

webmagic是一个开源的Java垂直爬虫框架,目标是简化爬虫的开发流程,让开发者专注于逻辑功能的开发。webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

产品设计

webmagic包含页面抽取功能,开发者可以使用css selector、xpath和正则表达式进行链接和内容的提取,支持多个选择器链式调用。

特色功能

webmagic主要包括两个包:

webmagic-core

webmagic核心部分,只包含爬虫基本模块和基本抽取器。webmagic-core的目标是成为网页爬虫的一个教科书般的实现。

webmagic-extension

webmagic的扩展模块,提供一些更方便的编写爬虫的工具。包括注解格式定义爬虫、JSON、分布式等支持。

webmagic还包含两个可用的扩展包,因为这两个包都依赖了比较重量级的工具,所以从主要包中抽离出来,这些包需要下载源码后自己编译:

webmagic-saxon

webmagic与Saxon结合的模块。Saxon是一个XPath、XSLT的解析工具,webmagic依赖Saxon来进行XPath2.0语法解析支持。

webmagic-selenium

webmagic与Selenium结合的模块。Selenium是一个模拟浏览器进行页面渲染的工具,webmagic依赖Selenium进行动态页面的抓取。

在项目中,你可以根据需要依赖不同的包。

不使用maven

在项目的lib目录下,有依赖的所有jar包,直接在IDE里import即可。

WebMagic相关榜单
十大爬虫软件排行 网络爬虫工具推荐 python爬虫工具有哪些
十大爬虫软件名单如下:火车头、八爪鱼大数据采集平台、集搜客GooSeeker、Import.io、HTTrack、神箭手、ParseHub、后羿采集器、Octoparse、WebMagic,下面请看榜单详细内容。
更多榜中榜推荐
十大好用的手机克隆APP 一键换机助手排名 手机搬家软件哪个好
十大手机克隆软件名单如下:华为手机克隆、VIVO互传、欢太手机搬家、腾讯换机助手、小米换机、荣耀换机克隆、快牙ZAPYA、QQ同步助手、S换机助手、360安全换机,下面请看榜单详细内容。
十大好用的虚拟光驱软件 虚拟光驱工具有哪些 免费的虚拟光驱软件
十大虚拟光驱软件名单如下:UltraISO软碟通、精灵虚拟光驱、酒精120、gBurner Virtual Drive、VirtualDVD、Virtual CloneDrive、WinMount、软媒魔方、LZZ VirtualDrive、WinCDEmu,下面请看榜单详细内容。
十大好用的硬盘分区工具 硬盘分区软件哪个好 免费的磁盘分区软件
十大硬盘分区软件名单如下:傲梅分区助手、DiskGenius、MiniTool分区向导、易我EaseUS、GParted、Partition Magic、Primo Ramdisk、KDE分区管理器、Gdisk、Fdisk,下面请看榜单详细内容。
十大好用的电脑清理软件 磁盘清理软件哪个好 电脑垃圾清理软件推荐
十大电脑清理软件名单如下:WizTree、Glary Utilities、CCleaner Professional、360清理大师电脑版、Wise Disk Cleaner、金山C盘清理大师、腾讯电脑管家、Geek Uninstaller、360安全卫士、金山毒霸,下面请看榜单详细内容。
十大好用的手机测速软件 wifi测速app哪个好 最准的测网速软件
十大测速软件名单如下:测网速UUSpeed、花瓣测速、Speedtest、安兔兔评测、网络万用表、全球网测、网速管家、泰尔网测、信通测速Speedtest、鲁大师,下面请看榜单详细内容。
十大专业显卡测试软件 显卡测试工具哪个好 显卡性能测试软件推荐
十大显卡测试软件名单如下:FurMark、Unigine Superposition、3D Mark、GPU-Z、Unigine Heaven Benchmark、GeekBench、Fraps、AIDA64、鲁大师、安兔兔评测,下面请看榜单详细内容。
十大数据分析必备软件 数据分析工具排名 好用的大数据分析软件
十大数据分析软件名单如下:SAS系统、Power BI、Tableau、Datawrapper、Zoho Analytics、MongoDB、Matlab、Stata、Minitab、EViews,下面请看榜单详细内容。
十大手机识图软件排行 拍照识图app哪个好用 免费识图搜图软件推荐
十大识图软件名单如下:形色、百度APP、Google Lens、慧眼识图、搜图神器、万能识图、搜狗浏览器、360识图、TinEye、SauceNAO,下面请看榜单详细内容。
什么软件跑分靠谱 跑分软件哪个权威 跑分排行榜前十名
十大跑分软件名单如下:3D Mark、鲁大师、AIDA64、PCMark、FurMark、GPU-Z、GeekBench、CPU-Z、Fritz Chess Benchmark、Prime95,下面请看榜单详细内容。
十大建模软件排行榜 三维建模软件排名 最好用的3d建模软件
十大建模软件名单如下:3DS MAX、Maya、Rhino、ZBrush、SketchUp、Blender、AutoCAD、Creo、SolidWorks、CATIA,下面请看榜单详细内容。
七大分屏软件推荐 手机同屏多窗口软件 手机分屏软件哪个好
七大分屏软件名单如下:VMOS、多任务分屏、SkyOlin Helper、多屏任务插件、牛轧糖平行窗口、XHFW3、XMultiWindow,下面请看榜单详细内容。
九大刷机软件排行 手机刷机软件哪种好 安卓刷机软件哪个好
九大刷机软件名单如下:奇兔刷机、刷机大师、甜椒刷机助手、卓大师刷机专家、线刷宝、爱思助手、兔兔助手、XY苹果助手、手机刷机管家,下面请看榜单详细内容。
十大画图软件排行 绘图软件都有哪些 画画软件用什么好
十大画图软件名单如下:Adobe Illustrator、Photoshop、CorelDRAW、Microsoft Office Visio、SAI、Origin、AutoCAD、几何画板、Painter、3DS MAX,下面请看榜单详细内容。
看图软件哪个好用 看图软件排行榜前十名 看图软件app推荐
十大看图软件名单如下:美图看看、2345看图王、ACDSee、Honeyview、Google Picasa、XNview、光影看图、FastStone Image Viewer、ImageGlass、Irfanview,下面请看榜单详细内容。
十大音频剪辑软件 音频编辑软件有哪些 音乐剪辑软件哪个好用
十大音频剪辑软件名单如下:Adobe Audition、Audacity、GoldWave、Pro Tools、Nuendo、Sound Forge、迅捷音频剪辑软件、闪电音频剪辑软件、FL Studio、AudioDirector,下面请看榜单详细内容。
相关分类
  • 短视频制作软件
  • 网站
  • 软件应用
  • APP手机软件
  • 工具软件
  • 媒体/平台
  • 在线视频
  • 购物网
  • 游戏平台
  • 学习网站
  • 企业管理软件
  • 办公软件
  • 模板网站
  • 音乐网站
  • 交易平台
  • 学科类网站
  • 招聘网站
  • 实用网站
  • 日常实用软件
  • 翻译软件
  • 语言翻译软件
  • 热门文章
  • 十大手机克隆软件
  • 十大资料软件
  • 十大同声翻译软件
  • 十大测速软件
  • 七大分屏软件
  • 十大比价软件
  • 十大手机cad软件
  • 十大看图软件
  • 十大显示器测试软件
  • 十大测温软件
  • 十大建模软件
  • 十大p图软件
  • 十大识图软件
  • 十大软件测试工具
  • 十大cpu超频软件
  • 热门词条
  • 1
    3DS MAX
  • 2
    迅捷藏文在线翻译
  • 3
    百度翻译
  • 4
    马化腾
  • 5
    张一鸣
  • 6
    狗语翻译器华为应用
  • 7
    WPS
  • 8
    快牙ZAPYA
  • 9
    追求AI手语识别
  • 10
    网易有道词典
  • 11
    维汉翻译官
  • 12
    Qtrans快翻
  • 13
    金山词霸
  • 14
    国语助手
  • 15
    文字网·上海话翻译器
  • 16
    维语翻译官
  • 17
    永中Office
  • 18
    金山文档
  • 19
    AirDroid
  • 20
    藏汉翻译通