WebMagic（Java爬虫框架） v0.7.2-源码库

资源介绍

授权方式：开源软件
界面语言：简体中文
文件大小：729 KB
更新时间：2020-08-13
资源类型：国产软件
推荐等级：★★★☆☆
平台环境：JAVA
作者主页：点击查看
演示地址：点击查看

详细介绍 – [ WebMagic（Java爬虫框架） v0.7.2 ]

webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。

webmagic的主要特色

1、完全模块化的设计，强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置，但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖，可以灵活的嵌入到项目中去。

WebMagic（Java爬虫框架）页面展示 WebMagic（Java爬虫框架） v0.7.2插图相关阅读

同类推荐：站长常用源码

猜你在找

织梦模板

1. 本站所有资源来源于用户上传和网络，如有侵权请邮件联系站长！
2. 分享目的仅供大家学习和交流，您必须在下载后24小时内删除！
3. 不得使用于非法商业用途，不得违反国家法律。否则后果自负！
4. 本站提供的源码、模板、插件等等其他资源，都不包含技术服务请大家谅解！
5. 如有链接无法下载、失效或广告，请联系管理员处理！
6. 本站资源售价只是赞助，收取费用仅维持本站的日常运营所需！

源码库 » WebMagic（Java爬虫框架） v0.7.2

分享到：