- 资源介绍
- 授权方式:开源软件
- 界面语言:简体中文
- 文件大小:729 KB
- 更新时间:2020-08-13
- 资源类型:国产软件
- 推荐等级:★★★☆☆
- 平台环境:JAVA
- 作者主页:点击查看
- 演示地址:点击查看
详细介绍 – [ WebMagic(Java爬虫框架) v0.7.2 ]
webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
webmagic的主要特色
1、完全模块化的设计,强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置,但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖,可以灵活的嵌入到项目中去。
WebMagic(Java爬虫框架)页面展示相关阅读
同类推荐:站长常用源码
猜你喜欢
-
淘宝店铺货源导航(生成html)仿主机之家风格版带精美淘宝客 v1008
2020-08-13 -
21行业网 v9.0 build 20110130
2020-08-14 -
X2CMS v1.1 Beta
2020-08-13 -
彩色方块倒计时JS代码
2020-08-12 -
留言板 for gnuboard v4.32.13
2020-08-14 -
果品类企业织梦模板
2020-08-14 -
简洁电气空气净化设备织梦网站模板 v1.0
2020-08-14 -
SIYUCMS企业网站系统 v6.1.3
2020-08-14 -
jQuery WYSIWYG Rich Text Editor v0.4.2
2020-08-15 -
AjaxQuickSearch快速显示搜索结果程序 V1.0
2020-08-14
猜你在找
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
源码库 » WebMagic(Java爬虫框架) v0.7.2
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
源码库 » WebMagic(Java爬虫框架) v0.7.2