- 资源介绍
- 授权方式:开源软件
- 界面语言:简体中文
- 文件大小:729 KB
- 更新时间:2020-08-13
- 资源类型:国产软件
- 推荐等级:★★★☆☆
- 平台环境:JAVA
- 作者主页:点击查看
- 演示地址:点击查看
详细介绍 – [ WebMagic(Java爬虫框架) v0.7.2 ]
webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
webmagic的主要特色
1、完全模块化的设计,强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置,但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖,可以灵活的嵌入到项目中去。
WebMagic(Java爬虫框架)页面展示相关阅读
同类推荐:站长常用源码
猜你喜欢
-
HGM环形菜单源码 v1.0
2020-08-14 -
漂亮功能强大的商城网站源码 商城模版 购物网站 ASP源码
2020-08-13 -
UBBEditor 可视化的UBB编辑器 v1.0.2.0
2020-08-14 -
云集科技笑话小偷WAP v1.7.2 简单版
2020-08-13 -
51job招聘信息采集 PHP
2020-08-14 -
网络同居交友程序(爱情公寓) Build 0425
2020-08-14 -
良精中英文博客网站管理系统 build 100726
2020-08-13 -
创意互动网站导航 v1.0
2020-08-13 -
Asp.net简单XML新闻发布系统
2020-08-14 -
艺帆简洁干净家具网站源码 v1.7.6
2020-08-13
-
xmask问答系统(仿新浪爱问) v1.0
2020-08-13 -
ResourceSpace资源管理程序 v6.1.5219
2020-08-14 -
LinkMan v1.7 完全汉化版
2020-08-14 -
IP地址查询 v3.0 php版
2020-08-14 -
活动APP for ThinkSAAS v0.9
2020-08-14 -
远航企业网站管理系统(分站版) v2.6.4
2020-08-14 -
OpooPress 网站发布系统 v1.1.1
2020-08-15 -
奥数英语培训学校网站系统 2.1.0
2020-08-12 -
莆田酒吧音乐系统源码
2020-08-13 -
启明星Appform员工请假系统 v27.0
2020-08-14
猜你在找
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
源码库 » WebMagic(Java爬虫框架) v0.7.2