东坡下载:内容最丰富最安全的下载站!

帮助|文件类型库|最新更新|下载分类|排行榜

编程相关破解相关编程工具反编译安装制作程序源码软件补丁数据库Visual Studiovc++visualbasicdreamweaver

首页编程开发编程相关 → WebMagic 0.7.3 官方最新版

WebMagic

WebMagic0.7.3 官方最新版

  • 大小:13.4M
  • 语言:中文
  • 平台:WinAll
  • 更新:2017-07-31 14:55
  • 等级:
  • 类型:编程相关
  • 网站:暂无
  • 授权:免费软件
  • 厂商:
  • 产地:国产软件
好用好玩 50%(0)
坑爹 坑爹 50%(0)
软件介绍软件截图相关软件软件教程网友评论下载地址

WebMagicjava上面经常的需要的一款爬虫类型的工具了,现在就可以试试最新的0.7.3版本,功能以及使用上面都是完全的免费的,欢迎大家试试!

WebMagic中文版功能

WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic,你可以快速开发出一个高效、易维护的爬虫。webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

WebMagic常见问题

(1)由于我这个爬虫的抓取有分页,而且它的分页通过js跳转的,抽取出来感觉有点麻烦,我想直接得到所有的信息,发现可以通过输入url地址请求得到所有的信息(这是网站的一个小问题,它没有设置每页数据记录条数的范围),但是需要登录才可以进行url地址的访问,就要使用cookie模拟登录。

(2)下面分析有关登录信息的cookie,我使用的是chrome,点击如图位置,会看到此网站的cookie,(如果已经访问了一段时间了,可以清除所有cookie然后重新登录再访问,否则可能会有很多的cookie,分析起来不方便),由于只有5个cookie,直接加上就可以访问了

WebMagic 0.7.3更新内容

本次更新增加了Downloader模块的一些功能。

#609 修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。

#631 HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。

#571 Page对象增加bytes属性,用于获取二进制数据。下载纯二进制页面时,请设置request.setBinarayContent(true),这样对于二进制内容不会尝试转换为String,减小开销。

#629 在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。

#610 自动识别编码时,可以识别Content-Type中charset为大写的情况。

#627 支持为Request单独设置页面编码,兼容同一站点多种编码方式的情况。

#613 Page对象增加charset属性,其值为request/site中设置的charset,或者为自动检测的charset(未定义时)。

#606 升级jsonpath到2.4.0

#608 升级jsoup到1.10.3

PC官方
安卓官方手机版
IOS官方手机版

WebMagic截图

下载地址

WebMagic 0.7.3 官方最新版

热门评论
最新评论
昵称:
表情: 高兴 可 汗 我不要 害羞 好 下下下 送花 屎 亲亲
字数: 0/500 (您的评论需要经过审核才能显示)

编辑推荐

报错

请简要描述您遇到的错误,我们将尽快予以修正。

转帖到论坛
轮坛转帖HTML方式

轮坛转帖UBB方式