批量对网站的url进行采集,全百科关键词URL采集工具支持不同的搜索引擎,批量自动处理,重复数据删除,使用非常的方便。
软件优势
支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。
做了兼容性优化。
支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;
从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;
多进程同时采集。每个搜索引擎都单独一个进程;
可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。
可自定义每页采集时间间隔,防止被屏蔽;
URL格式语法
URL由三部分组成:资源类型、存放资源的主机域名、资源文件名。
也可认为由4部分组成:协议、主机、端口、路径
URL的一般语法格式为:
(带方括号[]的为可选项):
protocol :// hostname[:port] / path / [;parameters][?query]#fragment
- PC官方版
- 安卓官方手机版
- IOS官方手机版