• 爱情文章
  • 亲情文章
  • 友情文章
  • 生活随笔
  • 校园文章
  • 经典文章
  • 人生哲理
  • 励志文章
  • 搞笑文章
  • 心情日记
  • 英语文章
  • 范文大全
  • 作文大全
  • 新闻阅读
  • 当前位置: 山茶花美文网 > 经典文章 > 正文

    [SiteServer,CMS信息采集概述]电子信息工程就业方向

    时间:2020-04-29来源:山茶花美文网 本文已影响 山茶花美文网手机站

    Web是一个巨大的资源宝库,目前页面数目已超过400亿,每小时还以惊人的速度增长,里面有你需要的大量有价值的信息,例如潜在客户的列表与联系信息,竞争产品的价格列表,实时金融新闻,供求信息,论文摘要等等。 可是由于关键信息都是以半结构化或自由文本形式存在于大量的HTML网页中,很难直接加以利用。

    SiteServer CMS 信息采集功能的主要目标就是解决网络信息的采集问题,系统通过一些定制的采集逻辑,自动从指定网站或数据库中获取内容并保存到网站中。

    一、主要功能

    SiteServer CMS 提供强大的信息采集功能模块,用户只需要告诉系统目标网页并简单地设置页面规则,很快就可以直接得到所需要的数据了。

    SiteServer CMS信息采集概述1

    除了典型的Web页面信息采集外,系统还提供数据库信息采集与单文件页采集功能:

    Web页面信息采集用于自动从指定网站中获取内容;

    数据库信息采集用于自动从指定数据库中获取内容;

    单文件页采集用于将指定网页采集到本地的对应文件中。

    二、系统特点

    结果数据高度准确

    对目标网站进行信息自动抓取,支持HTML页面内各种数据的采集,如文本信息、图片、附件、日期等

    用户对每类信息自定义来源与分类

    可以下载图片与各类文件

    支持定时任务,可以与SiteServer CMS 定时模块相配合,定期抽取目标网站

    支持记录唯一索引,避免相同信息重复入库

    支持智能替换功能,可以将内容中嵌入的所有的无关部分如广告去除

    支持下一页自动浏览功能

    支持数据的多种后期处理方式

    数据直接进入数据库而不是文件中,因此与利用这些数据的网站程序或者桌面程序之间没有任何耦合

    支持数据库表结构完全自定义,充分利用现有数据库结构

    支持多个栏目的信息采集可用同一配置一对多处理

    保证信息的完整性与准确性,绝不会出现乱码

    三、运用行业

    通过信息采集功能,用户将在信息来源,资源整合方面节约大量的人力与资金。

    广泛应用于门户网站,新闻媒体,科研单位、企业网站等领域。

    • 爱情文章
    • 亲情文章
    • 友情文章
    • 随笔
    • 哲理
    • 励志
    • 范文大全