单表更新

编辑
文档创建者:夏娃 (超级管理员 )     浏览次数:1464次     编辑次数:19次     最近更新:doreen0813 于 2017-11-20     

目录:

1、描述编辑

Fineindex单表更新,是指在某个业务包的某个表上面设置的更新,分为随全局的更新方式、立即更新和定时更新。随全局的更新方式有三种:“总是全量更新”,“首次全量,以后增量”,“首次全量,以后不更新”。定时更新是指在某个固定的时间点对某个业务包中的特定表进行数据更新,分为全量更新和增量更新。全量更新是指将该表对应到数据库中表的所有数据全部更新一次到本地的Fineindex中。增量更新是指在当前Fineindex中该表已有数据的基础上,将对应数据库中表的未更新的数据(与当前Fineindex中表不一样的数据)更新到本地的Fineindex中。
注:单表更新的时候,并非只执行当前这一只表,它将首先获取该表的所有依赖的基础表,依赖的基础表指在ETL流对于某表的上边的表来说的。获取这个些基础表后,会执行这些基础表的单表更新;再获取关于此表的所有关联关系(包括主外键表),分析关联关系与表数据是否完整,如不完整则删除另一端不存在的关联;存在则获得需要关联的路径,而后计算关联相关的路径,如该路径数据完整,则确认是要更新的关联,进行关联关系的更新。
另外:A表如果是某些ETL表的基础表,更新A表时,这些ETL表也会被更新。下面详细的介绍单表更新。

2、更新设置界面编辑

选择数据配置>业务包管理,点击需要设置Fineindex定时更新的业务包,进入业务包设置界面,单击需要设置更新的表,如下图,选择销售demo业务包,对销售员维度表设置定时更新。
点击销售员维度表,进入表设置界面,点击下方的更新设置按钮,如下图:

进入更新设置界面,如下图:

由上向下,依次是单表随全局更新的更新方式、单表立即更新按钮、定时更新设置、增量更新设置框。 
单表随全局更新的更新方式是指在全局更新时该表执行什么样的更新方式;
单表立即更新按钮是立即执行该单表更新的触发器;可以选择立即全量更新,立即增量更新。
定时更新设置是针对该表进行的单表更新,可以选择全量更新或增量更新。下面详细说明。

3、更新界面说明编辑

3.1 随全局更新方式

展开更新方式。我们可以看到一共有三种更新方式,分别是“一直全量更新”,“首次全量,此后增量更新”,“首次全量,此后不更新”。如下图:

下面详细解释这三种方式:
一直全量更新:一直全量更新就意味着每次全局更新时,整个表包括字段、字段值都全部更新。 
首次生成为全量,此后增量更新:首次生成FineIndex是全量更新,以后一直使用增量更新的方式。增量更新是指对表中新增加、新删除和新修改的数据进行更新,即将数据库中有变化的数据更新至FineIndex中,并保持以前的数据不变动。其设置界面在下方,分为增量增加、增量删除、增量修改。其具体的增量更新的详细设置见增量更新。这种更新方式适合于数据量非常大的业务明细数据。
首次生成为全量,此后不更新:第一次生成FineIndex是全量的数据,此后无须在全局更新的时候去更新这张表;一般这种方式适合于一些基础维度表,这些表一般是固定的标准,极少改变;比如一些行业标准的字典表、省市地区表;

注:全局更新的更新过程包括数据读取/加载>生成索引>生成关联,而设置此后不更新的表在全局更新过程中就不会有生成索引的过程,即只会读取数据并生成关联,因此在全局更新中对于设置了以后不更新的表可节约部分时间。

3.2 立即更新该表

立即更新该表就是直接执行该表的更新。在点击按钮后可以选择两种更新方式:全量更新与增量更新。当然这里面增量更新的方式需要先行设置好。

注:增量更新的时候,如果数据表结构发生变化如多加一个字段或少一个字段,此时增量更新不会进行字段的增加或减少,因而会产生更新错误;这时候需要先采取全量更新的方式。

3.3 定时更新

定时更新是针对当前表所进行的定时更新任务;与全局更新的定时任务是分开执行的。单击后进行定时任务的设置。

 定时更新任务是由更新周期设置与更新方式组成的,如下图:

任务名称可自定义设置(同类型定时任务不能重名),更新方式可以选择全量更新与增量更新两种。

更新周期由三个参数组成:开始、结束时间和执行频率,它的设置与全局定时更新中的时间周期定时设置一致。

3.4 单独更新与全局更新
由上我们可看到,单表更新的操作受到全局更新方式与单独更新影响;在对大数据量表更新时候,应该避免同一天出现多次更新的情况;通常设置了随全局更新的更新或增量更新,表更新会随着全局更新的定时设置执行更新操作;而定时更新就不必进行设置,或者采取大周期的与全局更新方式不同的更新(如果设置随全局更新的定时增量更新;单独定时可以设置大周期的定时全量更新)。
注:1)所有的单表第一次加到业务包中,都要全量更新。 2)当该表的3种更新方式,刚好设置在同一时刻时,更新的先后顺序为随机的顺序。

上述功能需4.1以上版本支持。

附件列表


主题: 数据配置
标签: 暂无标签 编辑/添加标签
如果您认为本文档还有待完善,请编辑

文档内容仅供参考,如果你需要获取更多帮助,请咨询帆软技术支持
关于技术问题,您还可以通过帆软论坛获取帮助,论坛上有非常多的大神,有些水平比帆软工程师还要高哦。
若您还有其他非技术类问题,可以联系帆软传说哥(微信ID:frbiaoge)

本文档是否有用?
谢谢! 我们非常感谢您的反馈。
提交反馈: