混合更新

编辑
文档创建者:youdunhou (管理员 )     浏览次数:561次     编辑次数:4次     最近更新:doreen0813 于 2017-09-06     

目录:

1、描述编辑

在Fineindex的更新中,由于各个表的记录内容不同,数量也不同,因此在更新策略上就会有所不同,这是一种情况;在增量更新中,采用对照表的方式进行增量;如果增量更新的表结构发生变化,增量更新就无法通过对照表的形式去更新表结构而发生更新报错。同时通过对照表的形式进行增量更新有一定的不确定性,无法完全保证全量更新后的数据一致性;因而,对于大数据表可能会使用“工作日实行增量,周末实行全量更新”的策略。下面来详细说明混合更新情况。

2、不同表的更新策略编辑

我们从表的内容上来看不同的更新策略及其操作:

2.1行业标准字典表、地区表

行业标准(字典表):这类表基本上每种业务分析中都有的。行业标准字典表一般是极少发生变化或发生变化的周期都相对较长;可能是一个季度、一年、甚至几年才可能变化一次;如林业的林地分类、林种分类;评价标准等一些数据。

地区表:地区表是通用的,按国家标准来的表;可能几年都不会变化。

时间维度表:通常时间维度表以季度、月、天为维度;这些是不会变的常识。

以上这些表一般都采用“首次更新,此后不更新”。
222

2.2 sql数据集、无唯一字段的表

这些表一般是通过sql进行聚合过的表或不满足增量更新表;这些业务表会随时间不断的变化;而且只能使用全量更新方式更新数据;在定时的设置上,通常按业务数据的更新周期进行定时设置。如若与大多数业务数据一致,则设置全局更新的定时:单表设置,默认使用全局更新时“一直全量更新”。
222

如若与大多数业务表更新周期相差较大,则应选择“单独更新”定时,在全局更新时选择首次全量,以后不更新。不再随着全局更新的定时设置。

222

2.3 大数据集、存在唯一字段的表
当一张表的数据量非常大的时候,5000千万以上甚至1亿以上的数据。全量更新必然耗费大量的时间;因此采用增量更新的方式。增量更新需要的条件是存在唯一的字段作为标识,详见增量更新设置
增量更新虽然能够缩减更新的时间,但是仍然存在一定的问题。增量更新是根据对照表的更新日志来进行的;如果被更新的表出现表结构的更改如表字段增加或减少,会直接造成更新失败。此时就需要进行全量更新。另一方面;对照更新日志的增量更新在复杂的多样更新策略并不能完全保证数据的一致性;每月或每周执行一次全量更新可能会使数据一致性更优;因此在增量更新中不可避免的存在要求全量更新。
1、增量更新报错
增量更新报错,可以在单表设置界面点击立即全局更新将该表进行全量更新来更新表结构及表数据。
222
2、增量更新+全量更新方式
该更新方式中,增量更新与业务数据更新周期一致如每天一次,全量更新以每周或每月为全量更新周期。通常如果全局更新的定时是每天晚上更新,则全量更新可以单独更新定时为每周末或,每月末。
222
以上便是基本的表更新策略。

附件列表


主题: 数据配置
标签: 暂无标签 编辑/添加标签
如果您认为本文档还有待完善,请编辑

文档内容仅供参考,如果你需要获取更多帮助,请咨询帆软技术支持
关于技术问题,您还可以通过帆软论坛获取帮助,论坛上有非常多的大神,有些水平比帆软工程师还要高哦。
若您还有其他非技术类问题,可以联系帆软传说哥(微信ID:frbiaoge)

本文档是否有用?
谢谢! 我们非常感谢您的反馈。
提交反馈: