历史版本33 :直连数据和抽取数据的区别 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineBI 版本
调整功能
6.0-
6.0.2实时数据和抽取数据部分计算逻辑统一,详情参见本文第 3 节

1.2 应用场景

本文将为用户介绍「实时数据」和「抽取数据」是什么,以及它们之间有什么区别。

2. 实时与抽取的介绍编辑

2.1 实时和抽取的区别

  • 实时数据(直连)

使用直连版本时, FineBI 直接使用用户的数据库中的数据计算。所以 FineBI 中的数据与用户数据库中的数据是一直同步的。

  • 抽取数据

使用抽取数据时, FineBI 将数据库中的数据抽取到 FineBI 中(相当于另存到 FineBI 中),所以数据库中的数据FineBI 中的数据不能随时保持同步。需要定期对 FineBI 中的数据进行更新,从而保持和数据库中的数据一致。

又因为数据需要抽取保存到 FineBI 的引擎中,所以「抽取」版本下,需要用户的本地磁盘拥有足够的空间。

2.2 如何选择实时和抽取

2.2.1 什么样的用户适合实时数据(直连版本)

拥有大数据平台的用户

目前很多企业有较为专业的大数据平台,数据质量很高,通过直连引擎取数,可以在保障数据分析性能的同时避免数据资源冗余。

实时性需求很高的用户

用户进行业务分析实时性要求很高。直连引擎实时取数,最高实现毫秒级数据刷新。

数据安全性要求很高的用户

不希望将数据抽取到第三方软件,可使用新直连版本直连自己的数据库。

数据量比较小,并觉得抽取要更新数据太过麻烦的用户

直连性能要求较 抽取数据 要高一些,这部分用户数据量小所以使用直连不会有性能方面的担忧。使用直连可以不用更新数据,较为方便。

用户量和并发比较高的用户

1)直连支持web集群的,可以解决用户并发量比较高的问题。

2)如果用户多,就会容易有更多的表和自助数据集,要更新起来会比较麻烦。使用直连版本可以不用更新。

2.2.2 什么样的用户适合抽取数据

用户需要使用多个数据库中的数据做联合分析时,可以选择抽取数据。直连版本不能对跨数据源的数据表做联合分析(建立关联、上下合并、左右合并等)。

3. 组件中实时和抽取的计算逻辑编辑

3.1 相同场景的计算逻辑

计算逻辑抽取直连
快速计算过滤对合计值的影响不影响
不影响
快速计算对其他快速计算指标的影响不影响不影响
快速计算对其他快速计算合计的影响不影响不影响
结果过滤器的过滤和表头过滤的层级被拉平结果过滤器的过滤先过滤,然后再执行表头上的过滤结果过滤器的过滤和行表头上的过滤为同一级
维度依据指标过滤/排序,依赖合计行依赖于自动配置的依赖于自动配置的
交叉表过滤逻辑过滤具体各自过滤具体各自
null和空字符串的过滤逻辑不同选择一个,全部都过滤掉不同的过滤逻辑,空过滤空,null过滤null

3.2 函数执行逻辑

计算逻辑抽取直连
MOD
MOD(-3,2)=1MOD(-3,2)=-1
=,!=,==两端类型可以不同两端类型需要相同

NVL

IF

(NULL相关的问题)

空字符串为 NULL空字符串不为 NULL ,直接返回

PROPER

支持不支持

REGEXP

支持三个参数,第三个参数为模式支持两个参数

SPLIT

支持不支持

SUBSTITUTE

支持不支持

YEARQUARTER

MONTHDAYHOUR

MINUTESECOND

支持一个参数支持一个参数
WEEK支持两个参数,第二个参数为格式支持一个参数

DAYSOFYEAR

支持任意类型(数值转文本处理)支持日期、文本类型

WEEKDATE

参数支持文本和数值类型只支持数值类型

DAYS360

支持不支持
TODATE支持支持

LUNAR

支持不支持
INT支持数值、文本参数只支持数值参数

百分位函数

支持支持

3.3 实时和抽取计算逻辑不同的场景

计算逻辑抽取直连

fixed 函数

不支持支持

近似去重函数

不支持支持