历史版本44 :BI/Spider参数 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineBI 版本功能变动
6.0-
6.0.2数据类型识别逻辑优化,对数据位数进行更准确的判断

1.2 功能简介

FineBI 在系统管理里提供了配置一些 BI 参数和调优参数的功能,方便系统管理和项目实施人员简单快捷的了解当前系统配置,并在界面上进行快速设置。

管理员登录FineBI系统,进入「管理系统>系统管理>常规」,可以看到 BI 和 Spider 参数配置的页面。如下图所示:

2. BI 参数编辑

参数定义默认值

修改后是否

需要重启工程

数据类型识别

1)当数据类型为float、double类型时,始终读取为double。

2)当数据类型为decimal类型时,根据位数判断是识别成double还是string。

  • 仅当不开启「数据类型识别」,且不含小数,且字段长度超过15位时,识别为文本类型(string)

  • 其他情况下均识别为数值类型(double)

3)字段类型识别成double时,double本身支持的精度只有2^52 = 4503599627370496,所以当数值长度超过15位时就可能发生精度丢失的情况

4)在未开启参数的情况下添加的表(直连和分布式),如果表没被编辑过,开启参数重启后,进入表编辑界面可以获取为数值字段类型,重新保存即可。

如果表是被编辑过的,开启参数重启后,进入表编辑界面依然会是文本类型,不会再读取为数值。

关闭
数据访问量

数据访问量限制了可读入服务器内存的数据行数。并非所有大数据量计算场景都会将所有数据读入内存,FineBI Spider 引擎具有智能的内存使用策略

配置过低,将影响数据计算准确性。

配置过高,系统有宕机风险。重启后生效。

建议保持默认值 1000000。建议设置区间:[10,000,1,000,000],最高可设置为10,000,000

1000000
SQL参数控件过滤生效

控件绑定SQL参数功能与过滤功能是否同时生效

默认关闭,表示不生效

关闭
多指标计算线程数控制多指标计算时的线程数20
中文排序

是否使用中文排序

默认关闭,表示不使用中文排序

开启后,抽取数据的表需要重新抽数

详情参见:排序 1.4 节

关闭
Excel 导出数据量限制

用户导出 Excel 时可能会超出数据量限制,提供该参数便于用户设置,超过限制导出将直接报错

单位:单元格(行*列)

默认值:空,即不限制

配置范围:0-2,000,000,000 

建议配置范围:0-1,000,000,000 

明细表导出并发线程数限制

当多个用户同时导出数据量很大的 Excel 时,可能会超过并发数,影响用户使用,因此提供该参数,可设置同时进行明细表导出的用户数。超过限制导出,业务员需等待。

配置范围:1-10

建议配置范围:1-5,建议保持默认值

3

直连查询超时时间(秒)

当仪表板中组件过多,组件查询时间会过长,或者仪表板中某个组件查询时间过长,导致后续 BI 请求被阻塞,容易误认为产品宕机。

此时可设置直连查询超时时间,所有实时数据查询超时之后将会中止查询,防止异常慢查询阻塞其他正常查询。

组件返回如下报错: 组件查询时间超过Xmin,查询中断

单位:秒

默认值:180

建议配置范围:10-300

生效范围:BI直连除获取表结构之外的所有查询请求

180

3. Spider 参数编辑

Spider 参数包含基础参数和高级调优参数,如下图所示:

注:其中「Spider 参数」适用于抽取数据,实时数据不适用。 

12.png

3.1 基础参数

分析用户自助数据集磁盘占用大小(单元格)参数只影响 数据存放路径 (默认%FineBI%/bin/ROOT 文件夹)下数据文件夹的磁盘占用空间大小,服务器磁盘空间 1T 以上可考虑修改,1T 以下保持默认配置即可。

参数定义默认值

修改后是否需要重启工程

分析用户自助数据集磁盘占用大小

注:若修改过大会导致磁盘占满,引起宕机。

快速分析生成过程中支持的最大单元格数量,超出则生成失败

详情请参见:  自助数据集数据量限制 。

50,000,000
自助数据集默认更新设置

自助数据集单表更新是否跟随父表更新

详情请参见:自助数据集单表更新

跟随父表更新

3.2 高级调优参数(常用)

参数
定义默认值

修改后是否

需要重启工程

抽数压缩线程数

抽取数据时,分片(压缩&写入)线程的数量

在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程,减轻内存压力

8
抽数压缩线程队列大小

抽取数据时,未处理的分片等待队列长度

在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小队列长度,减轻内存压力

200
Spark日志输出等级

spark日志输出等级,标准输出流,输出在 Tomcat 的 catalina.out 文件内或者 BI 的 nohup 文件内

可选项为:INFO、WARN、ERROR、DEBUG。

  • INFO:打印错误类和基本执行日志

  • WARN:打印警告或提示类信息

  • ERROR:只打印错误类日志

  • DEBUG:打印所有日志

INFO
新增数据抽数任务执行线程数

新增数据的抽数任务同时执行的线程数

在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程数,减轻内存压力

5
精简模式日期精简模式开启时,日期字段在进行数据抽取时,只提前生成少量分组类型,加快生成速度,减少占用空间。未生成的分组在进行计算时可能会有性能损耗;关闭是(且需重新更新数据)

3.3 更多参数

参数
定义默认值

修改后是否

需要重启工程

Spark Driver端口-17777
Spark blockManager端口-17778
Spark本地模式临时文件路径

Spark写临时文件的目录,需给足一定的空间,修改至SSD挂载路径可提升Spark处理关联、SparkSql查询的性能

注:集群版该参数无效,需要在服务器端配置

null (Linux下实际为/tmp)
Spark动态调节功能Spark动态 根据计算数据量调节task的数目

开启后对于小数据量的计算性能提升明显

开启
增量更新数据块整理计划

在这个时间段内,增量更新任务不会执行合并操作,提升增量更新的速度

设置格式 hh:mm:ss-hh:mm:ss

示例 10:10:10-12:12:12

关闭