历史版本25 :BI/Spider参数 返回文档
编辑时间: 内容长度:图片数:目录数: 修改原因:

目录:

1. 概述编辑

1.1 版本

FineBI 版本JAR 包版本功能变动
5.1--
5.12020-08-03
删除「内存化过滤In条件个数」、「参数控件过滤生效」、「开启分页计算」、「分页计算汇总多线程计算方式」参数

注:本文适用于 抽取数据 版本参数,实时数据版本 BI 不适用。 

1.2 功能简介

FineBI 在系统管理里提供了配置一些 BI 参数和调优参数的功能,方便系统管理和项目实施人员简单快捷的了解当前系统配置,并在界面上进行快速设置。

管理员登录数据决策系统,进入管理系统>系统管理>常规,可以看到 BI 和 Spider 参数配置的页面。如下图所示:

1600244464616122.png

2. BI 参数编辑

2.1 数据类型识别

参数属性

默认值关闭
参数说明
  • 是否开启正确识别类型但是可能丢失精度的配置;默认为关闭,表示数值类型字段精度超出BI可读取范围(1~19位)时,自动转为文本类型进行读取;

  • 打开该参数开关后,无论数值字段精度多少位,均能正确识别为数值类型,但是当数值本身精度超出 BI 范围时,会丢失精度

修改后是否需要重启

2.2 数据访问量

参数属性

默认值1000000
参数说明设置预览时访问数据库的数据量。这个参数会影响到缓存,更改时需谨慎,设置太大很容易将内存撑爆,需要根据自身内存大小适当调整; 详细可参考:当前表数据量超过最大可显示行数 。
修改后是否需要重启

2.3 缓存设置

参数属性

默认值开启
参数说明开启关闭缓存设置;
修改后是否需要重启

2.4 缓存时间(秒)

参数属性

默认值600
参数说明

缓存时间,单位秒

建议设置区间:[60, 1,800],配置过低,会降低重复访问相同数据时的性能表现。配置过高,会降低访问数据的及时性,建议保持默认值 600;

修改后是否需要重启

2.5 中文排序

参数属性

默认值关闭
参数说明是否使用中文排序,默认关闭,表示不使用中文排序;设置后,抽取数据的表需要重新抽数;
修改后是否需要重启

2.6 多指标计算线程数

参数属性

默认值20
参数说明控制多指标计算时的线程数;
修改后是否需要重启

3.  Spider 参数编辑

Spider 参数包含基础参数和高级调优参数,如下图所示:

294.png

3.1 基础参数

3.1.1 分析用户自助数据集磁盘占用大小(单元格)

该参数只影响 数据存放路径 (默认%FineBI%/bin/ROOT 文件夹)下数据文件夹的磁盘占用空间大小,服务器磁盘空间 1T 以上可考虑修改,1T 以下保持默认配置即可。

参数属性

默认值50,000,000;
参数说明快速分析生成过程中支持的最大单元格数量,超出则生成失败。具体可参考:  自助数据集数据量限制 。
修改后是否需要重启
注:若修改过大会导致磁盘占满,引起宕机。

3.2 高级调优参数(常用)

3.2.1 抽数压缩线程数

参数属性

默认值8
参数说明抽取数据时,分片(压缩&写入)线程的数量。在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程,减轻内存压力;
修改后是否需要重启

3.2.2 抽数压缩线程队列大小

参数属性

默认值200
参数说明抽取数据时,未处理的分片等待队列长度,在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小队列长度,减轻内存压力;
修改后是否需要重启

3.2.3 spark日志输出等级

参数属性

默认值INFO;
参数说明

spark日志输出等级,标准输出流,输出在tomcat的catalina.out文件内或者BI的nohup文件内,可以选择项为:INFO、WARN、ERROR、DEBUG。

 INFO:打印错误类和基本执行日志;WARN:打印警告或提示类信息;ERROR:只打印错误类日志;DEBUG:打印所有日志;

修改后是否需要重启

3.2.4 新增数据抽数任务执行线程数

参数属性

默认值5
参数说明新增数据的抽数任务同时执行的线程数,在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程数,减轻内存压力;
修改后是否需要重启

3.2.5 精简模式日期

参数属性
默认关闭
 参数说明

精简模式开启时,日期字段在进行数据抽取时,只提前生成少量分组类型,加快生成速度,减少占用空间。未生成的分组在进行计算时可能会有性能损耗;

修改后是否需要重启是(且需重新更新数据)

 3.3 更多参数

3.3.1 spark driver端口

参数属性

默认值17777;
修改后是否需要重启

3.3.2 spark blockManager端口

参数属性

默认值17778
修改后是否需要重启

3.3.3 spark本地模式临时文件路径

参数属性

默认值null (linux下实际为/tmp)
参数说明Spark写临时文件的目录,需给足一定的空间,修改至SSD挂载路径可提升Spark处理关联、SparkSql查询的性能(注:集群版该参数无效,需要在服务器端配置)
修改后是否需要重启

3.3.4 优先使用 Spark SQL 计算去重记录数

参数属性
默认值关闭
参数说明
是否优先使用SparkSQL计算去重记录数,在数据量不超过1000w但是分组数依旧很大的情况下(会有内存溢出报错)可能会需要设置为true,绝大多数场景默认值满足需求,
修改后是否需要重启

3.3.5 spark动态调节功能

参数属性
默认值开启
参数说明spark动态 根据计算数据量调节task的数目,开启后对于小数据量的计算性能提升明显
修改后是否需要重启

3.3.6 增量更新数据块整理计划

参数属性
默认值关闭
参数说明在这个时间段内,增量更新任务不会执行合并操作,提升增量更新的速度。默认是null,设置格式hh:mm:ss-hh:mm:ss, example:10:10:10-12:12:12。
修改后是否需要重启