目录:
1、描述编辑
FineBI在系统管理里提供了配置一些BI参数和调优参数的功能,方便系统管理和项目实施人员简单快捷的了解当前系统配置,并在界面上进行快速设置。
如下图,管理员登录FineBI数据决策系统,进入管理系统>系统管理>常规,可以看到BI和Spider参数配置的页面。
2、BI参数编辑
BI参数 | 参数描述 | 参数说明 | 默认值 | 修改后是否需要重启 |
---|---|---|---|---|
数据类型识别 | 是否开启正确识别类型但是可能丢失精度的配置 | 默认为false,表示数值类型字段精度超出BI可读取范围(1~19位)时,自动转为文本类型进行读取;修改该参数为true之后,无论数值字段精度多少位,均能正确识别为数值类型,但是当数值本身精度超出BI范围时,会丢失精度; | 默认关闭 | 是 |
数据访问量 | 设置实时数据创建自助数据集时最大支持的数据量 | 这个参数会影响到缓存,更改时需谨慎,设置太大很容易将内存撑爆 | 1000000 | 是 |
缓存设置 | 开启关闭缓存设置 | true | 否 | |
缓存时间(秒) | 缓存时间,单位秒(除去关联维表缓存和分页缓存的其他缓存),默认不配置,大数据缓存10分钟,小数据集缓存5分钟 | 设置成0,表示缓存始终生效。 | 不配置 | 是 |
缓存个数 | 缓存个数(除去关联维表缓存和分页缓存的其他缓存),默认不配置时,大数据集缓存100个,小数据集缓存10000个。 | 设置成0,表示缓存个数无限制 | 不配置 | 是 |
参数控件过滤生效 | 控件绑定参数功能与过滤功能是否同时生效 | false | 否 | |
中文排序 | 是否使用中文排序 | 设置后,抽取数据的表需要重新抽数 | false | 是 |
关联缓存依据值 | 设置关联维度表缓存划分大小的依据值,默认1000000,判断依据为 行*列 >= 依据值,为大缓存 , 行* 列 < 依据值,为小缓存。 | 1000000 | 是 | |
维表存放数量-largeCache | 设置放入存放大数据量数据的缓存中的维表的存放数量。默认100 | 100 | 是 | |
维表存放数量-littleCache | 设置放入存放小数据量数据的缓存中的维表的存放数量。 默认10000 | 10000 | 是 | |
维表失效时间-largeCache | 设置存放大数据量数据的缓存的缓存失效时间长度(单位秒)。 默认600 | 600 | 是 | |
维表失效时间-littleCache | 设置存放小数据量数据的缓存的缓存失效时间长度(单位秒)。 默认300 | 300 | 是 | |
内存化过滤In条件个数 | 内存化维表过滤条件转化为事实表时允许的in条件个数 | 10000 | 否 | |
多指标计算线程数 | 控制多指标计算时的线程数 | 20 | 是 | |
分页缓存 | 是否开启分页缓存 | true | 否 |
管理员可以参照上方对参数的详细介绍和说明对BI参数进行配置,对于修改后需要重启的参数,在修改配置后需要重启FineBI才能生效;对于修改后不需要重启的参数,修改后直接生效。
3、Spider参数编辑
FineBI版本 | jar包版本 |
---|---|
5.1 | 2019-04-30 |
Spider参数中提供了FineSpider本地版和FineSpider分布式引擎分别配置参数的地方,其中FineSpider分布式引擎的参数配置需要在管理系统>智能运维>集群配置>计算引擎集群中切换为FineSpider分布式引擎才会显示。
本地版Spider参数包含基础参数和高级调优参数,如下图:
1. 快速分析最大单元格数量阈值:
默认值:1000000;
参数说明:快速分析(数据分析自助数据集)过程中支持的最大单元格数量,默认值为100万。计算过程中实时监测,超过阈值立即报错。保存并重启系统后,设置项生效;
修改后是否需要重启:是;
2. 快速分析中位数/去重计数内存阈值:
默认值:200;
参数说明:快速分析(数据分析自助数据集)时,每个线程合并计算的中位数/去重计数占用的最大内存比例的倒数,默认为200,即最大占用BI内存的200分之1,超出则报错。
比如BI内存为8G,则分配该计算的内存为40M,可容纳100万同一分组内的不同值;若超出,则需要改小该内存阈值,分配更多的计算内存给快速分析中位数/去重计数;
修改后是否需要重启:是;
1. 抽数压缩线程数:
默认值:8;
参数说明:抽取数据时,分片(压缩&写入)线程的数量。在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程,减轻内存压力;
修改后是否需要重启:是;
2. 抽数压缩线程队列大小:
默认值:200;
参数说明:抽取数据时,未处理的分片等待队列长度,在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小队列长度,减轻内存压力;
修改后是否需要重启:是;
3. spark日志输出等级:
默认值:INFO;
参数说明:spark日志输出等级,标准输出流,输出在tomcat的catalina.out文件内或者BI的nohup文件内,可以选择项为:INFO、WARN、ERROR、DEBUG。
INFO:打印错误类和基本执行日志;WARN:打印警告或提示类信息;ERROR:只打印错误类日志;DEBUG:打印所有日志;
修改后是否需要重启:是;
4. 新增数据抽数任务执行线程数:
默认值:5;
参数说明:新增数据的抽数任务同时执行的线程数,在内存很小(不超过4G)并且无法扩大内存的情况下,可以调小该线程数,减轻内存压力;
修改后是否需要重启:是;
5. 精简模式日期:
默认:关闭;
参数说明:精简模式开启时,日期字段在进行数据抽取时,只提前生成少量分组类型,加快生成速度,减少占用空间。未生成的分组在进行计算时可能会有性能损耗;
精简的日期分组类型包括:年、月、年月日、年月日时分秒、年季度、年月、年周;
修改后是否需要重启:是(且需重新更新数据);
6. spark driver端口:
默认值:17777;
参数说明:分布式/单机模式下,BI端spark通信用的端口;
修改后是否需要重启:是;
7. spark blockManager端口:
默认值:17778;
参数说明:分布式/单机模式下,BI的spark.blockManager端口;
修改后是否需要重启:是;
8. spark本地模式临时文件路径:
默认值:null(Linux下实际为/tmp);
参数说明:Spark写临时文件的目录,需给足一定的空间,修改至SSD挂载路径可提升Spark处理关联、Spark sql查询的性能;
注:分布式版本该参数无效,需要在服务器端配置。
修改后是否需要重启:是;
9. 优先使用Spark SQL计算去重记录数:
默认值:关闭;
参数说明:是否优先使用Spark SQL计算去重记录数,在数据量不超过1000万,但是分组依旧很大的情况下(会有内存溢出报错),可能会需要开启该参数;
修改后是否需要重启:是;
10. 开启分页计算:
默认值:开启;
参数说明:开启分页计算,大多数场景下可以提升计算速度。若没有大分组时,可以考虑关闭该参数;
修改后是否需要重启:是;
11. 分页计算汇总多线程计算方式:
默认值:开启;
参数说明:在进行分页计算的时候采用多线程计算方式。一些特殊场景,无法使用直连缓存的高并发场景下,关闭该参数效果会更好;
修改后是否需要重启:是;
12. spark动态调节功能:
默认值:开启;
参数说明:spark动态根据计算数据量调节task的数目,开启后对于小数据量的计算性能提升明显;
修改后是否需要重启:是;
13. 增量更新数据块整理计划:
默认值:null;
参数说明:在这个时间段内,增量更新任务不会执行合并操作,提升增量更新的速度。设置格式:hh:mm:ss-hh:mm:ss, example:10:10:10-12:12:12;
修改后是否需要重启:是;