Spider分布式与BI对接

编辑
文档创建者:doreen0813 (83193 )     浏览次数:208次     编辑次数:19次     最近更新:doreen0813 于 2018-09-27     

目录:

1、描述编辑

在部署完分布式引擎的各组件以后,就需要BI与分布式引擎环境进行对接。在分布式引擎服务器推荐中我们介绍过FineBI与分布式服务器是否部署在一起的服务器推荐,用户可以根据自己的实际情况决定是否将BI与分布式机器部署在一起。FineBI单机或web集群与分布式引擎的对接方式一致,下面我们将介绍单机版与Spider引擎分布式环境的对接。

2、步骤编辑

如果没安装过FineBI,参考FineBI安装与启动安装FineBI。

2.1 Windows下安装bash

注:FineBI若部署在Windows环境下,则需安装bash,可参考下面步骤安装,安装完成后再执行后续的修改配置文件操作。  

1)在Windows机器中打开cmd;

2)输入bash命令检查,若如下图显示说明电脑上有安装bash;若提示没有bash命令,则需要安装bash;

222

3)此处使用gitBash。下载地址:Git-2.9.3-32-bit.exe

安装在某个目录之下,配置其环境变量。此处以win10环境变量配置为例(安装GitBash的地址在D:\Git):

打开电脑的属性>控制面板主页>高级系统设置>环境变量,如下图:

222

使用系统变量>编辑Path>新建>输入地址D:\Git\bin,之后确定保存;

打开cmd,输入bash检查,如下面图中所示表示安装配置成功。

222

2.2 分布式引擎对接

1、在安装完成FineBI并启动后,进入管理系统>智能运维>集群配置,点击计算引擎集群,默认为FineSpider本地版,如下图:

222

2、点击切换成FineSpider分布式引擎,此时需要输入分布式节点服务器的hostname进行对接,多个hostname之间用“,”隔开,如下图:

222

3、输入hostname后点击右上角的保存按钮,则出现提示框,在节点配置以后需要重启FineBI才能生效。

222

4、在重启FineBI后,若对接成功,此时查看Spark的UI界面,查看Status为ALIVE状态,且可以在Running Applications下看到成功运行的BI,对接了几个FineBI,此处即存在几个运行的app,如下图:

222

注:上述第二步中若在Windows下未安装bash,点击切换成FineSpider分布式引擎时会出现bash尚未配置成功的提示,如下图,需要先安装bash才能继续配置对接信息。  

222

3、分布式引擎参数编辑

注:默认对接的应用内存是6G,核心是12,这个配置最好与Ambari界面上Spark应用分配的内存与核心一致,不能比其大。  

比如:

(1)有一个BI应用对接,Ambari界面分配spark内存8G、核心16,那这里默认的参数即可满足。也可以进行修改,修改为内存8G,核心16;

(2)有一个BI应用对接,Ambari界面分配spark内存2G、核心4,那这里必须对参数进行修改,修改为内存2个、核心4。

详细Spider分布式引擎参数及配置请参考配置示例与原则,修改方法请参考分布式引擎参数配置方法,修改的参数如下所示:

配置项    说明  默认值
  DistributedOptimizationConfig.spiderConfig.spark_executor_memory分布式引擎中,每个节点给SparkApp分配的计算内存。如果集群节点内存较为紧张,可适当降低,但不要低于4G  6G
DistributedOptimizationConfig.spiderConfig.spark_executor_cores  分布式引擎中,每个节点给SparkApp分配的计算核心数。如果节点核心多,可适当提高增加并发    12
DistributedOptimizationConfig.spiderConfig.spark_cores_max  分布式引擎中,所有节点给SparkApp分配的计算总核心数。上一个配置无论多大也不会超过该值。如果节点多核心多,可适当提高   36

附件列表


主题: 部署集成
标签: 暂无标签 编辑/添加标签
如果您认为本文档还有待完善,请编辑

文档内容仅供参考,如果你需要获取更多帮助,付费/准付费客户请咨询帆软技术支持
关于技术问题,您还可以前往帆软社区,点击顶部搜索框旁边的提问按钮
若您还有其他非技术类问题,可以联系帆软传说哥(qq:1745114201

本文档是否有用? [ 去社区提问 ]