Spider分布式部署准备

编辑
文档创建者:doreen0813 (83193 )     浏览次数:343次     编辑次数:23次     最近更新:molly 于 2018-10-18     

目录:

1、描述编辑

在前面我们介绍了Spider分布式引擎包含HDFS、Alluxio、Spark、Zookeeper等各个模块,那么在部署时就需要分别部署这些模块才能使用。而FineBI提供的分布式部署是改造了Ambari工具来进行安装部署的,部署过程分为:环境准备>ambari安装>界面组件安装

222

环境准备:环境准备为准备部署各个模块的服务器、用户、服务器检查及配置相互之间的免密登录等,机器环境的检查是为了避免准备的环境不充分或不满足,导致部署或者正式使用过程中出现各种问题,包括执行检查脚本来对环境做一个检测。
Ambari安装:在集群环境的部署中,使用的是Apache Ambari来做集群环境的快速可视化安装部署,Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。除了做可视化安装部署外,还将其作为集群环境的可视化管理界面的工具,因此在部署各模块前需要先安装Ambari模块。主要分为ambari-server和ambari-agent两个部分,在部署过程中指定一台机器为集群部署主节点(ambari-server),集群中的所有节点均为ambari-agent节点,如下图所示:

222

界面组件安装:利用Ambari的可视化管理界面工具在各节点分别部署HDFS、Alluxio、Spark、Zookeeper等模块;
下面我们来介绍一下环境的准备工作。示例使用的系统版本为CentOS7.3.1611,安装用户为root,包含三个服务器。
注意:Hostname的命名不能出现下划线(“_”),比如xx_xx的命名是不被允许的。
  服务器A   服务器B   服务器C
  作用  ambari-server、ambari-agent、应用服务器、分布式数据存储与计算节点  ambari-agent、分布式数据存储与计算节点  ambari-agent、分布式数据存储与计算节点
  Hostname  FineBI1    FineBI2  FineBI3

2、环境准备编辑

2.1 服务器版本

分布式部署要求必须是linux环境,其中支持的版本如下所示,推荐CentOS7、RedHat7。此处示例我们使用的服务器为CentOS7.3.1611。

  型号  详细版本
  Centos6  6.5,6.6,6.7,6.8,6.9
  Centos7  7.0,7.1,7.2,7.3,7.4
  RedHat6  6.5,6.6,6.7,6.8,6.9
  RadHat7  7.0,7.1,7.2,7.3,7.4
  Suse11sp4  
  Suse12sp3  

注:仅支持JDK1.8版本。服务器A、B、C提供的完成部署过程的用户必须是root用户。注:不是有root用户权限的其他用户,必须是root用户。且仅需部署时为root用户,在部署完成后的运维普通用户即可。


2.2 内存硬盘说明

部署分布式环境服务器内存和硬盘的最小要求:

A、部署主节点(A节点)上任意目录需要单独预留15G可用磁盘空间存放安装软件;

B、集群中机器(A、B、C节点):

注:综合一下,就是要求各机器的根目录空间至少55G以上。另外分一个目录的空间是放数据的,磁盘空间根据数据量预估空间来考虑。

目录  要求    用途
  /var 至少保证有10G空余可用空间  系统安装软件默认路径,基础服务安装路径。
  /usr  A节点至少保证有15G空余可用空间,BC节点至少保证有10G空余可用空间安装集群的各个组件,默认日志存放路径,A节点上还多一个离线的yum源需要空间。
  /  (根目录)  至少保证有30G空余可用空间系统使用中的临时缓存地址。  
注:这里需要的空间不包括/usr和/var路径需要的空间。
  非/home的任意目录(自定义)  按照数据量预估需要的空间hdfs服务存储数据的空间。

C、上述要求hdfs的存储数据的空间,注意不能把存储数据的大磁盘空间挂载在/home之下;

D、为保证系统可以正常运行,系统的内存每台要求至少在8G以上,CPU要求2核以上。(注:这里是至少的,正式的企业级应用系统,内存要求至少16G,8核以上)。


2.3 服务器环境要求

1、A,B,C集群节点之间网络要求千兆网及以上。

2、开放端口情况与说明(包括BI的服务器):

  开放端口的机器开放情况  开放对象   端口 说明   备注 
  FineBI必须开放    浏览器1~N(业务部门使用的)37799    BI的web端对外开放的端口端口可修改  
  分布式服务器A必须开放  浏览器x(运维使用)8080    访问的是集群管理的端口,包括分布式的部署,各组件状态的管理等端口可修改  
  分布式服务器A,B,C   推荐开放        浏览器x(运维使用)   50070    HDFS的访问端口,用于查看持久化数据状态UI  
7877    spark的访问端口,用于查看任务执行的状态UI  
19999   alluxio的访问端口,内存管理状况的UI 
FineBI  必须开放 分布式服务器A,B,C不限制端口  
 分布式服务器A,B,C之间 没有任何端口限制    

2.4 系统环境配置确认

需要确认系统是否配置好各个节点之间的Hostname和IP信息,使用ping Hostname的方式检查是否配置好。如下图所示,表示无法ping通集群节点之间的hostname。

注意:Hostname的命名不能出现下划线(“_”),比如xx_xx的命名是不被允许的。

222

需要在每个服务器的/etc/hosts文件中都配置上如下图的IP和hostname,保证每个机器可以ping通集群内所有节点的Hostname。

222

如下图为可以ping通集群节点。

222

2.5 部署注意点

1、系统推荐干净新安装的系统。如果用户已经在使用的系统,在自动化安装过程中可能会发生不可预知的错误;

2、/etc/hosts文件要填写集群中所有机器的ip和hostname。文档中示例的每个节点的文件都如下配置。需要保证的是ip是静态ip,不能使用127.0.0.1等特殊地址,集群中各个节点的hostname和ip可以互相ping通;(注:有些操作系统的hostname配置之后要重启机器或者相关的服务才会起效

要注意:集群节点的hostname不能起相同的名字,且Hostname的命名不能出现下划线(“_”),比如xx_xx的命名是不被允许的。

192.168.10.1 FineBI1 192.168.10.2 FineBI2 192.168.10.3 FineBI3

3、集群中所有机器都必须安装sshserver和sshclient。保证a) 机器可以被ssh远程连接,并且可以ssh连接其他机器;b) 机器之间可以scp拷贝文件(如不确认可以手动执行scp和ssh命令测试);

4、机器间免密登录部分用户可以自行进行配置,也可以输入密码通过脚本自动配置,参考Ambari部署步骤四。免密登录需要做部署主节点到集群间所有节点(包括部署主节点)的免密登录,而且需要是root用户,且要保证文件权限如下所示,权限不对可以按照下面说明修改文件权限:

chmod 0755 ~ chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys

5、确认系统环境编码,输入locale,查看是否有zh_CN不是UTF-8的。如果存在zh_CN不是UTF-8编码,需要就输入export LANG=zh_CN.UTF-8;另外需要检查/etc/locale.conf文件查看是否与设置的一致;

6、检查~/.bashrc 是否有root用户的写权限,没有写权限需要给这个文件写权限;

7、部署脚本执行用户必须是root用户,后期维护可以是普通用户;

8、selinux和防火墙需要关闭。注:脚本执行期间,会自动关闭防火墙。

2.6 获取安装包

填写Spider分布式引擎安装包获取申请获取分布式引擎需要的安装包文件。


2.7 前置环境检查

按照上述准备好安装文件以及硬件与系统环境后,就可以开始安装部署工作了。在此之前,需要先进性前置环境的检查,这部分环境检查只需要在ambari-server节点的机器上执行操作。将所有安装文件上传到ambari-server节点,如下图:

222

编辑上传文件中的all_hosts文件,在文件中增加三个参数,填写集群中所有机器的ip hostname root用户密码,比如填写如下内容:

192.168.10.1 FineBI1 123456 192.168.10.2 FineBI2 123456 192.168.10.3 FineBI3 123456 

编辑完成后保存该配置。在当前目录下执行命令操作命令:

sh pre_env_check_centos7.sh 当前目录绝对路径 | tee check.log 2>&1

注:此处必须填写当前目录绝对路径,脚本需要输入当前目录的绝对路径。比如当前上传文件的目录为/opt/test,则执行的脚本命令为sh pre_env_check_centos7.sh /opt/test | tee check.log 2>&1,如下图:

222

执行该脚本命令后,查看输出的日志check.log,如:

Verifying archive integrity... 100% All good.

Uncompressing spider autoDeploy precheck 100%

...................................................................

system requirement check is [[successful]]! 

当看到最后输入如上的successful内容,表示检测通过,可以进行下一步操作。如果有任何warning和error的提示,则查看对应提示,对照上述部署前环境准备的内容,查看系统环境/硬件等准备是否足够。比如,如下则提示磁盘空间检测失败。

222

注:需要在上述环境检查通过后,才能进行下面的分布式引擎部署步骤。

3、索引编辑

环境准备好后,就可以进行后续的ambari和界面组件安装步骤了。参考如下索引:

Ambari部署

界面组件安装

配置高可用(HA)

Ambari服务组件常见问题

附件列表


主题: 部署集成
标签: 暂无标签 编辑/添加标签
如果您认为本文档还有待完善,请编辑

文档内容仅供参考,如果你需要获取更多帮助,付费/准付费客户请咨询帆软技术支持
关于技术问题,您还可以前往帆软社区,点击顶部搜索框旁边的提问按钮
若您还有其他非技术类问题,可以联系帆软传说哥(qq:1745114201

本文档是否有用? [ 去社区提问 ]