安装Spider集群

编辑
文档创建者:doreen0813 (83193 )     浏览次数:2051次     编辑次数:20次     最近更新:doreen0813 于 2019-03-01     

目录:

1、描述编辑

操作场景:此文档指导安装工程师使用Ambari工具部署Spider集群的其余组件,包括Spark、Alluxio、ZooKeeper等;

前提条件:已经按照安装部署Ambari部署好了Ambari组件,且可以成功访问Ambari界面,状态正常;

部署概要:Spider集群部署包含如下的步骤:

                Launch Install Wizard > Get Started > Select Version > Install Options > Confirm Hosts > Choose Services > Assign Masters > 

                Assign Slaves and Clients > Customize Services > Review > Install,Start and Test > Summary

2、初始进入ambari服务编辑

在浏览器打开Ambari-server的ip和端口号,其中端口号为8080,如下图,即可进入ambari服务登录界面。

            222

初始登录用户名和密码分别为admin和admin,点击Sign in即可登录。

3、配置集群环境编辑

1. Launch Install Wizard

    登录成功后,点击界面上的 Launch Install Wizard,如下图:

            222

2. Get Started

    此时我们进入集群配置界面,设置集群名称(任意名称),比如此处我们命名为FineBI。

            222

3. Select Version

    点击Next,进入Select Version,选择HDP2.6注:这一步可能看不到HDP2.6,点击一下左下方的“back”按钮,回到上一步,再点Next后就可以看见了)。

           222

   在页面下方对应操作系统的Base URL栏,输入本地源的地址。默认会根据集群环境自动配置,如下图,无需更改,点击Next即可;

             222

    如果想要自己填写,请按照如下格式修改。

    不同操作系统HDP-2.6的对应Base URL:        

  操作系统     Base URL 
  centos7/redhat7  http://ambari_server_所在机器的ip:port/HDP/centos7 
  centos6/redhat6  http://ambari_server所在机器的ip:port/HDP/centos6
  Suse11  http://ambari_server所在机器的ip:port/rpms/HDP/suse11sp3
  Suse12  http://ambari_server所在机器的ip:port/rpms/HDP/sles12

    此处的port为上一步骤安装部署Ambari执行脚本时的httpPort(6173),默认为6173。

    不同操作系统HDP-UTILS-1.1.0.21的对应Base URL:

  操作系统    Base URL  
  centos6/centos7/redhat6/redhat7     http://ambari_server_ip:port/HDP-UTILS
  Suse11/Suse12  http://ambari_server_ip:port/rpms/HDP-UTILS  

    此处的port也为上一步骤安装部署Ambari执行脚本时的httpPort(6173),默认为6173。

4. Install Options 

    设置好Base URL后,点击Next,进行Install Options的设置,该页面填写集群中的节点host信息,这个页面分为了三个部分。

        a. 如下图,其中Target Hosts处填入集群所有机器的hostname(包括ambari所在机器),根据自己的实际内容填写即可。

            222

        b. HostRegistration Information第一项,填写的是ssh免密的主机私钥,默认已经填写;

        c. 第二项SSH用户名和端口的部分,用户名默认就是root,端口一般默认为22,修改过的话,填写修改之后的端口号。

    填写完成后点击右下角的Register and Confirm即可。

    过程中可能会出现如下图所示的Warning提示,这是由于Ambari推荐的是Fully Qualified Domain Name格式的hostname。

    若hostname不满足格式要求,会出现该提示,该Warning不影响部署,直接点击OK即可。

            

5. Confirm Hosts

    之后等待配置(大概5min)完成即可。这个等待的过程是在对系统环境做检查。

           222

        a. 如果环境完全没有问题,下面的Next按钮会是正常的绿色,直接点击Next即可;

            222

        b. 如果环境检查有异常的情况,会有相应的提示,点开详细的提示查看异常信息并按照异常信息提示解决即可。

            解决完成需要Host Checks均为绿色的对勾,通过所有检查,如下图:

            222

6. Choose Services

    配置组件信息,到Choose Services节点直接点击如下图右下角的Next即可。

            222    

7. Assign Masters

    进入Assign Masters步骤,将如下图的“+”号都选择上。其中Metrics Collector只安装在一个机器上,选择任意一个机器安装即可。

            222

8. Assign Slaves and Clients

    点击Next进入到Assign Slaves and Clients节点,按如下图所示操作,NFSGateway部分不做选择,其他部分全部勾选上

            222

注:上述过程中若遇到Next不能点的情况,直接刷新浏览器页面即可。  

4、用户自定义服务编辑

9. Customize Services

    点击Next即进入Customize Services步骤,必须填写如下必选项。

    a)HDFS

            222

         NameNode:/data/hdfs/namenode                                                DataNode:/data/hdfs/datanode

         说明:HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。分布式中的Datanode一般是一个节点一个,负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间,用户能够以文件的形式在上面存储数据。从内部看,一个文件其实被分成一个或多个数据块,这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。

         注:这里的地址写专门为存储数据准备的路径地址,一般是预留的磁盘空间最大的路径。即准备硬件准备的非/home任意目录。  

         且这边NameNode和DataNode不能写同一个路径,每台机器配置的路径都会写入自己的信息,共享一个盘的话写入信息会出现异常。

    2)Ambari Metrics
         Ambari Metrics为Ambari自带的集群服务监控系服务,它主要为系统管理员提供了集群性能的检查功能。
         只需要填写管理ambari metrics的用户名密码即可,这里注意不是登录ambari界面的用户名密码。如下图:

            222

         其他组件直接使用默认值即可,根据系统资源配置的调优,会在后续调优文档中详细说明。点击Next进入下一步。

            222

5、后续安装编辑

10. Review

      进入下一步的Review,可以看到之前配置的一些信息,检查没有问题的话点击右下角的Deploy即可,如下图:

            222

      显示Preparing to Deploy的进度条,如下图:

            222

11. Install,Start and Test

      此处即进入部署阶段(大概需要10-20min),如下图,界面会显示各个节点的部署状态。

            222

            222

      注:此处若机器配置比较差的话,安装会较慢。  

      部署成功后,每个节点的Status栏均显示100%,如下图,点击右下角的Next

            222

12. Summary

      进入Summary,页面会显示此处部署的一些信息,包括各个节点安装在什么机器上等。

            222

      点击Complete,当看到如下的界面,左边栏中各组件的状态均显示绿色对勾,表示主节点正常,安装完成。

            222

6、常见问题及解决方案编辑

1. 注册集群步骤时出现faied失败,如下图:

         

    解决方案:会由于机器性能以及网络问题导致超时,节点注册失败,可以点击Retry Failed按钮重试即可


2. 使用360或者低版本的IE 打开ambari界面,加载不出来登陆页,出现一些奇怪的内容,比如下图所示:

            222

    解决方案:低版本IE需更换火狐、谷歌等浏览器,360浏览器需要关闭兼容模式。


附件列表


主题: 部署集成
标签: 暂无标签 编辑/添加标签
如果您认为本文档还有待完善,请编辑

文档内容仅供参考,如果你需要获取更多帮助,付费/准付费客户请咨询帆软技术支持
关于技术问题,您还可以前往帆软社区,点击顶部搜索框旁边的提问按钮
若您还有其他非技术类问题,可以联系帆软传说哥(qq:1745114201

本文档是否有用? [ 去社区提问 ]