SPARK数据连接

编辑
  • 文档创建者:doreen0813
  • 浏览次数:1020次
  • 编辑次数:11次
  • 最近更新:doreen0813 于 2019-09-23

  • 1、描述

    Spark是一种通用的大数据快速处理引擎。Spark使用Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX成功解决了大数据领域中离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要的任务和问题。Spark除了一站式的特点之外,另外一个最重要的特点,就是基于内存进行计算,从而让 它的速度可以达到MapReduceHive的数倍甚至数十倍。本章我们将介绍如何在FineBI中连接Spark数据库。

    2、数据连接

    2.1 配置信息

    驱动   URL  支持数据库版本  驱动下载 
        org.apache.hive.jdbc.HiveDriver       jdbc:hive2://ip:port/dbname      1.6.0;   hive-spark1.6.rar   
      2.1;2.3;   Hadoop Hive.rar  

    2.2 连接步骤

    1. 根据数据库的版本下载对应Spark驱动包,并将该驱动包放置到FineBI文件夹%FineBI%\webapps\webroot\WEB-INF\lib下,重启FineBI。

    2. 登录FineBI数据决策系统,选择管理系统>数据连接,点击新建数据连接选择更多数据连接,并在弹出框中选择SPARK,如下图:

    3. 点击确定进入数据连接配置页面,按照前面提供的配置信息,输入自身数据库的对应信息。

      a)可选择勾选kerberos认证。若勾选kerberos认证,则需填入注册过kdc的客户端名称、keytab密钥路径和Kerberos认证对应URL,参考数据连接Kerberos认证,如下图:

      b)若不勾选kerberos认证,则跟其他数据库设置一致,选择填入连接池属性信息即可(连接池属性介绍可参考配置数据连接),如下图:

    4. 点击测试连接,若出现如下图的测试连接成功弹出框,则表示成功连接上数据库。

    5. 测试连接成功后点击右上角的保存按钮,该数据连接即添加成功。如下图:


    3、注意事项

    Spark数据连接时,FineBI无法通过添加数据库表的方式取数,目前只能通过SQL数据集添加;


    附件列表


    主题: 数据准备
    标签: 暂无标签
    如果您认为本文档还有待完善,请编辑

    文档内容仅供参考,如果你需要获取更多帮助,付费/准付费客户请咨询帆软技术支持
    关于技术问题,您还可以前往帆软社区,点击顶部搜索框旁边的提问按钮
    若您还有其他非技术类问题,可以联系帆软传说哥(qq:1745114201

    此页面有帮助吗?只是浏览 [ 去社区提问 ]