1、描述编辑
Spark 是一种通用的大数据快速处理引擎。Spark 使用 Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX 成功解决了大数据领域中离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要的任务和问题。Spark 除了一站式的特点之外,另外一个最重要的特点,就是基于内存进行计算,从而让 它的速度可以达到 MapReduce、Hive 的数倍甚至数十倍。本章我们将介绍如何在 FineBI中连接 Spark 数据库。
2、数据连接编辑
2.1 配置信息
驱动 | URL | 支持数据库版本 | 驱动下载 |
---|---|---|---|
org.apache.hive.jdbc.HiveDriver | jdbc:hive2://ip:port/dbname | 1.6.0; | hive-spark1.6.rar |
2.1;2.3; | Hadoop Hive.rar |
2.2 连接步骤
根据数据库的版本下载对应 Spark 驱动包,并将该驱动包放置到%FineBI%\webapps\webroot\WEB-INF\lib下,重启 FineBI 。
登录数据决策系统,选择管理系统>数据连接>数据连接管理,点击新建数据连接,在所有选项下选择SPARK,如下图所示:
点击确定进入数据连接配置页面,按照前面提供的配置信息,输入自身数据库的对应信息。
a)可选择 kerberos 认证。若选择 kerberos 认证,则需填入注册过 kdc 的客户端名称、keytab 密钥路径和 Kerberos 认证对应URL,参考 数据连接Kerberos认证 ,如下图所示:
注:连接前请检查 /etc/hosts 中的机器名对应 IP 是否为局域网 IP;
检查/etc/hostname 中机器名设置和 /etc/hosts 中是否配置一致;
检查 FineBI 所在机器 hosts 配置的 IP+ 机器名是否正确。
本地连接时需要配置 /etc/hosts 文件,添加远端映射:IP+机器名,例如: 192.168.5.206 centos-phoenix 。
b)若不选择 kerberos 认证,则跟其他数据库设置一致,选择填入连接池属性信息即可(连接池属性介绍可参考 配置数据连接),如下图所示:
点击测试连接,若出现如下图的测试连接成功弹出框,则表示成功连接上数据库。如下图所示:
测试连接成功后点击右上角的保存按钮,该数据连接即添加成功。如下图所示:
3、注意事项编辑
Spark 数据连接时,FineBI 无法通过添加数据库表的方式取数,目前只能通过 SQL 数据集添加;