Hadoop,Hive数据库

编辑
文档创建者:夏娃 (超级管理员 )     浏览次数:3863次     编辑次数:18次     最近更新:doreen0813 于 2017-11-17     

目录:

1、描述编辑

Hadoop是个很流行的分布式计算解决方案,Hive是基于hadoop的数据分析工具。一般来说我们对Hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,这样的模式用来做一些测试比较合适,并不适合做产品的开发和应用。
因此,就产生Hive的JDBC连接的方式。前面在配置数据连接中已经简单介绍下hadoop和hive连接方式,下面将详细介绍。

2、步骤编辑

Hive提供了jdbc驱动,使得我们可以连接Hive并进行一些类关系型数据库的sql语句查询等操作,首先我们需要将这些驱动拷贝到FineBI工程下面,然后再建立连接,最后通过连接进行数据查询。
2.1 拷贝jar包到FineBI工程
将上面列出的驱动jar包选取对应版本拷贝至FineBI工程webapps/WebReport/WEB-INF/lib下。(如不匹配,使用对应版本的驱动包)
注:FineBI工程中自带slf4j-log4j12.jar,所以可以只拷贝其他jar即可(如果没有需要将其一起拷贝)。
2.2 配置数据连接
启动FineBI,打开数据配置>数据连接管理,新建数据连接。
在Hive 0.11.0版本之前,只有HiveServer服务可用,在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务。而HiveServer本身存在很多问题(比如:安全性、并发性等);针对这些问题,Hive0.11.0版本提供了一个全新的服务:HiveServer2,这个很好的解决HiveServer存在的安全性、并发性等问题,所以下面我们分别介绍HiveServer和HiveServer2配置数据连接的方式。
  • HiveServer
数据库驱动:org.apache.hadoop.hive.jdbc.HiveDriver
URL:jdbc:hive://localhost:10000/default
注:hive服务默认端口为10000,根据实际情况修改端口;另外目前只支持默认数据库名default。
测试连接,提示连接成功即可。
222

  • HiveServer2
数据库驱动:org.apache.hive.jdbc.HiveDriver
URL:jdbc:hive2://localhost:10000/default
注:该连接方式只支持Hive0.11.0及之后版本。HiveServer2连接的数据库名支持所有,且模式可选择。

222


3、注意事项编辑

将工程部署到tomcat8.0下,可能会存在tomcat启动之后无法加载相应工程的情况,浏览器端报404错误,且tomcat后台报错:打开jar包文件出错,那么是什么原因呢?

222
222

通过上面的报错分析,可能是因为commons-logging.jar与tomcat自带的日志jar包相冲突,我们只需要将commons-logging.jar删除重启tomcat即可(测试可行)。
222

注:tomcat7.0下工程目录lib加入12个jar包正常加载,未出现该问题。

附件列表


主题: 数据配置
标签: 暂无标签 编辑/添加标签
如果您认为本文档还有待完善,请编辑

文档内容仅供参考,如果你需要获取更多帮助,请咨询帆软技术支持
关于技术问题,您还可以通过帆软论坛获取帮助,论坛上有非常多的大神,有些水平比帆软工程师还要高哦。
若您还有其他非技术类问题,可以联系帆软传说哥(微信ID:frbiaoge)

本文档是否有用?
谢谢! 我们非常感谢您的反馈。
提交反馈: