2020年8月20日星期四

CDH6.3.2升级Hive到4.0.0

升级目的:为上层开发,提供统一元数据服务并能通过hive操作kudu表,kylin可以通过hive对在kudu中的数据做分析

面临问题:hive4.0之前hive没有KuduStorageHandler机制,需要hive和kudu整合功能而升级,但是github上官方开源的代码看该模块代码没完成。所以需要自己提供实现或等官方发布,为了满足当下需求,羚羊选择了自己实现

1、备份原元数据
mysqldump -uroot -pxxxxxx metastore > ./metastore.sql
2、解压备好的hive安装包
cd /opt/clouderatar -xvf apache-hive-4.0.0-SNAPSHOT-bin.tar.gz

 

3、原hive安装目录下创建lib400目录
cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hivemkdir lib400

 4、拷贝hive新版本lib到lib400目录下(只替换hive开头的jar包,其他jar包不要替换,其中hive-exec-2.1.1-cdh6.3.2.jar不要换)
cp -r /opt/cloudera/apache-hive-4.0.0-SNAPSHOT-bin/lib/* /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib400
5、CM中停掉hive,及hive相关的服务

6、 修改hive启动文件,调用lib400的jar包
vim /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin/hive
/HIVE_LIB

同步lib和hive脚本文件到所有节点 

scp -P41121 -r lib400/ hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/scp -P41121 -r hive hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin
7、各节点创建软链接
ln -s /opt/cloudera/parcels/CDH/lib/hive/lib400/jline-2.14.6.jar /opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/jline-2.12.jar

  升级元数据库 metastore到hive4.0.0

source /data/metastore-backup/mysql/upgrade-2.1.0-to-2.2.0.mysql.sqlsource /data/metastore-backup/mysql/upgrade-2.2.0-to-2.3.0.mysql.sqlsource /data/metastore-backup/mysql/upgrade-2.3.0-to-3.0.0.mysql.sqlsource /data/metastore-backup/mysql/upgrade-3.0.0-to-3.1.0.mysql.sqlsource /data/metastore-backup/mysql/upgrade-3.1.0-to-3.2.0.mysql.sqlsource /data/metastore-backup/mysql/upgrade-3.2.0-to-4.0.0.mysql.sql
7、CM中再启动hive
8、查看hive版本
hive -version

需要源码的朋友可以私信

CDH6.3.2升级Hive到4.0.0备战2016!快速启动亚马逊账号基础知识芒果店长亚马逊新手卖家该如何去判断产品的市场前景未来10年,亚马逊的三个关键增长领域SMETA审核检测报告(英文版)2017年五一假期怎么安排好?大家的五一是怎样过的去红树林一般都玩些什么的?去红树林要带些什么五一旅游有什么需要注意的?要带什么东西?

没有评论:

发表评论