当前位置: 首页 > news >正文

Docker部署Hive大数据组件

搭建过程

访问Hive的Docker Hub,使用说明中(apache/hive - Docker Image | Docker Hub),存在如下几种场景:

export HIVE_VERSION=4.0.1

使用Derby做为元数据存储库;拉起HiveServer2(嵌入元存储)

docker run -d -p 10000:10000 -p 10002:10002 \
--env SERVICE_NAME=hiveserver2 \
--name hive4 apache/hive:${HIVE_VERSION}

使用Derby做为元数据存储库;拉起独立元存储

docker run -d -p 9083:9083 \
--env SERVICE_NAME=metastore \
--name metastore-standalone apache/hive:${HIVE_VERSION}

拉起HS2:
1、使用外部独立元存储:"-Dhive.metastore.uris用于指定外部元存储地址
2、指定挂载

docker run -d -p 10000:10000 -p 10002:10002 \
--env SERVICE_NAME=hiveserver2 \
--env SERVICE_OPTS="-Dhive.metastore.uris=thrift://metastore-standalone:9083" \
--mount source=warehouse,target=/opt/hive/data/warehouse \
--env IS_RESUME="true" \
--name hiveserver2-standalone apache/hive:${HIVE_VERSION}

使用外部的RDBMS (Postgres/Oracle/MySql/MsSql),拉起独立元存储

docker run -d -p 9083:9083 \
--env SERVICE_NAME=metastore \
--env DB_DRIVER=postgres \
--env SERVICE_OPTS="-Djavax.jdo.option.ConnectionDriverName=org.postgresql.Driver -Djavax.jdo.option.ConnectionURL=jdbc:postgresql://postgres:5432/metastore_db -Djavax.jdo.option.ConnectionUserName=hive -Djavax.jdo.option.ConnectionPassword=password" \
--mount source=warehouse,target=/opt/hive/data/warehouse \
--name metastore-standalone apache/hive:${HIVE_VERSION}

基于上面的说明,我这里将hive的HS2和Metastore均按照standalone部署,且Metastore使用外部数据库(这里使用postgresql)。然后,使用docker-compose进行管理

首先,进行环境准备

useradd hive
usermod -a -G docker hive
su - hiveecho "export HIVE_VERSION=4.0.1" ~/.bash_profilesource ~/.bash_profile

然后,定义docker-compose yaml

cat >docker-compose.yaml <<'EOF'
services:postgres:image: postgresenvironment:POSTGRES_PASSWORD: passwordPOSTGRES_USER: hivePOSTGRES_DB: metastore_dbports:- "5432:5432"volumes:- ./postgres_data:/var/lib/postgresql/data  # 挂载卷到宿主机networks:- zookeeper-netmetastore-standalone:image: apache/hive:${HIVE_VERSION}environment:SERVICE_NAME: metastoreDB_DRIVER: postgresSERVICE_OPTS: >-Djavax.jdo.option.ConnectionDriverName=org.postgresql.Driver-Djavax.jdo.option.ConnectionURL=jdbc:postgresql://postgres:5432/metastore_db-Djavax.jdo.option.ConnectionUserName=hive-Djavax.jdo.option.ConnectionPassword=passwordports:- "9083:9083"depends_on:- postgresvolumes:- ./metastore:/opt/hive/data/warehouse  # 挂载卷到宿主机- ./postgresql-42.6.2.jar:/opt/hive/lib/postgresql-42.6.2.jarnetworks:- zookeeper-nethiveserver2-standalone:image: apache/hive:${HIVE_VERSION}environment:SERVICE_NAME: hiveserver2SERVICE_OPTS: "-Dhive.metastore.uris=thrift://metastore-standalone:9083"IS_RESUME: "true"ports:- "10000:10000"- "10002:10002"depends_on:- metastore-standalonevolumes:- ./hiveserver2:/opt/hive/data/warehouse  # 挂载卷到宿主机networks:- zookeeper-netnetworks:zookeeper-net:external: true
EOF

拉起hive服务

docker-compose up -d

赋权host上的目录,否则无法写入数据

chmod 777 hiveserver2/
chmod 777 metastore/

访问HiveServer2 Web UI

浏览器输入:http://IP:10002/,因为没有配置认证,所以会直接进入主页。

在Beeline中要执行命令举例

show tables;
create table hive_example(a string, b int) partitioned by(c int);
alter table hive_example add partition(c=1);
insert into hive_example partition(c=1) values('a', 1), ('a', 2),('b',3);
select count(distinct a) from hive_example;
select sum(b) from hive_example;

http://www.lqws.cn/news/169831.html

相关文章:

  • JAVA学习 DAY2 java程序运行、注意事项、转义字符
  • 数据库:索引
  • JS设计模式(4):观察者模式
  • 发版前后的调试对照实践:用 WebDebugX 与多工具构建上线验证闭环
  • Spring Boot 实现流式响应(兼容 2.7.x)
  • 23套橙色系精选各行业PPT模版分享
  • windows上的visual studio2022的项目使用jenkins自动打包
  • 极速互联·智控未来——SG-Can(FD)Hub-600 六通道CANFD集线器
  • 【Go语言基础【9】】字符串格式化与输入处理
  • Docker配置SRS服务器 ,ffmpeg使用rtmp协议推流+vlc拉流
  • 8K样本在DeepSeek-R1-7B模型上的复现效果
  • Axure零基础跟我学:展开与收回
  • 【美团技术团队】从实际案例聊聊Java应用的GC优化
  • Python应用函数调用(二)
  • Nginx部署vue项目, 无法直接访问其他路径的解决方案
  • [AI绘画]sd学习记录(一)软件安装以及文生图界面初识、提示词写法
  • 渗透实战PortSwigger靶场-XSS Lab 14:大多数标签和属性被阻止
  • React 新项目
  • 环境变量深度解析:从配置到内核的全链路指南
  • Python制作史莱姆桌面宠物!可爱的
  • 风机下引线断点检测算法实现
  • Linux程序运行日志总结
  • 整合swagger,以及Knife4j优化界面
  • 【leetcode】347. 前k个高频元素
  • 动态规划-1035.不相交的线-力扣(LeetCode)
  • 微服务网关SpringCloudGateway+SaToken鉴权
  • Vue3入门指南:从零到精通的快速上手
  • CSS3相关知识点
  • linux——磁盘和文件系统管理
  • [蓝桥杯]植树