TDH社区开发版安装教程
(注:本文章来源于星环官网安装手册)
后面放置了视频和安装手册连接
1、硬件及环境要求
-
Docker17及以上版本,支持Centos,Ubuntu等系统(注:这里我使用CentOS-7版本,最佳版本推荐为7.3-7.9)
-
CPU:1颗4核心或以上带超线程x86指令集CPU的服务器
-
内存:
TDH社区开发版以及StellarDB社区开发版:16GB及以上
Scope社区开发版:24GB及以上 - 存储:如需部署Scope社区开发版,请务必确保数据目录所在磁盘大小至少50GB及以上。
温馨提示:上述最低内存仅适用于安装以及基础测试,如需确保稳定性以及需要进行产品功能测试,请酌情增加至8核32GB;如有性能需求,或涉及一定数据量的场景,请酌情增加至64GB及以上,按需调整资源。
2、TDH(Transwarp Data Hub ) 社区开发版
安装前系统配置
在安装前,请打开环境下的/etc/hosts文件,确保该文件包含节点的hostname和IP地址的映射关系列表。例如:
172.16.2.125 tdh-node
您可以登入到节点使用 hostname 命令检查节点主机名,确保节点名称与上述 /etc/hosts 里设置的名称相同。请注意,集群的节点名称必须符合DNS-1123规范,由数字、小写字母或“-”组成,不能包含大写字母,长度小于63。
您可以使用 hostnamectl set-hostname <hostname> 命令来修改主机名,参考以下示例:
[root@localhost ~]# hostnamectl set-hostname tw-node2125
[root@localhost ~]# hostname
tw-node2125
[root@localhost ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# vi /etc/hosts
[root@localhost ~]# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.2.125 tw-node2125
请注意 /etc/hosts 文件的第一行必须为127.0.0.1的记录,不能将此行注释掉,也不能将当前主机名写在该行中。通常如下:
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
环境准备
-
步骤一 Linux环境上安装docker(一个开源的容器化平台)
此处以Centos系统为例
yum install docker
-
安装后启动/查看docker服务
安装后启动docker服务
systemctl start docker
查看docker状态
systemctl status docker
安装流程
-
步骤一 将从官网下载下来的产品包上传至安装环境
产品包名称:TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
-
步骤二 执行下述命令进行解压,解压后将出现一个镜像tar包
tar -zxf TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz -C /opt/installs/
-
步骤三 执行下述命令加载镜像
docker load -i tdh-standalone-2023.5.tar
- 步骤四 创建一个文件夹保存TDH运行过程中产生的配置conf、数据data、日志log。
mkdir /opt/tdh
- 步骤五 执行下方指令启动容器并运行镜像,运行格式为:
docker run -d --network host -v <本地目录路径>:/opt/transwarp --privileged <镜像名称,例如:tdh-standalone:2024.5>
例:docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh- standalone:2023.5
注:-v参数配置了TDH挂载的本地磁盘路径。该路径下会保存TDH运行过程中产生的配置conf、数据data、日志log。再次提醒请不要随意改动做好备份,以及确保该路径为空目录,没有历史版本或其他开发版产品的数据文件。
-
步骤六 容器启动后需等待30s至2分钟
-
步骤七 浏览器访问管理节点8180端口
打开客户端浏览器(推荐使用Google Chrome浏览器),访问http://host:8180,比如http://192.168.127.132:8180/。访问这个地址,您会看到下面的登录页面:
-
初次登录以admin的身份登录,密码也是admin。
-
接下来是添加一些配置
安装完成
自助申请许可证教程
在安装完成后,页面会提示您需要申请许可证。
如果您已经在星环云页面注册过账号以及创建过组织,填写对应的星环云ID以及密码,进行手机号码验证即可。如果您第一次使用社区版家族产品,可以参考下方教程进行申请。
-
点击弹窗下方的注册按钮,或者直接访问星环云页面 创建组织
星环云网站:https://cloud.transwarp.cn/home
-
编辑组织信息
创建好后如果需要重新更改名词可以选择编辑
-
申请许可证
回到TDH Manager,输入账号进行“许可证申请”。
-
完成申请,启动许可证
下载使用客户端TDH-Client
TDH-Client:星环大数据平台(Transwarp Data Hub, TDH)的客户端工具,用于与 TDH 集群交互,提供命令行和 API 访问方式,支持 HDFS、Hive、Spark 等大数据组件的操作
Manager为用户提供了两种下载tdh-client的方式(Manager自带和随产品包上传)
这里我们使用的是Manager自带方法
使用TDH-Client前还需设置JAVA_HOME环境变量(这里不再演示,详情请查看以往作品)
-
步骤一 登录Manager页面后点击右上角下载客户端
如果您点击下载后没有反应,有可能是因为机器io较慢导致打包慢;如果3分钟后还是没有反应,可以选择重新配置下YARN服务再进行下载
-
步骤二 将下载后的tdh-client.tar上传至服务器,并解压。
tar -xvf tdh-client.tar
-
步骤三 解压完成后,进入解压后的TDH-Client目录即可使用TDH-Client。
source ./init.sh
常见问题排查指南:3 社区开发版安装手册-3.8 常见问题排查指南-TDH Community Edition-星环科技
星环数据平台星环官方安装视频:
transwarp-ce-1253207870.cos.ap-shanghai.myqcloud.com/TDH-CE-2024-5/视频/TDH社区开发版安装视频2024.5.mp4
社区开发版星环官方安装手册:
3 社区开发版安装手册-3.1 产品介绍-TDH Community Edition-星环科技