当前位置: 首页 > news >正文

TDH社区开发版安装教程

(注:本文章来源于星环官网安装手册)

后面放置了视频和安装手册连接

1、硬件及环境要求

  1. Docker17及以上版本,支持Centos,Ubuntu等系统(注:这里我使用CentOS-7版本,最佳版本推荐为7.3-7.9)

  2. CPU:1颗4核心或以上带超线程x86指令集CPU的服务器

  3. 内存:

    TDH社区开发版以及StellarDB社区开发版:16GB及以上
    Scope社区开发版:24GB及以上
  4. 存储:如需部署Scope社区开发版,请务必确保数据目录所在磁盘大小至少50GB及以上。

温馨提示:上述最低内存仅适用于安装以及基础测试,如需确保稳定性以及需要进行产品功能测试,请酌情增加至8核32GB;如有性能需求,或涉及一定数据量的场景,请酌情增加至64GB及以上,按需调整资源。

2、TDH(Transwarp Data Hub ) 社区开发版

安装前系统配置

在安装前,请打开环境下的/etc/hosts文件,确保该文件包含节点的hostname和IP地址的映射关系列表。例如:

172.16.2.125 tdh-node

您可以登入到节点使用 hostname 命令检查节点主机名,确保节点名称与上述 /etc/hosts 里设置的名称相同。请注意,集群的节点名称必须符合DNS-1123规范,由数字、小写字母或“-”组成,不能包含大写字母,长度小于63。

您可以使用 hostnamectl set-hostname <hostname> 命令来修改主机名,参考以下示例:

[root@localhost ~]# hostnamectl set-hostname tw-node2125
[root@localhost ~]# hostname
tw-node2125
[root@localhost ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
[root@localhost ~]# vi /etc/hosts
[root@localhost ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
172.16.2.125 tw-node2125

请注意 /etc/hosts 文件的第一行必须为127.0.0.1的记录,不能将此行注释掉,也不能将当前主机名写在该行中。通常如下:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

环境准备

  1. 步骤一 Linux环境上安装docker(一个开源的容器化平台)

    此处以Centos系统为例

    yum install docker

    install docker

  2. 安装后启动/查看docker服务

    安装后启动docker服务

    systemctl start docker

    查看docker状态

    systemctl status docker

安装流程

  • 步骤一 将从官网下载下来的产品包上传至安装环境

    产品包名称:TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz

  • 步骤二 执行下述命令进行解压,解压后将出现一个镜像tar包

    tar -zxf TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz -C /opt/installs/

  • 步骤三 执行下述命令加载镜像

    docker load -i tdh-standalone-2023.5.tar

  • 步骤四 创建一个文件夹保存TDH运行过程中产生的配置conf、数据data、日志log。

mkdir /opt/tdh

  • 步骤五 执行下方指令启动容器并运行镜像,运行格式为:

docker run -d --network host -v <本地目录路径>:/opt/transwarp --privileged <镜像名称,例如:tdh-standalone:2024.5>

例:docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh- standalone:2023.5

注:-v参数配置了TDH挂载的本地磁盘路径。该路径下会保存TDH运行过程中产生的配置conf、数据data、日志log。再次提醒请不要随意改动做好备份,以及确保该路径为空目录,没有历史版本或其他开发版产品的数据文件。

  • 步骤六 容器启动后需等待30s至2分钟

  • 步骤七 浏览器访问管理节点8180端口

    打开客户端浏览器(推荐使用Google Chrome浏览器),访问http://host:8180,比如http://192.168.127.132:8180/。访问这个地址,您会看到下面的登录页面:

  • 初次登录以admin的身份登录,密码也是admin。

  • 接下来是添加一些配置

安装完成

自助申请许可证教程

在安装完成后,页面会提示您需要申请许可证。

licenseapply1 24

如果您已经在星环云页面注册过账号以及创建过组织,填写对应的星环云ID以及密码,进行手机号码验证即可。如果您第一次使用社区版家族产品,可以参考下方教程进行申请。

  1. 点击弹窗下方的注册按钮,或者直接访问星环云页面 创建组织

    星环云网站:https://cloud.transwarp.cn/home

    License1

    License2

  2. 编辑组织信息

    创建好后如果需要重新更改名词可以选择编辑

    License3

  3. 申请许可证

    回到TDH Manager,输入账号进行“许可证申请”。

    License4 24

    license4.1 24

    License5 24

  4. 完成申请,启动许可证

下载使用客户端TDH-Client

TDH-Client:星环大数据平台(Transwarp Data Hub, TDH)的客户端工具,用于与 TDH 集群交互,提供命令行和 API 访问方式,支持 HDFS、Hive、Spark 等大数据组件的操作

Manager为用户提供了两种下载tdh-client的方式(Manager自带和随产品包上传)

这里我们使用的是Manager自带方法

使用TDH-Client前还需设置JAVA_HOME环境变量(这里不再演示,详情请查看以往作品)

  • 步骤一 登录Manager页面后点击右上角下载客户端

    tdh client 24.1

    tdh client 24.2

    如果您点击下载后没有反应,有可能是因为机器io较慢导致打包慢;如果3分钟后还是没有反应,可以选择重新配置下YARN服务再进行下载

    tdh client 1

  • 步骤二 将下载后的tdh-client.tar上传至服务器,并解压。

    tar -xvf tdh-client.tar

    tdh client 24.3

  • 步骤三 解压完成后,进入解压后的TDH-Client目录即可使用TDH-Client。

    source ./init.sh

    tdh client 24.5

常见问题排查指南:3 社区开发版安装手册-3.8 常见问题排查指南-TDH Community Edition-星环科技

星环数据平台星环官方安装视频:
transwarp-ce-1253207870.cos.ap-shanghai.myqcloud.com/TDH-CE-2024-5/视频/TDH社区开发版安装视频2024.5.mp4

社区开发版星环官方安装手册:

3 社区开发版安装手册-3.1 产品介绍-TDH Community Edition-星环科技

http://www.lqws.cn/news/584533.html

相关文章:

  • [学习]M-QAM的数学原理与调制解调原理详解(仿真示例)
  • [面试]手写题-Promise.all() Promise.race()
  • 机器学习20-线性网络思考
  • 第三十六章 CAN——控制器局域网络接口
  • 字节跳动 C++ QT PC客户端面试
  • 论文中用matplotlib画的图,如何保持大小一致。
  • Vue2中使用DHTMLX Gantt
  • 深入理解Webpack的灵魂:Tapable插件架构解析
  • 使用Dirichlet分布进行随机初始化
  • 文心大模型 4.5 系列开源首发:技术深度解析与应用指南
  • StackGAN(堆叠生成对抗网络)
  • vscode 改注释的颜色,默认是灰色的,想改成红色
  • Prompt Enginering
  • 会议室预约系统的典型架构
  • Prompt 精通之路(一)- AI 时代的新语言:到底什么是 Prompt?为什么它如此重要?
  • Python 数据分析与机器学习入门 (五):Matplotlib 数据可视化基础
  • ubuntu源码安装python3.13遇到Could not build the ssl module!解决方法
  • 使用nomachine远程连接ARM设备桌面
  • 【Vscode】Vscode切换成中文语言
  • Java历史:从橡树到火星探索,从微软法律战到Spring、Gradle
  • Java web1(黑马)
  • django 数据表外键 删除时 对应表的数据不删除如何设置
  • 卫朋:华为流程体系拆解系列——IPD流程L1-L6分级导入实战演练
  • Junit_注解_枚举
  • 机器学习在智能仓储中的应用:库存管理与物流优化
  • SpringCloud系列(43)--搭建SpringCloud Config客户端
  • 后台管理系统的诞生 - 利用AI 1天完成整个后台管理系统的微服务后端+前端
  • Nestjs框架: Nestjs 复杂企业应用场景架构设计分析
  • Prompt 精通之路(五)- 构建你的“AI 指令系统”:超越简单提问的 CRISPE 与 APE 框架
  • 基于Spring Boot的绿园社区团购系统的设计与实现