Tez 0.9安装部署+hive on tez配置 + Tez-UI-白红宇

Tez 0.9安装部署+hive on tez配置 + Tez-UI

阅读量：325 次

发布时间：2019-03-04

本文共 3308 字，大约阅读时间需要 11 分钟。

Tez 说明

请将 xyz 替换为您正在使用的 Tez 发行版号。例如 0.5.0。对于 Tez 版本 0.8.3 和更高版本，Tez 需要 Apache Hadoop 版本为 2.6.0 或更高版本。对于 Tez 版本 0.9.0 及更高版本，Tez 需要 Apache Hadoop 版本为 2.7.0 或更高版本。

关于版本

Hadoop 2.7.0+（我的是 2.7.1）

Tez 还需要 Protocol Buffers 2.5.0，包括 protoc 编译器。如果您下载的是 apache-tez-0.9.0-src.tar.gz 包则需要编译，需要 Protocol Buffers 2.5.0

Maven 3+

Hive 2.1.1

tez-0.9.0

protobuf-2.5.0 安装

（注：如果下载的是 apache-tez-0.9.0-bin.tar.gz 则不需要编译。可以跳过这一步，建议下载 bin）

解压

编译安装

cd protobuf-2.5.0./configuremakemake installprotoc --version（验证是否安装成功）

安装部署 Tez

可以选择下载：

apache-tez-0.9.0-src.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

apache-tez-0.9.0-bin.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

编译方式一：

tar -zxvf apache-tez-0.9.0-src.tar.gzchmod -R 777 apache-tez-0.9.0-srccd apache-tez-0.9.0-srcmvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

将 Tez 的压缩包放到 HDFS 上去：

方式一：所在文件目录为 apache-tez-0.9.0-src/target

方式二：所在文件目录为 apache-tez-0.9.0-bin/share

hadoop fs -mkdir -p /user/tezhadoop fs -put tez.tar.gz /user/tez

在 Hadoop/etc/hadoop 下创建 tez-site.xml 文件并写上如下配置：

vi tez-site.xml
      
         
      
       tez.lib.uris
          
      
       ${fs.defaultFS}/user/tez/tez.tar.gz
          
        
       
         
      
       tez.container.max.java.heap.fraction
          
      
       0.2

保存后将文件复制到其他节点。

修改 hadoop-env.sh 并追加以下几行：

TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xmlTEZ_JARS=/usr/local/tez/apache-tez-0.9.0-binexport HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

重启 Hadoop：

hadoop-daemon.sh stophadoop-daemon.sh start

启动 Hive：

set hive.execution.engine=tez

设置 Tez-UI

找到 WAR 包

因为我安装的是 bin，所以在安装包中就有 tez-ui-0.9.0.war

自己编译的话也有生成，这里不做过多赘述。

将 Tez-UI 部署到 Tomcat：

mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uicd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uiunzip tez-ui-0.9.0.warvim config/configs.env

配置 TimelineServer：

目录：/usr/local/hadoop/etc/hadoop

添加以下内容到 yarn-site.xml 并分发到各个节点：

vi yarn-site.xml

添加以下内容：


    
      
     
      yarn.timeline-service.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.hostname
       
     
      tmaster
     
    
      
     
      yarn.timeline-service.http-cross-origin.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.system-metrics-publisher.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.generic-application-history.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.address
       
     
      tmaster:10201
     
    
      
     
      yarn.timeline-service.webapp.address
       
     
      tmaster:8188
     
    
      
     
      yarn.timeline-service.webapp.https.address
       
     
      tmaster:2191
     
    
      
     
      yarn.timeline-service.handler-thread-count
       
     
      24

添加 Tez 的配置到 tez-site.xml，并分发到各个节点：

vi tez-site.xml

添加以下内容：


    
      
     
      tez.history.logging.service.class
       
     
      org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
     
    
      
     
      tez.tez-ui.history-url.base
       
     
      http://192.168.205.70:8880/tez-ui/

启动 Hadoop：

hadoop-daemon.sh stophadoop-daemon.sh start

启动 TimelineServer：

yarn-daemon.sh start timelineserver

启动 Tomcat：

/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh

访问界面：

访问地址：http://tmaster:8080/tez-ui

转载地址：http://bxgq.baihongyu.com/

你可能感兴趣的文章

n = 3 , while n , continue

Nacos 与 Eureka、Zookeeper 和 Consul 等其他注册中心的区别

查看>>

Nacos2.X 配置中心源码分析：客户端如何拉取配置、服务端配置发布客户端监听机制

查看>>

NacosClient客户端搭建，微服务注册进nacos

Nacos发布0.5.0版本，轻松玩转动态 DNS 服务

Nacos在双击startup.cmd启动时提示:Unable to start embedded Tomcat

查看>>

Nacos如何实现Raft算法与Raft协议原理详解

查看>>

Nacos安装教程（非常详细）从零基础入门到精通，看完这一篇就够了

查看>>

Nacos实战攻略：从入门到精通，全面掌握服务治理与配置管理！（下）