Tez 0.9安装部署+hive on tez配置 + Tez-UI-白红宇

Tez 0.9安装部署+hive on tez配置 + Tez-UI

阅读量：325 次

发布时间：2019-03-04

本文共 3308 字，大约阅读时间需要 11 分钟。

Tez 说明

请将 xyz 替换为您正在使用的 Tez 发行版号。例如 0.5.0。对于 Tez 版本 0.8.3 和更高版本，Tez 需要 Apache Hadoop 版本为 2.6.0 或更高版本。对于 Tez 版本 0.9.0 及更高版本，Tez 需要 Apache Hadoop 版本为 2.7.0 或更高版本。

关于版本

Hadoop 2.7.0+（我的是 2.7.1）

Tez 还需要 Protocol Buffers 2.5.0，包括 protoc 编译器。如果您下载的是 apache-tez-0.9.0-src.tar.gz 包则需要编译，需要 Protocol Buffers 2.5.0

Maven 3+

Hive 2.1.1

tez-0.9.0

protobuf-2.5.0 安装

（注：如果下载的是 apache-tez-0.9.0-bin.tar.gz 则不需要编译。可以跳过这一步，建议下载 bin）

解压

编译安装

cd protobuf-2.5.0./configuremakemake installprotoc --version（验证是否安装成功）

安装部署 Tez

可以选择下载：

apache-tez-0.9.0-src.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

apache-tez-0.9.0-bin.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

编译方式一：

tar -zxvf apache-tez-0.9.0-src.tar.gzchmod -R 777 apache-tez-0.9.0-srccd apache-tez-0.9.0-srcmvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

将 Tez 的压缩包放到 HDFS 上去：

方式一：所在文件目录为 apache-tez-0.9.0-src/target

方式二：所在文件目录为 apache-tez-0.9.0-bin/share

hadoop fs -mkdir -p /user/tezhadoop fs -put tez.tar.gz /user/tez

在 Hadoop/etc/hadoop 下创建 tez-site.xml 文件并写上如下配置：

vi tez-site.xml
      
         
      
       tez.lib.uris
          
      
       ${fs.defaultFS}/user/tez/tez.tar.gz
          
        
       
         
      
       tez.container.max.java.heap.fraction
          
      
       0.2

保存后将文件复制到其他节点。

修改 hadoop-env.sh 并追加以下几行：

TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xmlTEZ_JARS=/usr/local/tez/apache-tez-0.9.0-binexport HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

重启 Hadoop：

hadoop-daemon.sh stophadoop-daemon.sh start

启动 Hive：

set hive.execution.engine=tez

设置 Tez-UI

找到 WAR 包

因为我安装的是 bin，所以在安装包中就有 tez-ui-0.9.0.war

自己编译的话也有生成，这里不做过多赘述。

将 Tez-UI 部署到 Tomcat：

mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uicd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uiunzip tez-ui-0.9.0.warvim config/configs.env

配置 TimelineServer：

目录：/usr/local/hadoop/etc/hadoop

添加以下内容到 yarn-site.xml 并分发到各个节点：

vi yarn-site.xml

添加以下内容：


    
      
     
      yarn.timeline-service.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.hostname
       
     
      tmaster
     
    
      
     
      yarn.timeline-service.http-cross-origin.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.system-metrics-publisher.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.generic-application-history.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.address
       
     
      tmaster:10201
     
    
      
     
      yarn.timeline-service.webapp.address
       
     
      tmaster:8188
     
    
      
     
      yarn.timeline-service.webapp.https.address
       
     
      tmaster:2191
     
    
      
     
      yarn.timeline-service.handler-thread-count
       
     
      24

添加 Tez 的配置到 tez-site.xml，并分发到各个节点：

vi tez-site.xml

添加以下内容：


    
      
     
      tez.history.logging.service.class
       
     
      org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
     
    
      
     
      tez.tez-ui.history-url.base
       
     
      http://192.168.205.70:8880/tez-ui/

启动 Hadoop：

hadoop-daemon.sh stophadoop-daemon.sh start

启动 TimelineServer：

yarn-daemon.sh start timelineserver

启动 Tomcat：

/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh

访问界面：

访问地址：http://tmaster:8080/tez-ui

转载地址：http://bxgq.baihongyu.com/

你可能感兴趣的文章

Python 多处理 apply_async 永远不会在 Windows 7 上返回结果

查看>>

Python 多处理 Numpy 随机

查看>>

Python 多处理＞= 125 列表永远不会完成

查看>>

Python 多处理:在第一个子错误时中止映射

查看>>

Python 多处理不断产生 pythonw.exe 进程而不做任何实际工作

Python 多处理将子进程的标准输出重定向到 Tkinter 文本

查看>>

Python 多处理库错误(AttributeError:__exit__)

查看>>

Python 多处理模块的 .join() 方法到底在做什么?

python 多进程-进阶-进程间通信之Pipe

查看>>

python 多进程-进阶-进程间通信之Queue

查看>>

python 如何“否定“value : 如果为真则返回假，如果为假则返回真

查看>>