Tez 0.9安装部署+hive on tez配置 + Tez-UI-白红宇

Tez 0.9安装部署+hive on tez配置 + Tez-UI

阅读量：325 次

发布时间：2019-03-04

本文共 3308 字，大约阅读时间需要 11 分钟。

Tez 说明

请将 xyz 替换为您正在使用的 Tez 发行版号。例如 0.5.0。对于 Tez 版本 0.8.3 和更高版本，Tez 需要 Apache Hadoop 版本为 2.6.0 或更高版本。对于 Tez 版本 0.9.0 及更高版本，Tez 需要 Apache Hadoop 版本为 2.7.0 或更高版本。

关于版本

Hadoop 2.7.0+（我的是 2.7.1）

Tez 还需要 Protocol Buffers 2.5.0，包括 protoc 编译器。如果您下载的是 apache-tez-0.9.0-src.tar.gz 包则需要编译，需要 Protocol Buffers 2.5.0

Maven 3+

Hive 2.1.1

tez-0.9.0

protobuf-2.5.0 安装

（注：如果下载的是 apache-tez-0.9.0-bin.tar.gz 则不需要编译。可以跳过这一步，建议下载 bin）

解压

编译安装

cd protobuf-2.5.0./configuremakemake installprotoc --version（验证是否安装成功）

安装部署 Tez

可以选择下载：

apache-tez-0.9.0-src.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

apache-tez-0.9.0-bin.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

编译方式一：

tar -zxvf apache-tez-0.9.0-src.tar.gzchmod -R 777 apache-tez-0.9.0-srccd apache-tez-0.9.0-srcmvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

将 Tez 的压缩包放到 HDFS 上去：

方式一：所在文件目录为 apache-tez-0.9.0-src/target

方式二：所在文件目录为 apache-tez-0.9.0-bin/share

hadoop fs -mkdir -p /user/tezhadoop fs -put tez.tar.gz /user/tez

在 Hadoop/etc/hadoop 下创建 tez-site.xml 文件并写上如下配置：

vi tez-site.xml
      
         
      
       tez.lib.uris
          
      
       ${fs.defaultFS}/user/tez/tez.tar.gz
          
        
       
         
      
       tez.container.max.java.heap.fraction
          
      
       0.2

保存后将文件复制到其他节点。

修改 hadoop-env.sh 并追加以下几行：

TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xmlTEZ_JARS=/usr/local/tez/apache-tez-0.9.0-binexport HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

重启 Hadoop：

hadoop-daemon.sh stophadoop-daemon.sh start

启动 Hive：

set hive.execution.engine=tez

设置 Tez-UI

找到 WAR 包

因为我安装的是 bin，所以在安装包中就有 tez-ui-0.9.0.war

自己编译的话也有生成，这里不做过多赘述。

将 Tez-UI 部署到 Tomcat：

mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uicd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uiunzip tez-ui-0.9.0.warvim config/configs.env

配置 TimelineServer：

目录：/usr/local/hadoop/etc/hadoop

添加以下内容到 yarn-site.xml 并分发到各个节点：

vi yarn-site.xml

添加以下内容：


    
      
     
      yarn.timeline-service.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.hostname
       
     
      tmaster
     
    
      
     
      yarn.timeline-service.http-cross-origin.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.system-metrics-publisher.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.generic-application-history.enabled
       
     
      true
     
    
      
     
      yarn.timeline-service.address
       
     
      tmaster:10201
     
    
      
     
      yarn.timeline-service.webapp.address
       
     
      tmaster:8188
     
    
      
     
      yarn.timeline-service.webapp.https.address
       
     
      tmaster:2191
     
    
      
     
      yarn.timeline-service.handler-thread-count
       
     
      24

添加 Tez 的配置到 tez-site.xml，并分发到各个节点：

vi tez-site.xml

添加以下内容：


    
      
     
      tez.history.logging.service.class
       
     
      org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
     
    
      
     
      tez.tez-ui.history-url.base
       
     
      http://192.168.205.70:8880/tez-ui/

启动 Hadoop：

hadoop-daemon.sh stophadoop-daemon.sh start

启动 TimelineServer：

yarn-daemon.sh start timelineserver

启动 Tomcat：

/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh

访问界面：

访问地址：http://tmaster:8080/tez-ui

转载地址：http://bxgq.baihongyu.com/

你可能感兴趣的文章

python filter过滤器的使用_python基础知识分享：zip()、filter函数和reduce如何使用？...

查看>>

python flask 请求code 400, message Bad request version

查看>>

Python UI自动化测试集成UnitTest

查看>>

Python UTC 日期时间对象的 ISO 格式不包括 Z(祖鲁语或零偏移)

查看>>

python valueerror object2_python遇到错误记录

python vue3实现大文件分段续传(断点续传)--带暂停和继续功能

查看>>

Python WebDriver如何打印整个页面源(html)

查看>>

Python WebSocket自动化测试：构建高效接口测试框架

Python web自动化测试 —— 文件上传

查看>>

Python web自动化测试 —— 文件上传！

查看>>

Python Web自动化测试开发环境搭建(附安装包与虚拟机环境)

查看>>

python win32api键盘_Python win32api.keybd_event模拟键盘输入

查看>>

python Windows显示当前鼠标坐标

查看>>

python Workbook 表格宽度

查看>>

python | flanker，一个神奇的 Python 库！

查看>>

python | flower，一个强大的 Python 库！

查看>>