Tez 0.9安装部署+hive on tez配置 + Tez-UI-白红宇

Tez 0.9安装部署+hive on tez配置 + Tez-UI

阅读量：325 次

发布时间：2019-03-04

本文共 3323 字，大约阅读时间需要 11 分钟。

Tez 说明

请将 xyz 替换为您正在使用的 Tez 发行版号。例如 0.5.0。对于 Tez 版本 0.8.3 和更高版本，Tez 需要 Apache Hadoop 版本为 2.6.0 或更高版本。对于 Tez 版本 0.9.0 及更高版本，Tez 需要 Apache Hadoop 版本为 2.7.0 或更高版本。

关于版本

Hadoop 2.7.0+（我的是 2.7.1）

Tez 还需要 Protocol Buffers 2.5.0，包括 protoc 编译器。如果您下载的是 apache-tez-0.9.0-src.tar.gz 包则需要编译，需要 Protocol Buffers 2.5.0

Maven 3+

Hive 2.1.1

tez-0.9.0

protobuf-2.5.0 安装

（注：如果下载的是 apache-tez-0.9.0-bin.tar.gz 则不需要编译。可以跳过这一步，建议下载 bin）

解压

编译安装

cd protobuf-2.5.0
./configure
make
make install
protoc --version（验证是否安装成功）

安装部署 Tez

可以选择下载：

apache-tez-0.9.0-src.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

apache-tez-0.9.0-bin.tar.gz（建议下载这个，感觉 src 编译遇到好多问题）

编译方式一：

tar -zxvf apache-tez-0.9.0-src.tar.gz
chmod -R 777 apache-tez-0.9.0-src
cd apache-tez-0.9.0-src
mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true

将 Tez 的压缩包放到 HDFS 上去：

方式一：所在文件目录为 apache-tez-0.9.0-src/target

方式二：所在文件目录为 apache-tez-0.9.0-bin/share

hadoop fs -mkdir -p /user/tez
hadoop fs -put tez.tar.gz /user/tez

在 Hadoop/etc/hadoop 下创建 tez-site.xml 文件并写上如下配置：

vi tez-site.xml
    
  
     
    
      
       tez.lib.uris
      
    
      
       ${fs.defaultFS}/user/tez/tez.tar.gz
      
    
      
  
     
  
     
    
      
       tez.container.max.java.heap.fraction
      
    
      
       0.2

保存后将文件复制到其他节点。

修改 hadoop-env.sh 并追加以下几行：

TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xml
TEZ_JARS=/usr/local/tez/apache-tez-0.9.0-bin
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*

重启 Hadoop：

hadoop-daemon.sh stop
hadoop-daemon.sh start

启动 Hive：

set hive.execution.engine=tez

设置 Tez-UI

找到 WAR 包

因为我安装的是 bin，所以在安装包中就有 tez-ui-0.9.0.war

自己编译的话也有生成，这里不做过多赘述。

将 Tez-UI 部署到 Tomcat：

mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui
cd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui
unzip tez-ui-0.9.0.war
vim config/configs.env

配置 TimelineServer：

目录：/usr/local/hadoop/etc/hadoop

添加以下内容到 yarn-site.xml 并分发到各个节点：

vi yarn-site.xml

添加以下内容：


    
    
  
     
      yarn.timeline-service.enabled
     
  
     
      true
     
    
    
  
     
      yarn.timeline-service.hostname
     
  
     
      tmaster
     
    
    
  
     
      yarn.timeline-service.http-cross-origin.enabled
     
  
     
      true
     
    
    
  
     
      yarn.timeline-service.system-metrics-publisher.enabled
     
  
     
      true
     
    
    
  
     
      yarn.timeline-service.generic-application-history.enabled
     
  
     
      true
     
    
    
  
     
      yarn.timeline-service.address
     
  
     
      tmaster:10201
     
    
    
  
     
      yarn.timeline-service.webapp.address
     
  
     
      tmaster:8188
     
    
    
  
     
      yarn.timeline-service.webapp.https.address
     
  
     
      tmaster:2191
     
    
    
  
     
      yarn.timeline-service.handler-thread-count
     
  
     
      24

添加 Tez 的配置到 tez-site.xml，并分发到各个节点：

vi tez-site.xml

添加以下内容：


    
    
  
     
      tez.history.logging.service.class
     
  
     
      org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService
     
    
    
  
     
      tez.tez-ui.history-url.base
     
  
     
      http://192.168.205.70:8880/tez-ui/

启动 Hadoop：

hadoop-daemon.sh stop
hadoop-daemon.sh start

启动 TimelineServer：

yarn-daemon.sh start timelineserver

启动 Tomcat：

/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh

访问界面：

访问地址：http://tmaster:8080/tez-ui

转载地址：http://bxgq.baihongyu.com/

你可能感兴趣的文章

nodejs常用组件

查看>>

nodejs开发公众号报错 40164，白名单配置找不到，竟然是这个原因

查看>>

Nodejs异步回调的处理方法总结

查看>>

NodeJS报错 Fatal error: ENOSPC: System limit for number of file watchers reached, watch ‘...path...‘

查看>>

nodejs支持ssi实现include shtml页面

查看>>

Nodejs教程09：实现一个带接口请求的简单服务器

查看>>

nodejs服务端实现post请求

查看>>

nodejs框架，原理，组件，核心，跟npm和vue的关系

查看>>

Nodejs概览：思维导图、核心技术、应用场景

查看>>

nodejs模块——fs模块

查看>>

Nodejs模块、自定义模块、CommonJs的概念和使用

查看>>

nodejs生成多层目录和生成文件的通用方法

查看>>

nodejs端口被占用原因及解决方案

查看>>

Nodejs简介以及Windows上安装Nodejs

nodejs配置express服务器，运行自动打开浏览器

查看>>