本文共 3308 字,大约阅读时间需要 11 分钟。
请将 xyz
替换为您正在使用的 Tez 发行版号。例如 0.5.0。对于 Tez 版本 0.8.3 和更高版本,Tez 需要 Apache Hadoop 版本为 2.6.0 或更高版本。对于 Tez 版本 0.9.0 及更高版本,Tez 需要 Apache Hadoop 版本为 2.7.0 或更高版本。
apache-tez-0.9.0-src.tar.gz
包则需要编译,需要 Protocol Buffers 2.5.0(注:如果下载的是 apache-tez-0.9.0-bin.tar.gz
则不需要编译。可以跳过这一步,建议下载 bin)
cd protobuf-2.5.0./configuremakemake installprotoc --version(验证是否安装成功)
可以选择下载:
apache-tez-0.9.0-src.tar.gz
(建议下载这个,感觉 src 编译遇到好多问题)apache-tez-0.9.0-bin.tar.gz
(建议下载这个,感觉 src 编译遇到好多问题)编译方式一:
tar -zxvf apache-tez-0.9.0-src.tar.gzchmod -R 777 apache-tez-0.9.0-srccd apache-tez-0.9.0-srcmvn clean package -DskipTests=true -Dmaven.javadoc.skip=true
将 Tez 的压缩包放到 HDFS 上去:
apache-tez-0.9.0-src/target
apache-tez-0.9.0-bin/share
hadoop fs -mkdir -p /user/tezhadoop fs -put tez.tar.gz /user/tez
在 Hadoop/etc/hadoop 下创建 tez-site.xml
文件并写上如下配置:
vi tez-site.xmltez.lib.uris ${fs.defaultFS}/user/tez/tez.tar.gz tez.container.max.java.heap.fraction 0.2
保存后将文件复制到其他节点。
修改 hadoop-env.sh 并追加以下几行:
TEZ_CONF_DIR=/usr/local/hadoop/etc/hadoop/tez-site.xmlTEZ_JARS=/usr/local/tez/apache-tez-0.9.0-binexport HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*
重启 Hadoop:
hadoop-daemon.sh stophadoop-daemon.sh start
启动 Hive:
set hive.execution.engine=tez
找到 WAR 包
tez-ui-0.9.0.war
将 Tez-UI 部署到 Tomcat:
mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uicd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-uiunzip tez-ui-0.9.0.warvim config/configs.env
配置 TimelineServer:
yarn-site.xml
并分发到各个节点:vi yarn-site.xml
添加以下内容:
yarn.timeline-service.enabled true yarn.timeline-service.hostname tmaster yarn.timeline-service.http-cross-origin.enabled true yarn.timeline-service.system-metrics-publisher.enabled true yarn.timeline-service.generic-application-history.enabled true yarn.timeline-service.address tmaster:10201 yarn.timeline-service.webapp.address tmaster:8188 yarn.timeline-service.webapp.https.address tmaster:2191 yarn.timeline-service.handler-thread-count 24
添加 Tez 的配置到 tez-site.xml
,并分发到各个节点:
vi tez-site.xml
添加以下内容:
tez.history.logging.service.class org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService tez.tez-ui.history-url.base http://192.168.205.70:8880/tez-ui/
启动 Hadoop:
hadoop-daemon.sh stophadoop-daemon.sh start
启动 TimelineServer:
yarn-daemon.sh start timelineserver
启动 Tomcat:
/usr/local/apache/apache-tomcat-8.5.31/bin/startup.sh
访问界面:
转载地址:http://bxgq.baihongyu.com/