Fork me on GitHub

Tachyon集群High Available

Posted on | In ,

Tachyon如何配置High Available？

测试环境

1
2
3
4
5
6
7
8
9
10
11
测试环境：
  Ubuntu 14.04 LTS x64
  Tachyon：tachyon-0.7.1-bin.tar.gz
  Maven：apache-maven-3.3.9-bin.tar.gz
  
  hostname		IP 		role
  spark-master： 192.168.108.20   master & worker
  spark-slave1： 192.168.108.21   worker
  spark-slave2： 192.168.108.22   worker
  
  !默认情况全部操作在root下进行

安装Zookeeper集群

请参考：Zookeeper集群环境搭建

安装Tachyon集群

请参考：Tachyon集群部署

安装hadoop2.X集群

请参考：Hadoop集群环境搭建

修改Tachyon底层文件系统为HDFS

安装Maven

下载Maven：Maven官方下载

配置Maven环境变量

1
2
3
4
5
6
sudo vim /etc/profile

MAVEN_HOME=#Maven目录地址
PATH=$MAVEN_HOME/bin:$PATH

source /etc/profile

重新编译Tachyon

1
2
3
4
/**
 * 进入Tachyon目录
 */
mvn -Dhadoop.version=2.7.1 clean package

修改Tachyon配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
vim ./conf/tachyon-env.sh

export JAVA_HOME=/usr/lib/jvm/java
export JAVA="$JAVA_HOME/bin/java"
export TACHYON_MASTER_ADDRESS=spark-master
export TACHYON_UNDERFS_ADDRESS=hdfs://spark-master:9000
export TACHYON_WORKER_MEMORY_SIZE=512MB
export TACHYON_UNDERFS_HDFS_IMPL=org.apache.hadoop.hdfs.DistributedFileSystem
export TACHYON_WORKER_MAX_WORKER_THREADS=2048
export TACHYON_MASTER_MAX_WORKER_THREADS=2048
export TACHYON_SSH_FOREGROUND="yes"
export TACHYON_WORKER_SLEEP="0.02"

-Dtachyon.usezookeeper=true
-Dtachyon.zookeeper.address=spark-master:2181,spark-slave1:2181,spark-slave2:2181

配置slaves和workers

1
2
3
4
5
//打开slaves配置文件，注释掉localhost，添加spark-master
vim ./conf/slaves

//打开workers配置文件，注释掉localhost，添加spark-master
vim ./conf/workers

分发Tachyon目录

将新编译和配置的Tachyon目录分发给其他主机

初始化Tachyon

1
./bin/tachyon format

启动Tachyon集群

1
./bin/tachyon-start.sh all  NoMount

文件上传测试

1
2
3
4
tachyon tfs copyFromLocal /home/jabo/software/tachyon-0.7.1/docs/index.md /test
tachyon tfs ls /

6.49 KB   01-19-2016 16:49:03:675  In Memory      /test

查看Web UI

在master上用浏览器打开：hostname:19999 (spark-master:19999)
点击Works页面，会看到三台主机基本信息
点击Browse File System，会看到刚才上传的文件

转载请注明出处

Thank you for your support.