Fork me on GitHub

Posted on | In ,

Spark在HA情况下，以Tachyon为内存文件系统，如何运行在Yarn上？

测试环境

1
2
3
4
5
6
7
8
9
10
11
12
13
14
测试环境：
  Ubuntu 14.04 LTS x64
  Tachyon：tachyon-0.7.1-bin.tar.gz
  Hadoop：hadoop-2.7.1.tar.gz
  Spark：spark-1.5.2-bin-hadoop2.6.tgz
  Maven：apache-maven-3.3.9-bin.tar.gz
  Scala：scala-2.11.7.tgz
  
  hostname		IP 		role
  spark-master： 192.168.108.20   master & worker
  spark-slave1： 192.168.108.21   worker
  spark-slave2： 192.168.108.22   worker
  
  !默认情况全部操作在root下进行
Read more »

Posted on | In ,

Tachyon如何配置High Available？

测试环境

1
2
3
4
5
6
7
8
9
10
11
测试环境：
  Ubuntu 14.04 LTS x64
  Tachyon：tachyon-0.7.1-bin.tar.gz
  Maven：apache-maven-3.3.9-bin.tar.gz
  
  hostname		IP 		role
  spark-master： 192.168.108.20   master & worker
  spark-slave1： 192.168.108.21   worker
  spark-slave2： 192.168.108.22   worker
  
  !默认情况全部操作在root下进行
Read more »

Posted on | In

环境及版本

1
2
3
Windows 10 x64
Python 2.7
Pycharm 4.5.1

字典(dict)

  • 是python中唯一内建的映射类型，字典中的值是无序的
  • 在Java中也就是map，是key-value键值对
  • 键可以是数字、字符串、元组等不可变元素
Read more »