最近在使用Sublime的时候发现Package Control无法安装插件，所以总结了一下自己的一些问题和解决方法

测试环境

1
2
3

测试环境：
  Win 10
  Sublime Text3 Build 3103

问题一：

Package Control：There are no packages available for installation

刚开始接触Debian，在VM里安装后发现不能从Win下复制粘贴内容
原来是没有安装VMware Tools，下面是如何在Debian下安装VMware Tools的教程

测试环境

1
2
3
4

测试环境：
  debian-8.3.0-amd64
  VMware 11.0.0 build-2305329
  VMwareTools-9.9.0-2304977.tar.gz

4040端口只能看到正在运行App的情况，并不能看到App运行结束后的各项数据

Mesos或YARN模式下可以通过各自的Web UI看到JobHistory情况的，但是在Standalone模式下是有自己的JobHistory Web UI

以下内容主要是怎样开启Standalone模式下的JobHistory Web UI

测试环境

1
2
3
4
5
6
7
8
9
10

测试环境：
  Ubuntu 14.04 LTS x64
  Hadoop：hadoop-2.7.1.tar.gz
  Spark：spark-1.5.2-bin-hadoop2.6.tgz
  Scala：scala-2.11.7.tgz
  
  伪分布式 + Yarn
  
  hostname		IP 		role
  spark-master： 192.168.108.20   master & worker

Python Programming Guide - Spark

Spark应用基本概念

每一个运行在cluster上的spark应用程序，是由一个运行main函数的driver program和运行多种并行操作的executes组成

其中spark的核心是弹性分布式数据集（Resilient Distributed Dataset—RDD）

• Resilient（弹性）：易变化、易计算
• Distributed（分布式）：可横跨多台机器，集群分布
• Dataset（数据集）：大批量数据的集合

环境及版本

1
2
3

Windows 10 x64
Python 2.7
Pycharm 4.5.1

什么是断言

assert和if语句类似，是用来检查一个条件，但不同的是如果它为真，就不做任何事。如果它为假，则会抛出AssertError异常。

1
2
3
4
5
6
7
8
9

a = 10
assert a > 0, 'a > 0'
assert a < 20, 'a < 20'
assert a%2 != 0, 'a is not an even number'

Traceback (most recent call last):
  File "D:/pythonlearning/assertlearning/assert_test.py", line 9, in <module>
    assert a%2 != 0, 'a is not an even number'
AssertionError: a is not an even number