借安装hadoop之名

MetalX

pcDuino到手也一个星期了，期间折腾来折腾去的也算是摸清了一些事情，就借着装hadoop这个借口一并说了吧。

一、为啥是hadoop，为啥是pcDuino

啊，这个首先是因为lz手头有个小项目要用，开虚拟机又太费劲（虽说12G内存的台机就是为了开虚拟机用的...）；其次因为apache下的hadoop是java开发的，而java是号称跨平台的，省去了交叉编译的苦恼（可恶的交叉编译链LZ我现在都没搭好）；再次，目测ARM+hadoop等其它系统，是未来云计算的发展趋势...

至于为啥用pcDuino，第一，它性能比RPI要强大，从各种参数可以看出来；第二，它使用的ubuntu是我最熟悉的Linux操作系统...

二、LZ你都搞了些啥
0、预备活动

首先要干的是确定环境，结合本人多年形成的工作习惯（天天和AIX系统打交道），确定了以下几个方面：

工作在字符界面下开展，有ssh就有一切，远程桌面软件xrdp我装了，不好使...；
使用SecureCRT终端软件，这个软件LZ我本职工作必备，感觉上比putty啊netterm之流顺手的多，自带sftp，还支持多连接并行操作和操作日志记录，只可惜不是免费的；
使用正统的java环境而不是openjdk，因为java类程序的开发，还是以sun-java为基础，openjdk可能存在某些兼容性问题，免得以后麻烦吧；
使用字符界面下的文本编辑工具vi和系统监控工具nmon，这俩也是LZ本职工作必备，谁用谁知道；

以上软件的使用方法这里不做过多介绍...

1、刷系统
系统从这里下的：http://www.pcduino.com/?page_id=14 Ubuntu 12.04 LTS
刷系统的步骤是参考这个帖子的：http://www.shumeipai.net/thread-19077-1-1.html
刷系统本身没什么好说的，一张4G的TF卡+win32diskimager搞定一切
最新的ubuntu系统是5月31日的，里面有原生的中文支持（原来的版本有没有我也不知道，反正已经没了）
PS：根据LZ一个星期三次以上的刷系统经验看，每次刷机，板子的mac地址都不一样，如果是像我一样在路由器上设置了IP和mac绑定的最好注意以下，当然了基于这个习惯，以下均认为板子的IP已知

2、调整系统环境
刷完系统，首次开机，这个时候是要给pcDuino外接键盘鼠标显示器的，这三样每样都是必备的
开机进入设置界面（当然以后开机按F10也就又进来了...），设置分辨率和设置语言略请参考别的帖子，这里有个需要说明的地方，那个开机后启动图形桌面还是只启动字符界面，还是保持默认的启动桌面吧，我搞了一次只启动字符界面，惊异的发现TF卡没挂载，网卡也没搞到IP...
设置完了进入系统桌面，是叫gnome吧，反正和我虚拟机上的桌面不一样，点开LXTerminal，这里就体现了鼠标的重要性，必须用鼠标点，键盘怎么敲都无效的
进到终端之后就是键盘的天下了，首先切到root用户：sudo -i，敲入ubuntu用户的密码（默认就是ubuntu）
为啥切到root底下，因为以后几乎所有操作是要root的，速度（sudo）来速度去的本人嫌麻烦，这里推荐把root用户密码也改掉，命令是passwd
安装ssh，apt-get install ssh，LZ感觉系统自带的源速度很快，不需要更换源，当然了ssh也很小
下载并安装完ssh之后，vi /etc/ssh/sshd_config，找到PermitRootLogin yes这一行，把yes改成no，禁止root用户直接通过ssh方式访问，想用root必须从别的用户切（当然这也是LZ的工作习惯），改完了shutdown -r now重启板子，鼠标键盘显示器可以拔掉了，以下操作全通过终端软件ssh访问完成

pcDuino的启动速度很快，等15秒左右就可以用终端软件ssh了，用ubuntu用户登进去之后su回车，敲root的密码切换到root
安装nmon，apt-get install nmon，好像只有几百k，很小
如果这时候你有心的话可以敲命令df -m看一下挂载在系统里的各存储使用情况，在有中文（UTF-8）的情况下各项非常好理解
但是你多半会发现一个可怕的事实：板子自带的2G闪存已经被占掉60%+了，RPI是离了存储卡根本没法活，pcDuino是离了TF卡多半没法活...
要卸载一些东西腾地方，命令是apt-get purge
卸载openjdk相关，apt-get purge openjdk*
当然如果不在板子上玩C语言编译的话gcc也没啥大用，apt-get purge gcc*
当然如果...大家自己看着卸吧，卸坏了就重刷...
卸完之后记得再执行一遍apt-get autoremove，自动清理下已经没用的包

以上，系统环境基本调整的差不多了，下面开始安装软件

3、安装软件
首先安装jdk，这里不能再使用apt工具了，因为开源界的大敌同时也是java的东家oracle在java6之后更改了授权协议，广大用户只能通过apt获取到openjdk。想获取正统jdk？去www.oracle.com自己下...
目前jdk的版本还是7，下载地址是这个http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，pcDuino的指令集是ARMv7，那么就应该下Linux ARM v6/v7 Soft Float ABI，文件名是jdk-7u25-linux-arm-sfp.tar.gz的这个？
很不幸，错了，lz我一开始就这么干的，结果下下来之后不能用...后来厚着脸皮重新用apt装了一次openjdk才发现，板子上的A10处理器是支持硬件浮点（Hard Float）的，而该死的oracle只提供了软件浮点的jdk7，也就意味着jdk7是别想了...
无奈之下使用了尚在测试的jdk8，http://www.java.net/download/JavaFXarm/jdk-8-ea-b36e-linux-arm-hflt-29_nov_2012.tar.gz

下载下来之后tar zxvf解压，解压出目录jdk1.8.0，将此目录copy入/usr/lib/jvm中，因为jdk和python解释器一样，是基础类软件，而python就放在这里...分类存放，算是个好习惯吧
接下来配置环境变量，
vi /etc/environment，加上
JAVA_HOME="usr/lib/jvm/jdk1.8.0"
CLASSPATH="usr/lib/jvm/jdk1.8.0/lib"
这么两行
vi /etc/profile，在最后加上这么一行：PATH="$PATH:/usr/lib/jvm/jdk1.8.0/bin"，把java配置进环境变量中，因为不是使用apt，更不是windows，所有东西都是要自己手工配的

至于为什么不在/etc/environment中一下子配齐，我也是纠结了很长时间才出此下策的，应该是ubuntu系统本身的问题，如果使用su - xxxx命令切换用户的时候，/etc/environment中配置的$PATH会不起作用，非要在/etc/profile里配了才行...

配完之后一定要重新连接，重连后输入java -version，看到如下信息就表示成功了
java version "1.8.0-ea"
Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e)
Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)

接下来装hadoop
hadoop也和jdk一样，不能通过apt安装，下载地址在此http://hadoop.apache.org/releases.html#Download，可以自己选择版本，我选择的是1.1.2

至于详细的安装过程，大体参照这个帖子http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html
由于我也是在不停的学习摸索，就说几个重要的地方吧
hadoop用户最好是建一个，但是没必要像帖子里说的赋那么高权，没用
ssh localhost这个很关键
hadoop没必要放在/usr/local这么系统级的目录，放在hadoop用户自己的目录下就很好，相应的，装hadoop不用root
conf/hdfs-site.xml ，不需要照抄，可以适当修改

顺利启动hadoop后最好看看nmon的监控，看内存和CPU，你会发现系统资源基本给占的差不多了特别是内存，pcDuino号称1GRAM，刨掉192M的共享内存最多最多也就832M...不过这要是RPI估计已经耗尽了...

哦差点忘了，对于不断增长的日志文件夹hadoop/log，我做了一个软连接放到TF卡上了，板载闪存宝贵啊...至于TF卡上目录权限的设置，用root执行chmod和chown命令就可以

先写这么些吧...本事有限，列位看官多包涵

树老大

前来支持啦。