新人SEの学習記録

14年度入社SEの学習記録用に始めたブログです。気づけば社会人3年目に突入。

学習記録:Hadoop

[Hadoop] Hadoopの導入

内容:3章 Hadoopの導入

macでの環境構築
  • Apache Hadoopのインストール
    • v2.4.0がインストールされた
$ brew install hadoop
$ cd /usr/local/Cellar/hadoop/2.4.0
$ ls
INSTALL_RECEIPT.json  LICENSE.txt           NOTICE.txt            README.txt            bin/                  libexec/              sbin/
$ mkdir input
$ echo "a b c" > input/test.txt
$ echo "a a b c c c" > input/test2.txt
$ ls
INSTALL_RECEIPT.json  LICENSE.txt           NOTICE.txt            README.txt            bin/                  input/                libexec/              sbin/
$ hadoop jar libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount input output
(中略)
$ ls
INSTALL_RECEIPT.json  NOTICE.txt            bin/                  libexec/              sbin/
LICENSE.txt           README.txt            input/                output/
$ ls output/
._SUCCESS.crc      .part-r-00000.crc  _SUCCESS           part-r-00000       
$ cat output/part-r-00000 
a	3
b	2
c	4
    • localhostにパスワードなしでsshログインできるようにする
      • 「システム環境設定」>「共有」>「リモートログイン」を入にする
      • 公開鍵認証の設定
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
Generating public/private dsa key pair.
(略)
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 700 ~/.ssh
$ chmod 600 ~/.ssh/id_dsa
$ ssh localhost
Last login: Sat Jul  5 21:21:01 2014 from localhost
$ exit
logout
Connection to localhost closed.
      • /usr/local/Cellar/hadoop/2.4.0/libexec/etc/hadoop/[core-site, hdfs-site].xmlを編集(サイト参照)
      • HDFSのフォーマット
% hdfs namenode -format
% /usr/local/Cellar/hadoop/2.4.0/sbin/start-dfs.sh
      • http://localhost:50070にアクセスして確認
      • YARNの設定(サイト参照)
      • 疑似分散モードでの実行
% hdfs dfs -mkdir /hadoop
% hdfs dfs -put input /hadoop/input
% hadoop jar /usr/local/Cellar/hadoop/2.4.0/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount /hadoop/input /hadoop/output
% hdfs dfs -cat /hadoop/output/part-r-00000
14/07/05 21:47:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
a	3
b	2
c	4
  • とりあえず動いた
    • コマンドの意味などは使いながら覚えていこう。。。

[Ruby] 学習記録

内容