now maintainance mode
 now maintainance mode2-5

学習 シーズン1
 基礎理論 学習 1か月程度

機械学習 シーズン2
 環境調査
   Pythonや関連モジュールコンパイル
   Centos/Redhat調査
   Ubuntu(軽く)
   Hadoop/HDFS 簡易調査
機械学習 シーズン3 11/09-
 Docker.Cluster Hadoop/HDFS

————- 続きを読む » ( Read More )————-

Setup yum repository

get CDH5 repository pack
Installing CDH 5 with MRv1 on a Single Linux Host in Pseudo-distributed mode | 5.5.x | Cloudera Documentation

Install and setup JDK(Java)

Open Firewall in Intranet

Open hadoop port in VPC
Hadoopはデフォルトでは認証が弱いので
最初はVPCのみに公開しましょう。
公開設定は気を付けましょう。

setup Hadoop (master:HDFS namenode)

setup Hadoop (slave)

setup Hadoop (client)

Docker

setup Hadoop (Docker master)

setup Hadoop (Docker slave)

CDH (Cloudera Distribution of Hadoop)
Installing Hadoop | Deploying Hadoop | InformIT

2Docker Hadoop slave on EC2 Hadoop master

Docker上にCDH(擬似分散モード)を構築する。 – Qiita
執筆中

Dockerfile

whitebox

 
 
 

MapReduceアルゴリズムを調べていて
Docker Cluster技術という単語を聞いて
技術としてすごいなと思う。

Amazon 系 Docker

Amazon ECR における Docker の基本 – Amazon ECR
料金 – Amazon ECR | AWS

ストレージコストは 1 か月あたり GB 単位で 0.10USD(例)

※執筆中

docker pull ( download image)
ex:docker pull tianon/sleeping-beauty

docker create
docker start
docker restart
docker run ( create+start)

docker attach
CTRL+P CTRL+Q (detach)

docker images
docker ps : (view running )
(docker ps -a) (view all)
-s ( view size)

docker commit : take snap shot

mount image

-t
–mount param

Other

Docker: Printable Quick Reference (Cheat Sheet) [Dmitry Frank]
Docker Commands Quick Reference Cheat Sheet
Dockerfile cheatsheet

docker compose