now maintainance mode
 now maintainance mode2-5

すこし本格的に 機械学習をやろうとして 3か月ぐらいまともにプログラムが組めてない
サーバーを立てて Hadoopをどうたらこうたら
クラスタ林gで100台ぐらいのPCを1分借りたいだけなんだが Amazon EMRなどを使えばいいというはなしはおいておくと
やれECRだECSだと様々な単語が飛び出し
やれしらべたりなんだりで
完全ローカルな環境にレジストリ立てるのに外部に公開したWebサーバが必要な場合があるなど
めちゃくちゃ感があるので(Docker HUBなどをつかうのもためした)

環境構築するだけで 初見だとWebサーバの構築などに慣れていて 3か月くらいかかるなと
クラスタリング設定したり
いろんな他のソフトの設定をしたり かなりたいへんで
ようやくJupyter notebookにもどって
機械学習のスクリプトをためせるかなみたいな。

EMRでやめときゃよかった まぁ というわけでこの辺はまだドキュメントも少ないので
結構環境構築に慣れていても 3か月は欲しい

Bigdata化しない機械学習の環境なら1人月もあればいい

Amazon純正のECRがいまいち難しいので
場合によっては SSL環境下のDocker Registryは自分で建てたほうが良いかもしれない
問題は Docker Registry が PULL専用の場合 CloundFrontで大規模配信で1024コンテナとかを短時間で配信しきれるかどうか
調査しておかなければいけないことは根深い
(さすがにコンテナを1024個デプロイするとなるとCloundFront級でないときつい 何が使えるか調査)

実験して確認するから 肝心の機械学習のコーディングできやしねぇ

いきおいDocker Registryをローカルに抱えたAMIでスタートしてぇ
さすがに1000台は客がついてから実験に入るとしても
100台ぐらいはデモンストレーションできないとだめだろうなと(ま少ない台数でクラスタリングでBigdataするアルゴリズムもあるけどそれはそれ)

調査する内容が多い(ダメだというにも調査は必要なために 良いプラン ダメなプランわける調査が長い)

学習 シーズン1
 基礎理論 学習 1か月程度

機械学習 シーズン2
 環境調査
   Pythonや関連モジュールコンパイル
   Centos/Redhat調査
   Ubuntu(軽く)
   Hadoop/HDFS 簡易調査
機械学習 シーズン3 11/09-
 Docker.Cluster Hadoop/HDFS

————- 続きを読む » ( Read More )————-

Setup yum repository

get CDH5 repository pack
Installing CDH 5 with MRv1 on a Single Linux Host in Pseudo-distributed mode | 5.5.x | Cloudera Documentation

Install and setup JDK(Java)

Open Firewall in Intranet

Open hadoop port in VPC
Hadoopはデフォルトでは認証が弱いので
最初はVPCのみに公開しましょう。
公開設定は気を付けましょう。

setup Hadoop (master:HDFS namenode)

setup Hadoop (slave)

setup Hadoop (client)

Docker

setup Hadoop (Docker master)

setup Hadoop (Docker slave)

CDH (Cloudera Distribution of Hadoop)
Installing Hadoop | Deploying Hadoop | InformIT

2Docker Hadoop slave on EC2 Hadoop master

Docker上にCDH(擬似分散モード)を構築する。 – Qiita
執筆中

Dockerfile

whitebox

 
 
 

MapReduceアルゴリズムを調べていて
Docker Cluster技術という単語を聞いて
技術としてすごいなと思う。

Amazon 系 Docker

Amazon ECR における Docker の基本 – Amazon ECR
料金 – Amazon ECR | AWS

ストレージコストは 1 か月あたり GB 単位で 0.10USD(例)

※執筆中

docker pull ( download image)
ex:docker pull tianon/sleeping-beauty

docker create
docker start
docker restart
docker run ( create+start)

docker attach
CTRL+P CTRL+Q (detach)

docker images
docker ps : (view running )
(docker ps -a) (view all)
-s ( view size)

docker commit : take snap shot

mount image

-t
–mount param

Other

Docker: Printable Quick Reference (Cheat Sheet) [Dmitry Frank]
Docker Commands Quick Reference Cheat Sheet
Dockerfile cheatsheet

docker compose