now maintainance mode
 now maintainance mode2-5

学習 シーズン1
 基礎理論 学習 1か月程度

機械学習 シーズン2
 環境調査
   Pythonや関連モジュールコンパイル
   Centos/Redhat調査
   Ubuntu(軽く)
   Hadoop/HDFS 簡易調査
機械学習 シーズン3 11/09-
 Docker.Cluster Hadoop/HDFS

————- 続きを読む » ( Read More )————-

Setup yum repository

get CDH5 repository pack
Installing CDH 5 with MRv1 on a Single Linux Host in Pseudo-distributed mode | 5.5.x | Cloudera Documentation

Install and setup JDK(Java)

Open Firewall in Intranet

Open hadoop port in VPC
Hadoopはデフォルトでは認証が弱いので
最初はVPCのみに公開しましょう。
公開設定は気を付けましょう。

setup Hadoop (master:HDFS namenode)

setup Hadoop (slave)

setup Hadoop (client)

Docker

setup Hadoop (Docker master)

setup Hadoop (Docker slave)

CDH (Cloudera Distribution of Hadoop)
Installing Hadoop | Deploying Hadoop | InformIT

2Docker Hadoop slave on EC2 Hadoop master

Docker上にCDH(擬似分散モード)を構築する。 – Qiita
執筆中

Dockerfile

whitebox

 
 
 

MapReduceアルゴリズムを調べていて
Docker Cluster技術という単語を聞いて
技術としてすごいなと思う。

Amazon 系 Docker

Amazon ECR における Docker の基本 – Amazon ECR
料金 – Amazon ECR | AWS

ストレージコストは 1 か月あたり GB 単位で 0.10USD(例)

※執筆中

docker pull ( download image)
ex:docker pull tianon/sleeping-beauty

docker create
docker start
docker restart
docker run ( create+start)

docker attach
CTRL+P CTRL+Q (detach)

docker images
docker ps : (view running )
(docker ps -a) (view all)
-s ( view size)

docker commit : take snap shot

mount image

-t
–mount param

Other

Docker: Printable Quick Reference (Cheat Sheet) [Dmitry Frank]
Docker Commands Quick Reference Cheat Sheet
Dockerfile cheatsheet

docker compose

ビルド環境インストール

依存関係インストール

Python 最新版インストール

Python 2.7 インストール(指定バージョン)

Python2.7系 PIPインストール

https://pip.pypa.io/en/stable/installing/

Python ライブラリ インストール

python -m pip install pytest

numpy,scipyのインストール時にOpenBLAS(行列系数値演算)/Lapackがあると便利
OpenBLASのコンパイル
git clone https://github.com/xianyi/OpenBLAS.git
time make FC=gfortran
sudo make PREFIX=/usr/local/OpenBLAS install

git clone https://github.com/cython/cython.git

python -m pip install scikit-learn
python -m pip install jupyterLab

————- 続きを読む » ( Read More )————-

laravel を調べているんだけど
PHPフレームワーク+ワークフレーム+パッケージ管理(Compose) なのかな
っていうのがあって

全部入りなんだろうなぁという。
まぁ
PHPのフレームワークと
ワークのフレームと
パッケージ管理は厳密には別物なんだよていう

かわらなくなった。不思議だ。

あー、仮説はある。わかってきた。すんずまったのかもな。