now maintainance mode
 now maintainance mode2-5

すこし本格的に 機械学習をやろうとして 3か月ぐらいまともにプログラムが組めてない
サーバーを立てて Hadoopをどうたらこうたら
クラスタ林gで100台ぐらいのPCを1分借りたいだけなんだが Amazon EMRなどを使えばいいというはなしはおいておくと
やれECRだECSだと様々な単語が飛び出し
やれしらべたりなんだりで
完全ローカルな環境にレジストリ立てるのに外部に公開したWebサーバが必要な場合があるなど
めちゃくちゃ感があるので(Docker HUBなどをつかうのもためした)

環境構築するだけで 初見だとWebサーバの構築などに慣れていて 3か月くらいかかるなと
クラスタリング設定したり
いろんな他のソフトの設定をしたり かなりたいへんで
ようやくJupyter notebookにもどって
機械学習のスクリプトをためせるかなみたいな。

EMRでやめときゃよかった まぁ というわけでこの辺はまだドキュメントも少ないので
結構環境構築に慣れていても 3か月は欲しい

Bigdata化しない機械学習の環境なら1人月もあればいい

Amazon純正のECRがいまいち難しいので
場合によっては SSL環境下のDocker Registryは自分で建てたほうが良いかもしれない
問題は Docker Registry が PULL専用の場合 CloundFrontで大規模配信で1024コンテナとかを短時間で配信しきれるかどうか
調査しておかなければいけないことは根深い
(さすがにコンテナを1024個デプロイするとなるとCloundFront級でないときつい 何が使えるか調査)

実験して確認するから 肝心の機械学習のコーディングできやしねぇ

いきおいDocker Registryをローカルに抱えたAMIでスタートしてぇ
さすがに1000台は客がついてから実験に入るとしても
100台ぐらいはデモンストレーションできないとだめだろうなと(ま少ない台数でクラスタリングでBigdataするアルゴリズムもあるけどそれはそれ)

調査する内容が多い(ダメだというにも調査は必要なために 良いプラン ダメなプランわける調査が長い)

ビルド環境インストール

依存関係インストール

Python 最新版インストール

Python 2.7 インストール(指定バージョン)

Python2.7系 PIPインストール

https://pip.pypa.io/en/stable/installing/

Python ライブラリ インストール

python -m pip install pytest

numpy,scipyのインストール時にOpenBLAS(行列系数値演算)/Lapackがあると便利
OpenBLASのコンパイル
git clone https://github.com/xianyi/OpenBLAS.git
time make FC=gfortran
sudo make PREFIX=/usr/local/OpenBLAS install

git clone https://github.com/cython/cython.git

python -m pip install scikit-learn
python -m pip install jupyterLab

————- 続きを読む » ( Read More )————-

かわらなくなった。不思議だ。

あー、仮説はある。わかってきた。すんずまったのかもな。

history | grep yum | grep devel
19 sudo yum install lapack-devel blas-devel fftw-devel atlas-devel suitesparse-devel swig
769 sudo yum install freetype-devel
772 sudo yum install libpng-devel
972 yum search tk | grep devel
973 sudo yum install tk-devel
999 history | grep yum | grep devel

sudo yum groups install “development tools”

history | grep yum | grep groups
18 sudo yum groups install “Development Libraries”
sudo yum groups install “development tools”

sudo yum install libffi-devel
https://qiita.com/hitochan777/items/941d4422c53978b275f8

sudo yum install openssl-devel

sudo yum install sqlite-devel

https://qiita.com/hitochan777/items/941d4422c53978b275f8

Python のソースを読んでみる – Qiita

CentOSのDevelopment Tools – Qiita

Installing scikit-learn — scikit-learn 0.21.3 documentation

Scikit-learn requires:

Python (>= 3.5)
NumPy (>= 1.11.0)
SciPy (>= 0.17.0)
joblib (>= 0.11)

https://qiita.com/hitochan777/items/941d4422c53978b275f8
sudo yum install libffi-devel

numpy, scipyでOpenBLASを使う – Qiita