9_未分類 | レビログ　(Make a little happier) 13周年+2i年

: [title] 機械学習　シーズン３　Docker.Cluster　1日目- Now ５日目

2019年11月9日 Category > 9_未分類 > プログラム > AWS > 9_未分類 > プログラム > Cluster > 9_未分類 > プログラム > docker > 9_未分類 > プログラム > Cluster > Hadoop > TAG( ) Comment : 0

学習　シーズン１
　基礎理論　学習　1か月程度

機械学習　シーズン２
　環境調査
　　　Pythonや関連モジュールコンパイル
　　　Centos/Redhat調査
　　　Ubuntu（軽く）
　　　Hadoop/HDFS　簡易調査
機械学習　シーズン３ 11/09-
　Docker.Cluster　Hadoop/HDFS

————- 続きを読む » ( Read More )————-

: [title] Hadoop / AWS /Docker

2019年11月8日 Category > 9_未分類 > プログラム > Cluster > 9_未分類 > プログラム > docker > 9_未分類 > プログラム > Cluster > Hadoop > TAG( ) Comment : 0

Setup yum repository

get CDH5 repository pack
Installing CDH 5 with MRv1 on a Single Linux Host in Pseudo-distributed mode | 5.5.x | Cloudera Documentation

#
#
sudo rpm -ivh cloudera-cdh-5-0.x86_64.rpm
sudo yum update
#
#

1

2

3

4

5

6

#

sudo rpm -ivh cloudera-cdh-5-0.x86_64.rpm

sudo yum update

#

Install and setup JDK(Java)

#
#
sudo yum install java-1.8.0-openjdk-devel
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0/
#
#

1

2

3

4

5

6

#

sudo yum install java-1.8.0-openjdk-devel

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0/

#

Open Firewall in Intranet

Open hadoop port in VPC
Hadoopはデフォルトでは認証が弱いので
最初はVPCのみに公開しましょう。
公開設定は気を付けましょう。

setup Hadoop (master:HDFS namenode)

#
#
sudo yum install hadoop
cat /etc/hadoop/conf/core-site.xml
hostname

sudo yum install hadoop-conf-pseudo　# 疑似分散モード　Hadoop installation in pseudo-distributed mode　CDH5
#完全分散モード　Fully-Distributed mode
#スタンドアロンモードStandalone mode

sudo -u hdfs hadoop namenode -format

sudo service hadoop-hdfs-namenode start

sudo -u hdfs hadoop fs -ls /
sudo -u hdfs hadoop fs -mkdir /tmp
sudo -u hdfs hadoop fs -ls /


#
#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

#

sudo yum install hadoop

cat /etc/hadoop/conf/core-site.xml

hostname

sudo yum install hadoop-conf-pseudo　# 疑似分散モード　Hadoop installation in pseudo-distributed mode　CDH5

#完全分散モード　Fully-Distributed mode

#スタンドアロンモードStandalone mode

sudo -u hdfs hadoop namenode -format

sudo service hadoop-hdfs-namenode start

sudo -u hdfs hadoop fs -ls /

sudo -u hdfs hadoop fs -mkdir /tmp

sudo -u hdfs hadoop fs -ls /

#

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8020</value>
  </property>
</configuration>

1

2

3

4

5

6

7

8

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>fs.defaultFS</name>

<value>hdfs://localhost:8020</value>

</property>

</configuration>

setup Hadoop (slave)

#
#
 
#
#

1

2

3

4

5

#

setup Hadoop (client)

#
#
 
#
#

1

2

3

4

5

#

Docker

setup Hadoop (Docker master)

#
#
 
#
#

1

2

3

4

5

#

setup Hadoop (Docker slave)

#
#
 
#
#

1

2

3

4

5

#

CDH (Cloudera Distribution of Hadoop)
Installing Hadoop | Deploying Hadoop | InformIT

2Docker Hadoop slave on EC2 Hadoop master

Docker上にCDH(擬似分散モード)を構築する。 – Qiita
執筆中

: [title] simple docker script

2019年11月6日 Category > 9_未分類 > プログラム > docker > TAG( ) Comment : 0

Dockerfile

whitebox

#
#
FROM scratch
ENTRYPOINT []
#
#

1

2

3

4

5

6

#

FROM scratch

ENTRYPOINT []

#

#
#
docker build .
#
[create your image]
#
ex.
docker create [your-image-id] /bin/bash-static-link
                             //entry point by command line
docker start [container-id]

docker attach [container-id] 
#
#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#

docker build .

#

[create your image]

#

ex.

docker create [your-image-id] /bin/bash-static-link

//entry point by command line

docker start [container-id]

docker attach [container-id]

#

: [title] docker cluster

2019年11月5日 Category > 9_未分類 > プログラム > docker > TAG( ) Comment : 0

MapReduceアルゴリズムを調べていて
Docker Cluster技術という単語を聞いて
技術としてすごいなと思う。

Amazon 系　Docker

Amazon ECR における Docker の基本 – Amazon ECR
料金 – Amazon ECR | AWS

ストレージコストは 1 か月あたり GB 単位で 0.10USD(例）

#
#
aws ecr create-repository --repository-name hello-repository --region region
#
#

1

2

3

4

5

#

aws ecr create-repository --repository-name hello-repository --region region

#

※執筆中

: [title] docker commands

2019年11月5日 Category > 9_未分類 > プログラム > docker > TAG( ) Comment : 0

docker pull ( download image)
ex:docker pull tianon/sleeping-beauty

docker create
docker start
docker restart
docker run ( create+start)

docker attach
CTRL+P CTRL+Q (detach)

docker images
docker ps : (view running )
(docker ps -a) (view all)
-s ( view size)

docker commit : take snap shot

mount image

-t
–mount param

Other

Docker: Printable Quick Reference (Cheat Sheet) [Dmitry Frank]
Docker Commands Quick Reference Cheat Sheet
Dockerfile cheatsheet

docker compose

: [title] Amazon EMR note book(Jupyter notebook) for ジュリナ

2019年11月1日 Category > 9_未分類 > プログラム > Scripting > Python > TAG( ) Comment : 0

(記事作成中　長時間執筆記事）

パイソン使いだけにな！　for ジュリナ | レビログ　(Make a little happier) 13周年+2i年

: [title] パイソン使いだけにな！　for ジュリナ

2019年10月26日 Category > 9_未分類 > プログラム > Scripting > Python > 9_未分類 > プログラム > TAG( ) Comment : 0

/**/
/**/
/*#include<stdio.h>*/
int printf(const char * /*restrict*/ format, ...);
int main(int c,char **v){
    printf("パイソン使いだけにな！ void*=%d int=%d long=%d\n",
        sizeof(void*),
        sizeof(int),
        sizeof(long)
    );
    return 0;
}
/**/
/**/

1

2

3

4

5

6

7

8

9

10

11

12

13

14

/**/

/*#include<stdio.h>*/

int printf(const char * /*restrict*/ format, ...);

int main(int c,char **v){

printf("パイソン使いだけにな！ void*=%d int=%d long=%d\n",

sizeof(void*),

sizeof(int),

sizeof(long)

);

return 0;

}

/**/

: [title] Python/Perl/gcc いろいろビルド　メモ

2019年10月22日 Category > 9_未分類 > プログラム > Scripting > Python > TAG( ) Comment : 0

ビルド環境インストール

#
#
sudo yum groupinstall "Development Tools"
#
#

1

2

3

4

5

#

sudo yum groupinstall "Development Tools"

#

依存関係インストール

#
#
sudo yum install cmake
sudo yum install lapack-devel blas-devel fftw-devel libffi-devel atlas-devel suitesparse-devel swig
sudo yum install freetype-devel libpng-devel libjpeg-devel tk-develtk-devel openssl-devel sqlite-devel
#sudo yum install 
#
#
#

1

2

3

4

5

6

7

8

9

#

sudo yum install cmake

sudo yum install lapack-devel blas-devel fftw-devel libffi-devel atlas-devel suitesparse-devel swig

sudo yum install freetype-devel libpng-devel libjpeg-devel tk-develtk-devel openssl-devel sqlite-devel

#sudo yum install

#

Python 最新版インストール

#
#
git clone https://github.com/python/cpython
cd cpython/
./configure --enable-unicode=ucs4
make
sudo make install
#
#

1

2

3

4

5

6

7

8

9

#

git clone https://github.com/python/cpython

cd cpython/

./configure --enable-unicode=ucs4

make

sudo make install

#

Python 2.7 インストール(指定バージョン)

#
#
git clone https://github.com/python/cpython -b 2.7 cpython_2.7
cd cpython/
./configure --enable-unicode=ucs4
make
sudo make install
#
#

1

2

3

4

5

6

7

8

9

#

git clone https://github.com/python/cpython -b 2.7 cpython_2.7

cd cpython/

./configure --enable-unicode=ucs4

make

sudo make install

#

Python2.7系　PIPインストール

https://pip.pypa.io/en/stable/installing/

#
#
curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py 
python get-pip.py --user
#
#python - --user
#

1

2

3

4

5

6

7

#

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py

python get-pip.py --user

#

#python - --user

#

Python　ライブラリ　インストール

python -m pip install pytest

numpy,scipyのインストール時にOpenBLAS（行列系数値演算）/Lapackがあると便利
OpenBLASのコンパイル
git clone https://github.com/xianyi/OpenBLAS.git
time make FC=gfortran
sudo make PREFIX=/usr/local/OpenBLAS install

git clone https://github.com/cython/cython.git

#
#
git clone https://github.com/pybind/pybind11.git
cmake .
make
make install
#
#

1

2

3

4

5

6

7

8

#

git clone https://github.com/pybind/pybind11.git

cmake .

make

make install

#

#
#
# git clone https://github.com/cython/cython.git

git clone https://github.com/numpy/numpy.git
git clone https://github.com/scipy/scipy.git
#
#git clone https://github.com/numba/numba.git
#
#

1

2

3

4

5

6

7

8

9

10

#

# git clone https://github.com/cython/cython.git

git clone https://github.com/numpy/numpy.git

git clone https://github.com/scipy/scipy.git

#

#git clone https://github.com/numba/numba.git

#

python -m pip install scikit-learn
python -m pip install jupyterLab

————- 続きを読む » ( Read More )————-

: [title] laravel = PHPフレームワーク＋ワークフレーム＋パッケージ管理　なのかな　すげーな

2019年10月13日 Category > 9_未分類 > プログラム > Linux > PHP > TAG( ) Comment : 0

laravel を調べているんだけど
PHPフレームワーク＋ワークフレーム＋パッケージ管理（Compose）　なのかな
っていうのがあって

全部入りなんだろうなぁという。
まぁ
PHPのフレームワークと
ワークのフレームと
パッケージ管理は厳密には別物なんだよていう

: [title] t3.micro vs t3a.micro with swap cpython ベンチマーク

2019年10月11日 Category > 9_未分類 > プログラム > Scripting > Python > TAG( ) Comment : 0

かわらなくなった。不思議だ。

あー、仮説はある。わかってきた。すんずまったのかもな。

レビログ (Make a little happier) 13周年+2i年

Setup yum repository

Install and setup JDK(Java)

Open Firewall in Intranet

setup Hadoop (master:HDFS namenode)

setup Hadoop (slave)

setup Hadoop (client)

Docker

setup Hadoop (Docker master)

setup Hadoop (Docker slave)

2Docker Hadoop slave on EC2 Hadoop master

Dockerfile

whitebox

Amazon 系 Docker

mount image

Other

docker compose

ビルド環境インストール

依存関係インストール

Python 最新版インストール

Python 2.7 インストール(指定バージョン)

Python2.7系 PIPインストール

Python ライブラリ インストール

レビログ　(Make a little happier) 13周年+2i年

Amazon 系　Docker

Python2.7系　PIPインストール

Python　ライブラリ　インストール