9_未分類 | レビログ　(Make a little happier) 13周年+2i年

: [title] Building sh and ls

2019年12月6日 Category > 9_未分類 > プログラム > TAG( ) Comment : 0

sh

~~freebsd/bin/sh at master · freebsd/freebsd~~

https://github.com/sotownsend/sh_unix_v6.git

ls

: [title] Bash Programing ループを使わず１から100まで表示しろ

2019年12月2日 Category > 9_未分類 > プログラム > TAG( ) Comment : 0

Bash 改良版コード

#!/usr/bin/bash
n=$(($0 + 1))
cp $0 $n
chmod +x $n
if test $n -ne 100 ; then
cp $0 $n
bash $n
else
ls | sort -n | perl -pe "s/\n/ /g"| perl -pe "s/100 /100\n/"
fi

1

2

3

4

5

6

7

8

9

10

#!/usr/bin/bash

n=$(($0 + 1))

cp $0 $n

chmod +x $n

if test $n -ne 100 ; then

cp $0 $n

bash $n

else

ls | sort -n | perl -pe "s/\n/ /g"| perl -pe "s/100 /100\n/"

fi

: [title] プログラムを１文字だけ変えてみた

2019年12月1日 Category > 9_未分類 > プログラム > TAG( ) Comment : 0

//
//
#include <stdio.h>


int main(int argc,char *argv[]){
        int i;
        for(i=0;i<7;i++){
               printf("hello world\n");
        }
        return 0;
}
//
//

1

2

3

4

5

6

7

8

9

10

11

12

13

14

//

#include <stdio.h>

int main(int argc,char *argv[]){

int i;

for(i=0;i<7;i++){

printf("hello world\n");

}

return 0;

}

//

//
//
#include <stdio.h>

int main(int argc,char *argv[]){
        int i;
        for(i=0;i>7;i++){
               printf("hello world\n");
        }
        return 0;
}
//
//

1

2

3

4

5

6

7

8

9

10

11

12

13

//

#include <stdio.h>

int main(int argc,char *argv[]){

int i;

for(i=0;i>7;i++){

printf("hello world\n");

}

return 0;

}

//

: [title] 機械学習系　Bigdata環境構築　3か月～

2019年11月22日 Category > 9_未分類 > プログラム > AWS > 9_未分類 > プログラム > Cluster > 9_未分類 > プログラム > docker > 9_未分類 > プログラム > Cluster > Hadoop > 9_未分類 > プログラム > Scripting > Python > Jupyter note > 9_未分類 > プログラム > Scripting > Python > 9_未分類 > プログラム > 9_未分類 > プログラム > Scripting > Python > 機械学習 > TAG( ) Comment : 0

すこし本格的に　機械学習をやろうとして　3か月ぐらいまともにプログラムが組めてない
サーバーを立てて　Hadoopをどうたらこうたら
クラスタ林gで100台ぐらいのPCを1分借りたいだけなんだが　Amazon EMRなどを使えばいいというはなしはおいておくと
やれECRだECSだと様々な単語が飛び出し
やれしらべたりなんだりで
完全ローカルな環境にレジストリ立てるのに外部に公開したWebサーバが必要な場合があるなど
めちゃくちゃ感があるので（Docker HUBなどをつかうのもためした）

環境構築するだけで　初見だとWebサーバの構築などに慣れていて　3か月くらいかかるなと
クラスタリング設定したり
いろんな他のソフトの設定をしたり　かなりたいへんで
ようやくJupyter notebookにもどって
機械学習のスクリプトをためせるかなみたいな。

EMRでやめときゃよかった　まぁ　というわけでこの辺はまだドキュメントも少ないので
結構環境構築に慣れていても　3か月は欲しい

Bigdata化しない機械学習の環境なら1人月もあればいい

Amazon純正のECRがいまいち難しいので
場合によっては　SSL環境下のDocker Registryは自分で建てたほうが良いかもしれない
問題は　Docker Registry　が　PULL専用の場合　CloundFrontで大規模配信で１０２４コンテナとかを短時間で配信しきれるかどうか
調査しておかなければいけないことは根深い
（さすがにコンテナを１０２４個デプロイするとなるとCloundFront級でないときつい　何が使えるか調査）

実験して確認するから　肝心の機械学習のコーディングできやしねぇ

いきおいDocker Registryをローカルに抱えたAMIでスタートしてぇ
さすがに1000台は客がついてから実験に入るとしても
100台ぐらいはデモンストレーションできないとだめだろうなと（ま少ない台数でクラスタリングでBigdataするアルゴリズムもあるけどそれはそれ）

調査する内容が多い（ダメだというにも調査は必要なために　良いプラン　ダメなプランわける調査が長い）

: [title] IJavascript (node.js)　JS kernel for Jupyter notebook / RHEL (Redhat) Amazon Linux (執筆中）

2019年11月18日 Category > 9_未分類 > プログラム > AWS > TAG( ) Comment : 0

#
#
(Only Amazon Linux)
#Add epel

(sudo) python -m pip install jupyterLab 

sudo yum install npm
sudo yum install libzmq-devel

sudo npm install -g ijavascript #-g=global

#
#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#

(Only Amazon Linux)

#Add epel

(sudo) python -m pip install jupyterLab

sudo yum install npm

sudo yum install libzmq-devel

sudo npm install -g ijavascript #-g=global

#

: [title] How to install pip into ubuntu 18.04

2019年11月17日 Category > 9_未分類 > プログラム > Linux > TAG( ) Comment : 0

How to Install Pip on Ubuntu 18.04 | Linuxize

#
#
sudo apt update
sudo apt install python3-pip
#
#

1

2

3

4

5

6

#

sudo apt update

sudo apt install python3-pip

#

: [title] 機械学習　シーズン３　Docker.Cluster　1日目- Now ９日目

2019年11月9日 Category > 9_未分類 > プログラム > AWS > 9_未分類 > プログラム > Cluster > 9_未分類 > プログラム > docker > 9_未分類 > プログラム > Cluster > Hadoop > TAG( ) Comment : 0

学習　シーズン１
　基礎理論　学習　1か月程度

機械学習　シーズン２
　環境調査
　　　Pythonや関連モジュールコンパイル
　　　Centos/Redhat調査
　　　Ubuntu（軽く）
　　　Hadoop/HDFS　簡易調査
機械学習　シーズン３ 11/09-
　Docker.Cluster　Hadoop/HDFS

————- 続きを読む » ( Read More )————-

: [title] Hadoop / AWS /Docker

2019年11月8日 Category > 9_未分類 > プログラム > Cluster > 9_未分類 > プログラム > docker > 9_未分類 > プログラム > Cluster > Hadoop > TAG( ) Comment : 0

Setup yum repository

get CDH5 repository pack
Installing CDH 5 with MRv1 on a Single Linux Host in Pseudo-distributed mode | 5.5.x | Cloudera Documentation

#
#
sudo rpm -ivh cloudera-cdh-5-0.x86_64.rpm
sudo yum update
#
#

1

2

3

4

5

6

#

sudo rpm -ivh cloudera-cdh-5-0.x86_64.rpm

sudo yum update

#

Install and setup JDK(Java)

#
#
sudo yum install java-1.8.0-openjdk-devel
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0/
#
#

1

2

3

4

5

6

#

sudo yum install java-1.8.0-openjdk-devel

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0/

#

Open Firewall in Intranet

Open hadoop port in VPC
Hadoopはデフォルトでは認証が弱いので
最初はVPCのみに公開しましょう。
公開設定は気を付けましょう。

setup Hadoop (master:HDFS namenode)

#
#
sudo yum install hadoop
cat /etc/hadoop/conf/core-site.xml
hostname

sudo yum install hadoop-conf-pseudo　# 疑似分散モード　Hadoop installation in pseudo-distributed mode　CDH5
#完全分散モード　Fully-Distributed mode
#スタンドアロンモードStandalone mode

sudo -u hdfs hadoop namenode -format

sudo service hadoop-hdfs-namenode start

sudo -u hdfs hadoop fs -ls /
sudo -u hdfs hadoop fs -mkdir /tmp
sudo -u hdfs hadoop fs -ls /


#
#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

#

sudo yum install hadoop

cat /etc/hadoop/conf/core-site.xml

hostname

sudo yum install hadoop-conf-pseudo　# 疑似分散モード　Hadoop installation in pseudo-distributed mode　CDH5

#完全分散モード　Fully-Distributed mode

#スタンドアロンモードStandalone mode

sudo -u hdfs hadoop namenode -format

sudo service hadoop-hdfs-namenode start

sudo -u hdfs hadoop fs -ls /

sudo -u hdfs hadoop fs -mkdir /tmp

sudo -u hdfs hadoop fs -ls /

#

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8020</value>
  </property>
</configuration>

1

2

3

4

5

6

7

8

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>fs.defaultFS</name>

<value>hdfs://localhost:8020</value>

</property>

</configuration>

setup Hadoop (slave)

#
#
 
#
#

1

2

3

4

5

#

setup Hadoop (client)

#
#
 
#
#

1

2

3

4

5

#

Docker

setup Hadoop (Docker master)

#
#
 
#
#

1

2

3

4

5

#

setup Hadoop (Docker slave)

#
#
 
#
#

1

2

3

4

5

#

CDH (Cloudera Distribution of Hadoop)
Installing Hadoop | Deploying Hadoop | InformIT

2Docker Hadoop slave on EC2 Hadoop master

Docker上にCDH(擬似分散モード)を構築する。 – Qiita
執筆中

: [title] simple docker script

2019年11月6日 Category > 9_未分類 > プログラム > docker > TAG( ) Comment : 0

Dockerfile

whitebox

#
#
FROM scratch
ENTRYPOINT []
#
#

1

2

3

4

5

6

#

FROM scratch

ENTRYPOINT []

#

#
#
docker build .
#
[create your image]
#
ex.
docker create [your-image-id] /bin/bash-static-link
                             //entry point by command line
docker start [container-id]

docker attach [container-id] 
#
#

1

2

3

4

5

6

7

8

9

10

11

12

13

14

#

docker build .

#

[create your image]

#

ex.

docker create [your-image-id] /bin/bash-static-link

//entry point by command line

docker start [container-id]

docker attach [container-id]

#

: [title] docker cluster

2019年11月5日 Category > 9_未分類 > プログラム > docker > TAG( ) Comment : 0

MapReduceアルゴリズムを調べていて
Docker Cluster技術という単語を聞いて
技術としてすごいなと思う。

Amazon 系　Docker

Amazon ECR における Docker の基本 – Amazon ECR
料金 – Amazon ECR | AWS

ストレージコストは 1 か月あたり GB 単位で 0.10USD(例）

#
#
aws ecr create-repository --repository-name hello-repository --region region
#
#

1

2

3

4

5

#

aws ecr create-repository --repository-name hello-repository --region region

#

※執筆中

レビログ (Make a little happier) 13周年+2i年

sh

ls