now maintainance mode
 now maintainance mode2-5

クイックソートとハッシュソートは見分けづらい。
 
平均的にはバイナリーソート(B木を使ったソートが早い)
 
近年ではクラスタリングとパソコンがあるため、やや説明が複雑
 
キーだけを見た場合にメモリーをどれだけ使うか?がおおよそのアルゴリズムの選択理由になりえる

めのまえに交差点が合って

ひとがいました

あなたはくるまにのっていて

このまますすむと、こうさてんをすぎたぐらいで

ひとをひきそうです

 

AIがアクセルを踏んで、交差点のむこうの人をひき殺す勢いで加速しろと指示を出しました

めのまえに交差点が合って ひとがいました あなたはくるまにのっていて こ..

————- 続きを読む » ( Read More )————-

すこし本格的に 機械学習をやろうとして 3か月ぐらいまともにプログラムが組めてない
サーバーを立てて Hadoopをどうたらこうたら
クラスタ林gで100台ぐらいのPCを1分借りたいだけなんだが Amazon EMRなどを使えばいいというはなしはおいておくと
やれECRだECSだと様々な単語が飛び出し
やれしらべたりなんだりで
完全ローカルな環境にレジストリ立てるのに外部に公開したWebサーバが必要な場合があるなど
めちゃくちゃ感があるので(Docker HUBなどをつかうのもためした)

環境構築するだけで 初見だとWebサーバの構築などに慣れていて 3か月くらいかかるなと
クラスタリング設定したり
いろんな他のソフトの設定をしたり かなりたいへんで
ようやくJupyter notebookにもどって
機械学習のスクリプトをためせるかなみたいな。

EMRでやめときゃよかった まぁ というわけでこの辺はまだドキュメントも少ないので
結構環境構築に慣れていても 3か月は欲しい

Bigdata化しない機械学習の環境なら1人月もあればいい

Amazon純正のECRがいまいち難しいので
場合によっては SSL環境下のDocker Registryは自分で建てたほうが良いかもしれない
問題は Docker Registry が PULL専用の場合 CloundFrontで大規模配信で1024コンテナとかを短時間で配信しきれるかどうか
調査しておかなければいけないことは根深い
(さすがにコンテナを1024個デプロイするとなるとCloundFront級でないときつい 何が使えるか調査)

実験して確認するから 肝心の機械学習のコーディングできやしねぇ

いきおいDocker Registryをローカルに抱えたAMIでスタートしてぇ
さすがに1000台は客がついてから実験に入るとしても
100台ぐらいはデモンストレーションできないとだめだろうなと(ま少ない台数でクラスタリングでBigdataするアルゴリズムもあるけどそれはそれ)

調査する内容が多い(ダメだというにも調査は必要なために 良いプラン ダメなプランわける調査が長い)

料金 – Amazon SageMaker | AWS

スタンダードインスタンス – 現行世代 時間あたりの料金
ml.t2.medium 0.0608 USD
コンピューティング最適化インスタンス – 現行世代
ml.c5.xlarge 0.3 USD
GPU インスタンス – 現行世代
ml.p2.xlarge 2.159 USD

EC2
g3s.xlarge 4 13 30.5 GiB EBS のみ 1.04USD/時間
t2.medium 2 変数 4 GiB EBS のみ 0.0608USD/時間

まぁPandas使いたいよね。
BaseEstimatorを使ってみる (Python メモ) | OpenBook

もっとも簡単なアルゴリズムだから
Hello worldみたいなもん
ということで納得はするが

これただの近似検索だよね

執筆予定

YUV – Wikipedia

Y = 0.299 × R + 0.587 × G + 0.114 × B
U = -0.14713 × R – 0.28886 × G + 0.436 × B
V = 0.615 × R – 0.51499 × G – 0.10001 × B

BGR to YUV

Python code

YUV to BGR

Python code