tag:crieit.net,2005:https://crieit.net/tags/GoogleCloudPlatform/feed Crieitでタグ「GoogleCloudPlatform」に投稿された最近の記事 2019-12-06T06:29:41+09:00 https://crieit.net/tags/GoogleCloudPlatform/feed tag:crieit.net,2005:PublicArticle/15584 2019-12-06T06:29:41+09:00 2019-12-06T06:29:41+09:00 https://crieit.net/posts/GCP-AutoML-12 <h2 id="はじめにGoogleCloudPlatformの運営の方々に感謝"><a href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%ABGoogleCloudPlatform%E3%81%AE%E9%81%8B%E5%96%B6%E3%81%AE%E6%96%B9%E3%80%85%E3%81%AB%E6%84%9F%E8%AC%9D">はじめにGoogleCloudPlatformの運営の方々に感謝</a></h2> <p>GoogleCloudPlatformのAutoML（AutoML Vison）を使って学習モデルを作っていたら12万円の請求が来てしまいました...。</p> <p>AutoMLはとても便利で素晴らしいサービスですが、内容をしっかりと理解しないまま使っていると、私のように10万以上の請求が発生します（当たり前）。</p> <p>今回、私の確認ミスから高額の請求が発生しましたが、Googleg社のご好意で金額調整の適用処理をしていただきました。</p> <p>本当に感謝を申し上げます。ありがとうございました。</p> <p>今回の内容についてGoogleCloudPlatform側に公開してよいか確認したところ、構わないとお返事をいただいたので、AutoMLを使った開発者が、今後同じミスに陥らないために、この事案をアーカイブとして、残しておこうと思います。</p> <h2 id="AutoMLについて"><a href="#AutoML%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6">AutoMLについて</a></h2> <p>AutoMLは、機械学習エンジニアでなくても、高度かつ高品質でカスタマイズされた機械学習モデルの構築が可能なGoogleが提供しているサービスです。</p> <p><a target="_blank" rel="nofollow noopener" href="https://cloud.google.com/automl/?hl=ja">AutoML</a></p> <h3 id="AutoML Visionについて"><a href="#AutoML+Vision%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6">AutoML Visionについて</a></h3> <p>すでにGCPには「Vision API」というサービスを提供していますが、これは事前にGoogleが学習させているモデルを使っているため、まだ学習していない写真・モノについては認識することができません。</p> <p>AutoML Visionは、ほぼノンプラミングで独自の画像認識モデルを作れ、そのモデルを使ったAPI公開することができるサービスです。</p> <p><a target="_blank" rel="nofollow noopener" href="https://cloud.google.com/vision/automl/docs/?hl=ja">AutoML Vision</a></p> <h2 id="作ったもの"><a href="#%E4%BD%9C%E3%81%A3%E3%81%9F%E3%82%82%E3%81%AE">作ったもの</a></h2> <p>今回はAutoML Visionを使ってウォーリーを探すモデルを作ることにしました。<br /> <img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/96693052-ff91-b0dc-dcd3-5fb91478bb42.jpeg" alt="10879641157221.jpg" /></p> <h4 id="元ネタ"><a href="#%E5%85%83%E3%83%8D%E3%82%BF">元ネタ</a></h4> <p><a target="_blank" rel="nofollow noopener" href="https://gigazine.net/news/20180809-wheres-waldo-finding-robot/">「ウォーリーを探せ！」のウォーリーを最短4.45秒で見つけて指し示すロボットが開発される</a></p> <h2 id="手順"><a href="#%E6%89%8B%E9%A0%86">手順</a></h2> <h4 id="1. ウォーリーの素材集め &amp; トリミング"><a href="#1.+%E3%82%A6%E3%82%A9%E3%83%BC%E3%83%AA%E3%83%BC%E3%81%AE%E7%B4%A0%E6%9D%90%E9%9B%86%E3%82%81+%26amp%3B+%E3%83%88%E3%83%AA%E3%83%9F%E3%83%B3%E3%82%B0">1. ウォーリーの素材集め & トリミング</a></h4> <p>ウォーリーを探せを3冊購入。全部で60程のウォーリーの顔のサンプルを取得。<br /> <img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/12dcf246-2731-1099-ef45-aa11e8ae766b.jpeg" alt="IMG_20191107_213803.jpg" /></p> <h4 id="2. GCPにプロジェクトを作成しAutoML Visionから「新しいデータセットの作成」"><a href="#2.+GCP%E3%81%AB%E3%83%97%E3%83%AD%E3%82%B8%E3%82%A7%E3%82%AF%E3%83%88%E3%82%92%E4%BD%9C%E6%88%90%E3%81%97AutoML+Vision%E3%81%8B%E3%82%89%E3%80%8C%E6%96%B0%E3%81%97%E3%81%84%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E4%BD%9C%E6%88%90%E3%80%8D">2. GCPにプロジェクトを作成しAutoML Visionから「新しいデータセットの作成」</a></h4> <p><img width="1274" alt="スクリーンショット 2019-12-05 8.04.09.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/5ac820c0-7567-3e9b-7668-7043948bf769.png"></p> <h4 id="3. ウォーリーの画像データを整理して投入"><a href="#3.+%E3%82%A6%E3%82%A9%E3%83%BC%E3%83%AA%E3%83%BC%E3%81%AE%E7%94%BB%E5%83%8F%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E6%95%B4%E7%90%86%E3%81%97%E3%81%A6%E6%8A%95%E5%85%A5">3. ウォーリーの画像データを整理して投入</a></h4> <p><img width="908" alt="スクリーンショット 2019-12-05 7.59.52.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/2ee40cc5-200c-e894-2f07-49a31fd578f8.png"></p> <h4 id="4. マシンラーニング（2時間ほど）"><a href="#4.+%E3%83%9E%E3%82%B7%E3%83%B3%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0%EF%BC%882%E6%99%82%E9%96%93%E3%81%BB%E3%81%A9%EF%BC%89">4. マシンラーニング（2時間ほど）</a></h4> <h2 id="できたもの"><a href="#%E3%81%A7%E3%81%8D%E3%81%9F%E3%82%82%E3%81%AE">できたもの</a></h2> <h3 id="完成！！"><a href="#%E5%AE%8C%E6%88%90%EF%BC%81%EF%BC%81">完成！！</a></h3> <p><img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/3e8c43c3-b65e-b276-a652-8520b0befc5e.png" alt="スクリーンショット 2019-11-08 10.02.46.png" /></p> <p>アウトプットとしては、画像をアップロードすると、ウォーリーのオブジェクトとして認識した位置を予想してくれる画像認識モデルが出来上がりました。学習モデルと同時に、APIを公開することも可能で、これを使い、何かアプリケーションを作ろうと思い、デプロイしたまま放置することにしました。</p> <h3 id="このモデルを作るためにかかった金額"><a href="#%E3%81%93%E3%81%AE%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E4%BD%9C%E3%82%8B%E3%81%9F%E3%82%81%E3%81%AB%E3%81%8B%E3%81%8B%E3%81%A3%E3%81%9F%E9%87%91%E9%A1%8D">このモデルを作るためにかかった金額</a></h3> <ul> <li>ウォーリーを探せ：3冊 1,485×3= <strong>¥4455円</strong></li> <li>AutoML Image Object Detection Online Prediction：<strong>¥7,944円（無料枠内なので実質0円）</strong></li> <li>AutoML Image Object Detection Model Training：<strong>¥4,628円（無料枠内なので実質0円）</strong></li> </ul> <p>※ マシーンラーニングについて、正確な時間は残っていないのですが画像60枚で3時間〜4時間だったと記憶しています。</p> <p><img width="935" alt="スクリーンショット 2019-12-05 8.27.53.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/72aa6277-094c-6ea6-1bdf-7a4b658bc358.png"><br /> 無料枠なのでしっかりと割り引かれています🙌</p> <h3 id="AutoML Visionの料金について"><a href="#AutoML+Vision%E3%81%AE%E6%96%99%E9%87%91%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6">AutoML Visionの料金について</a></h3> <p><a target="_blank" rel="nofollow noopener" href="https://cloud.google.com/vision/automl/pricing?hl=ja">AutoML Vision料金</a></p> <div class="table-responsive"><table> <thead> <tr> <th align="left">画像分類</th> <th>無料</th> <th>有料</th> </tr> </thead> <tbody> <tr> <td align="left">トレーニング</td> <td>40 ノード時間まで無料（1 回限り）　　</td> <td>*ノード時間あたり USD $3.15</td> </tr> <tr> <td align="left">デプロイメントとオンライン（個別）予測</td> <td>40 ノード時間まで無料（1 回限り）</td> <td>**ノード時間あたり USD $1.25</td> </tr> <tr> <td align="left">will</td> <td>will</td> <td>will</td> </tr> </tbody> </table></div> <div class="table-responsive"><table> <thead> <tr> <th align="left">画像分類</th> <th>無料</th> <th>有料</th> </tr> </thead> <tbody> <tr> <td align="left">トレーニング</td> <td>毎月最初のモデル 10 個については、アカウントごとに 1 ノード時間まで無料です。　　</td> <td>以後のトレーニング時間については、1 時間あたり USD $20.00 の料金が発生します。</td> </tr> </tbody> </table></div> <p><img width="798" alt="スクリーンショット 2019-12-04 12.28.46.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/c0d2b69d-1523-d0a5-1ceb-68331c7961fb.png"></p> <p>※ 無料枠のプロモーションクレジットについてはGCPの管理画面からも確認することが可能です。</p> <h2 id="しばらく経って悲劇は起こった..."><a href="#%E3%81%97%E3%81%B0%E3%82%89%E3%81%8F%E7%B5%8C%E3%81%A3%E3%81%A6%E6%82%B2%E5%8A%87%E3%81%AF%E8%B5%B7%E3%81%93%E3%81%A3%E3%81%9F...">しばらく経って悲劇は起こった...</a></h2> <p>月末になりGoogleCloudPlatformをの金額が気になり確認してみました...。</p> <p><img width="551" alt="スクリーンショット 2019-12-02 16.29.44.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/a11a2af5-ad1a-4685-bef1-bf618d2a2cac.png"></p> <p>...？</p> <p>桁が一桁増えている...？？</p> <p><img width="663" alt="スクリーンショット 2019-12-02 16.29.53.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/240375e3-c0e5-b9e5-47bc-e0360a670433.png"></p> <p><strong>...小計 ¥129,306円</strong></p> <p>ちょっとまってくれ。確認したときは確かに¥7,944円だったぞ...。すぐさま動かしていたプロジェクトを削除しました。</p> <p><img width="639" alt="スクリーンショット 2019-11-26 13.10.40.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/4bd77785-7d24-26b3-a4d0-caa2628a14b3.png"></p> <p>月末合計費用（予測）のグラフが凄まじいことに...😭（最初は何かのバグかと思った）</p> <h3 id="GCPサポートセンターに連絡"><a href="#GCP%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%82%BB%E3%83%B3%E3%82%BF%E3%83%BC%E3%81%AB%E9%80%A3%E7%B5%A1">GCPサポートセンターに連絡</a></h3> <p><a target="_blank" rel="nofollow noopener" href="https://support.google.com/cloud/contact/cloud_platform_billing?hl=ja">Google Cloud Platform の課金に関するサポート</a></p> <p>その日にすぐ、これまでの経緯をまとめてGCPのサポートセンターにメールをすると、その日に連絡がきました。</p> <blockquote> <p>プロジェクト「◎◎◎-◎◎◎」のAutoMLモデルが削除されてから48時間後、最終的な金額が確定されます。請求情報が更新され次第、担当部署に11月分請求金額の調整依頼を提出致します。進捗につきまして、11月26日 (火) に改めてご連絡させていただきます。</p> </blockquote> <p>指定の11月26日（火）に連絡がなかったので催促をしました。</p> <blockquote> <p>弊社担当部署に金額調整依頼を提出させていただきましたが、調整金額は高額になっているため、承認されるには長時間を要する可能性がございます。進捗につきまして、11月29日 (金)に改めてご連絡させていただきます。</p> </blockquote> <p>このときは祈ることしかできませんでした🙏</p> <h3 id="祈りの結果..."><a href="#%E7%A5%88%E3%82%8A%E3%81%AE%E7%B5%90%E6%9E%9C...">祈りの結果...</a></h3> <p>後日GCPのサポートセンターから連絡がありました...。</p> <blockquote> <p>弊社にて適用可能な金額調整は一度限りに対応になっております。今後はご利用頂きますGCPリソース全てに対してのご利用料金が発生いたしますので、ご留意願います。</p> </blockquote> <p><img width="933" alt="スクリーンショット 2019-11-27 17.07.46.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/865d9b92-7c08-8968-3d12-c7056dd97c81.png"></p> <p>料金表を確認したところ、調整金額が反映されていました😭<br /> Google社の方々、本当にありがとうございます🙇‍♂️</p> <p>最初に気づいてから、金額調整をしていただくまでの2週間は精神的に疲弊していました...。本当にありがとうございました。</p> <h2 id="今回の原因"><a href="#%E4%BB%8A%E5%9B%9E%E3%81%AE%E5%8E%9F%E5%9B%A0">今回の原因</a></h2> <p>今回は <code>AutoML Image Object Detection Online Prediction</code> に対して12万円の請求が発生してしまいました。</p> <p>マシンラーニングが終わった後にデプロイするかどうかをチェックすることができます。今回はどんなモデルが作られたのかを試したかったこともあり、チェックをつけてデプロイをしました。デプロイするとGPUノードを1つ使い続けるのです。これが今回の原因です。</p> <p><img width="779" alt="スクリーンショット 2019-12-05 17.41.22.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/9785ad31-a2be-3078-0ef4-eb59d56aadd4.png"><br /> 上にも書いていますが、デプロイ後に確認が終わったら<strong>「デプロイの解除を行う必要があります。」</strong></p> <p>完全に見落としていました...。</p> <h2 id="再発防止策"><a href="#%E5%86%8D%E7%99%BA%E9%98%B2%E6%AD%A2%E7%AD%96">再発防止策</a></h2> <h3 id="公式のドキュメントを読もう"><a href="#%E5%85%AC%E5%BC%8F%E3%81%AE%E3%83%89%E3%82%AD%E3%83%A5%E3%83%A1%E3%83%B3%E3%83%88%E3%82%92%E8%AA%AD%E3%82%82%E3%81%86">公式のドキュメントを読もう</a></h3> <p>再発防止策としては、まずは「とりあえずやってみよう」ではなく、最初にドキュメントを読むことが大切だと思いました（当たり前）。そして、どんな仕組みなのか？料金体系はどうなっているのか？を公式ドキュメントを理解を深めることが大切です。（自分への戒め）</p> <h3 id="過去の失敗から学ぼう"><a href="#%E9%81%8E%E5%8E%BB%E3%81%AE%E5%A4%B1%E6%95%97%E3%81%8B%E3%82%89%E5%AD%A6%E3%81%BC%E3%81%86">過去の失敗から学ぼう</a></h3> <p>料金体系が複雑でクラウド破産しそうなサービスを使う場合は、過去に失敗した人のブログや記事などを調べておくことによって、注意する点などがまとめられています。そういうったブログやQiitaの記事をまとめて読み、つまずきやすいポイントを事前に学んでおくのは有効かと思います。</p> <p><a target="_blank" rel="nofollow noopener" href="http://natsutan.hatenablog.com/entry/2019/06/02/151747">AutoMLで破産しないように気をつけたいポイント</a></p> <p>※ この方と同じ失敗をしてしまいました...😭</p> <h3 id="GCPの「予算とアラート」を使おう"><a href="#GCP%E3%81%AE%E3%80%8C%E4%BA%88%E7%AE%97%E3%81%A8%E3%82%A2%E3%83%A9%E3%83%BC%E3%83%88%E3%80%8D%E3%82%92%E4%BD%BF%E3%81%8A%E3%81%86">GCPの「予算とアラート」を使おう</a></h3> <p>GCPには「予算とアラート」という機能があります。アッパーの金額を決めて、指定した金額の割合に達したときのメールで通知をしてくれる機能があります。この機能を活用して、沢山メールが送るように設定しましょう。（金額に達したらサービスをストップする機能欲しいですね🙏もしくはさくらクラウドのような定額のサービスも切望🙏）</p> <p><img width="864" alt="スクリーンショット 2019-12-05 17.55.10.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/cf453986-f2c4-4128-0216-9e5a8a597d71.png"><br /> ↑予算の設定</p> <p><img width="945" alt="スクリーンショット 2019-12-05 18.19.51.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/147291/40cce2b3-32bf-d87f-9e3e-1163e8b52b7b.png"><br /> ↑予算割合の設定</p> <h2 id="まとめ"><a href="#%E3%81%BE%E3%81%A8%E3%82%81">まとめ</a></h2> <p>AutoMLはGoogleCloudPlatformの中でも特に料金が高く設定されているサービスです。そのため、使用する際は事前にしっかいと調べた上で使いましょう！</p> <h2 id="参考🙇‍♂️"><a href="#%E5%8F%82%E8%80%83%F0%9F%99%87%E2%80%8D%E2%99%82%EF%B8%8F">参考🙇‍♂️</a></h2> <p><a target="_blank" rel="nofollow noopener" href="http://natsutan.hatenablog.com/entry/2019/06/02/151747">AutoMLで破産しないように気をつけたいポイント</a></p> <p><a target="_blank" rel="nofollow noopener" href="https://www.apps-gcp.com/cloud-automl-vision/">Cloud AutoML Vision が本当にノンプログラミングで使えるのか試してみた</a></p> <p><a target="_blank" rel="nofollow noopener" href="https://qiita.com/iss-f/items/c93bd07b2413cb7f3507">AutoML Visionをためしてみた</a></p> <p><a target="_blank" rel="nofollow noopener" href="https://gigazine.net/news/20180809-wheres-waldo-finding-robot/">「ウォーリーを探せ！」のウォーリーを最短4.45秒で見つけて指し示すロボットが開発される</a></p> フジワラ＠CLOCK