tag:crieit.net,2005:https://crieit.net/tags/Datalore/feed Crieitでタグ「Datalore」に投稿された最近の記事 2020-12-07T06:46:30+09:00 https://crieit.net/tags/Datalore/feed tag:crieit.net,2005:PublicArticle/16266 2020-12-07T06:46:30+09:00 2020-12-07T06:46:30+09:00 https://crieit.net/posts/Google-Colab-Datalore <p><img src="https://storage.googleapis.com/zenn-user-upload/aj8eo0gj7n094047i3401ipar0mq" alt="" /></p> <p><a target="_blank" rel="nofollow noopener" href="https://twitter.com/dala00">だらさん</a>の<a href="https://crieit.net/advent-calendars/2020/crieit">なんでも Advent Calendar 2020</a>、7日目の記事になります。</p> <p><a target="_blank" rel="nofollow noopener" href="https://zenn.dev/megane_otoko/articles/014_compare_cloud_ml">Zenn に投稿した記事</a>と同じ内容になります。</p> <p>ブラウザ上で無料でPythonが使えるツール、<a target="_blank" rel="nofollow noopener" href="https://colab.research.google.com/">Google Colab</a>と<a target="_blank" rel="nofollow noopener" href="https://datalore.jetbrains.com/">Datalore</a>を比較してみました。</p> <h2 id="ログイン"><a href="#%E3%83%AD%E3%82%B0%E3%82%A4%E3%83%B3">ログイン</a></h2> <p><strong>Google Colab</strong></p> <p>Googleのアカウントでログインします。</p> <p><strong>Datalore</strong></p> <p>Google、またはJetBrainsのアカウントを使ってログイン、またはメールアドレスを使ってDataloreのアカウントを作成してログインします。</p> <h2 id="画面"><a href="#%E7%94%BB%E9%9D%A2">画面</a></h2> <p>両者ともにおおむね同じですが、Google Colab は Shift + Enter でセルの追加ができませんが、Datalore は出来るようです。</p> <p><strong>Google Colab</strong></p> <p>Google Colab は左上のボタンでセルを追加するときにコードにするかテキスト(markdown)を選べます。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/6ppqbypb16nc3tgftxd33s1ekefv" alt="" /></p> <p><strong>Datalore</strong></p> <p>Dataloreはセルの右上にあるエディタでコードとテキスト(markdown)の切り替えができます。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/xpxyyxq5zrrog6nnuo5emx6e024o" alt="" /></p> <p>また、Datalore はセルの右下に小さく、実行にかかった時間が表示されるようです。</p> <h2 id="料金"><a href="#%E6%96%99%E9%87%91">料金</a></h2> <p><strong>Google Colab</strong></p> <p>原則無料。</p> <p>有料版のGoogle Colab Pro は月額9.99ドルですが、米国とカナダでしか使用できません。</p> <p><strong>Datalore</strong></p> <p>コミュニティプランは無料、プロフェッショナルプランは月額19.90ドルです。</p> <p>プロフェッショナルプランは日本からでも契約出来ました。</p> <h2 id="データセットの保存先"><a href="#%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%83%E3%83%88%E3%81%AE%E4%BF%9D%E5%AD%98%E5%85%88">データセットの保存先</a></h2> <p><strong>Google Colab</strong></p> <p>手動でアップロードするか、Google DriveをマウントしてGoogle Drive内のデータを使用する。</p> <p><strong>手動でアップロード</strong></p> <pre><code class="python">from google.colab import files uploaded = files.upload() </code></pre> <p><img src="https://storage.googleapis.com/zenn-user-upload/li3qgtsvbnh65x1w5qjum6f298ew" alt="" /></p> <p><strong>Google Driveのマウント</strong></p> <pre><code class="python">from google.colab import drive drive.mount('/content/drive') </code></pre> <p>表示されたURLをクリックしましょう。<br /> <img src="https://storage.googleapis.com/zenn-user-upload/4ipbqwm83adqv1s28obmv8dsdu3x" alt="" /></p> <p>Google アカウントを選択する画面に遷移するので、自分のアカウントをクリックしましょう。<br /> <img src="https://storage.googleapis.com/zenn-user-upload/8s44uahxdgudifcnswv8k5h2wl7h" alt="" /></p> <p>左のフォルダマークをクリックすると、自分のGoogle DriveがColabから見えるようになっているのがわかります。<br /> content > drive > MyDrive 以降のフォルダが自分のGoogle Driveのフォルダになります。<br /> <img src="https://storage.googleapis.com/zenn-user-upload/9gyaq2yj4ygkiqqc297288tar8oh" alt="" /></p> <p><strong>Datalore</strong></p> <p>左上のクリップのアイコンのある Attatched File をクリックし、下の Upload ボタンをクリックするとローカルのデータをアップロードすることが可能です。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/rhiuzt40dk4wookj98wbqxl0rq1f" alt="" /></p> <h2 id="インストール済みのライブラリ"><a href="#%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E6%B8%88%E3%81%BF%E3%81%AE%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA">インストール済みのライブラリ</a></h2> <p>いくつか最初からインストール済みか試してみましたが、Google Colab のほうがインストール済みのライブラリが多いように感じました。</p> <p>なお、インストールされていないライブラリも、下記のコマンドでインストール可能です。</p> <p><strong>Google Colab</strong></p> <pre><code class="python">!pip install xxx </code></pre> <p><strong>Datalore</strong></p> <pre><code class="python">pip install xxx </code></pre> <p><strong>Google Colab</strong></p> <p><strong>インストール済み</strong><br /> - OpenCV(cv2)<br /> - lightgbm<br /> - librosa<br /> - tensorflow<br /> - keras<br /> - pytorch(torch)</p> <p><strong>インストールされていない</strong><br /> - boto3</p> <p><strong>Datalore</strong></p> <p><strong>インストール済み</strong><br /> - OpenCV(cv2)<br /> - tensorflow<br /> - keras<br /> - pytorch(torch)</p> <p>インストールされていない<br /> - lightgbm<br /> - librosa<br /> - boto3</p> <h2 id="GPU"><a href="#GPU">GPU</a></h2> <p><strong>Google Colab</strong></p> <p>無料版は12時間使用可能。</p> <p><strong>Datalore</strong></p> <p>コミュニティプランはGPU使用不可、メモリは4GBを使用可能です。</p> <p>プロフェッショナルプランはコミュニティプランと同様のメモリ4GBに加え、120時間メモリ 16GBを使用可能、GPU NVIDIA T4(16GB)を20時間使用可能です。</p> <h2 id="コードの共有"><a href="#%E3%82%B3%E3%83%BC%E3%83%89%E3%81%AE%E5%85%B1%E6%9C%89">コードの共有</a></h2> <p><strong>Google Colab</strong></p> <p>右上の共有ボタンを押してGoogle Colab の共有リンクを作成可能。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/3yu1e3xy3qsjwgbrtnojghb66jm1" alt="" /></p> <p><strong>Datalore</strong></p> <p>クリックすればだれでもアクセスできる共有リンクは作成できず招待のみのようです。</p> <p>左上のFileタブからShareを選択するか、右上の人型のマークを押すと招待画面がポップアップします。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/hlepww7newjb5339smy975nb1lp8" alt="" /></p> <p><img src="https://storage.googleapis.com/zenn-user-upload/2b83osrl9bwewhhdjwjx5s4n366p" alt="" /></p> <h2 id="その他"><a href="#%E3%81%9D%E3%81%AE%E4%BB%96">その他</a></h2> <h3 id="ダークモード"><a href="#%E3%83%80%E3%83%BC%E3%82%AF%E3%83%A2%E3%83%BC%E3%83%89">ダークモード</a></h3> <p><strong>Google Colab</strong></p> <ul> <li>右上の歯車マークをクリックして設定画面を開き、サイトのテーマから dark を選択して保存。</li> </ul> <p>なお、通常でもダークモードでもハイライトされます。</p> <p><strong>Datalore</strong></p> <p>左上のView タブから Dark Theme を選択。</p> <p>なお、ダークモードではハイライトされますが、通常はハイライトされないようです。</p> <h3 id="ライブラリのレコメンド"><a href="#%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%81%AE%E3%83%AC%E3%82%B3%E3%83%A1%E3%83%B3%E3%83%89">ライブラリのレコメンド</a></h3> <p>ライブラリを import する前に使用した場合、Google Colab はエラーになるだけですが、DataLore は import するライブラリをレコメンドしてくれます。</p> <p><strong>Google Colab</strong></p> <p>例えば import numpy as np を実行する前に、np.argmax([1,2,3,4])を実行すると、エラー表示になります。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/oxap6rjje8nzp2tskz1cwzh2f2x3" alt="" /></p> <p><strong>Datalore</strong></p> <p>例えば import numpy as np を実行する前に、np.argmax([1,2,3,4])を実行すると、エラー表示の下に import numpy と表示されます。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/lqk8c3uy5o6jh3d29ofr1ekaappl" alt="" /></p> <p>これをクリックすると、自動で import numpy as np が挿入されます。</p> <p><img src="https://storage.googleapis.com/zenn-user-upload/lrau2yixrhvhphl6rlsfpr1t1iyw" alt="" /></p> <p>以上になります、最後までお読みいただきありがとうございました。</p> koji/メガネ男