Massaの投稿 - Crieit

[GAS]SpreadSheetにカスタムメニューを追加して簡単なUIを作る

2021-02-10T11:54:19+09:00

はじめに

GASでカスタムメニューを追加するスクリプトについてです。

画像のようにスプレッドシートのメニューバー（ツールバー）の一番右に「カスタムメニュー」という項目が新しく追加され、クリックしたときの処理をカスタマイズすることができます。

今回カスタムメニューを作って実装する内容は「最終行へアクティブセルを移動する」というシンプルなものです。
例えば僕は特定のPC作業をしたときのログをスプレッドシートを作っているのですが、行数が増えてくると一番下までスクロールして入力するのが面倒になります。クリックするだけで一番下に飛べると便利だなーと思って作ってみました。

1. onOpen()関数を作る

まずはonOpen()という名前で、ファイルが開かれたときに動作する関数を作っておきます。

// 現在のスプレッドシート
const SS = SpreadsheetApp.getActiveSpreadsheet();

// ファイルが開いたときに動作する処理
function onOpen() {
    // [TODO] カスタムメニューを追加する処理
}

SpreadSheetオブジェクトの定義も最初にしておきましょう。のちの関数でもこのオブジェクトを使うため、グローバルスコープに記述しています。

このようにonOpen()という名前で関数を作ると、ファイルが開いたときに動作する処理を作ることができます。トリガーを設定する必要などありません。
こういった特定のイベントが起こったときに処理を実行する関数を「イベントハンドラ」と呼ぶそうです。

2. メニューの選択肢を追加する

続いてカスタムメニューをクリックした時の選択肢を追加していきます。
スプレッドシートオブジェクトのaddMenu()メソッドを使い、先ほどのコードに以下のように記述します。

// ファイルが開いたときに動作する処理
function onOpen() {
    // カスタムメニューを追加する処理
  SS.addMenu('カスタムメニュー', [
    {name: '最新行へ', functionName: 'moveToLastRow_'}
  ]);
}

このaddMenu()の第一引数には、メニューバーに表示させる文字列を書きます。
ここでは「カスタムメニュー」としておきましょう。

第二引数には、追加したいメニューをオブジェクトの配列で書いてあげます。
このオブジェクトにnameとfunctionNameというプロパティを持たせることで、メニューに表記する文字列と、選択されたときに実行する関数名を指定することができます。

{name: '<メニューに表記する文字列>', functionName: '<関数名>'}

ここで指定する関数は後ほど作るので、現段階では実装予定の名前で大丈夫です。
ここではmoveToLastRow_という関数名を指定しておきました。

注意点としては、関数名には丸かっこをつけずに書くことです。
もし丸カッコをつけてしまうと、その関数が実行されて戻り値がfunctionNameの値に設定されてしまうことになります。今回は関数名を文字列として指定したいので、丸かっこをつけないで文字列リテラルで書くのが正解になります。

このaddMenu()の第二引数に指定するオブジェクトを増やしていくことで、どんどんメニューを追加することもできます（後ほど備考として記載します）。

3. メニューを選択したときに動作する関数を作る

最後に、先ほど関数名に指定したmoveToLastRow_()関数を新たに定義すればOKです。
ここでは現在のシートの「最終行の次の行の１列目」にアクティブセルを移動させています。

// 最終行にアクティブセルを移動する関数
function moveToLastRow_(){
  const sheet = SS.getActiveSheet();
  const lastRow = sheet.getLastRow();
  const lastRange = sheet.getRange(lastRow + 1, 1);
  SpreadsheetApp.setActiveRange(lastRange);
}

アクティブセルの移動先を指定したい場合
もし移動させるセルを変更したい場合は、上のコードの5行目のgetRange()に渡す引数を変えてあげましょう。

const lastRange = sheet.getRange(lastRow + 1, 1);

例えば、現在のシートの「最終行の３列目」などとしたい場合は、次のようにカスタマイズすればOKです。

const lastRange = sheet.getRange(lastRow, 3);

以上で実装は完了です。
スクリプトを保存して、スプレッドシートを開いているページをリロードして少し待つと、カスタムメニューが追加されているかと思います。

備考

カスタムメニューの選択肢を増やしたい場合
onOpen()に書いたSS.addMenu()の中身のオブジェクトを増やしてみましょう。

function onOpen() {
    // カスタムメニューを追加する処理
  SS.addMenu('カスタムメニュー', [
    {name: '最新行へ', functionName: 'moveToLastRow_'},
    {name: 'マスタ転記', functionName: 'copyFromMaster_'},
    {name: 'ほげほげ', functionName: 'hogehoge'}
  ]);
}

配列の要素としてオブジェクトを追加していく形になるので、注意してくださいね。
構文エラー（SyntaxError）が出てしまう場合は、オブジェクトの書き方やカンマの有無など要チェックです。

スプレッドシートを開いたときに最終行に移動させたい場合
今回はカスタムメニューを使って最終行へ移動するスクリプトを書きましたが、ファイルを開いたときにアクティブセルを移動させるやり方でも良いかもしれません。
そうしたい場合は、onOpen()に直接今回のmoveToLastRow_()の中身の処理を書いてあげればOKです。
ただし、セル数にもよりますが起動が重くなってしまうかもしれないので、ご注意ください。

おわりに

カスタムメニューは、スプレッドシートを使っていて「ボタンをクリックしたら一括で処理するようにしたい」というような場合にシンプルなUIを作ることができて、とても便利です。
他にもスプレッドシートの関数で転記できるような作業でも、GASのカスタムメニューを使った実装をすることでシートを軽くしたりもできるので、よく活用しています。

その他の実装アイデア
- カスタムメニューを実行すると、マスターデータから必要な情報を探して一括で転記する（）
- シートでメール送信先リストを作り、カスタムメニューをクリックするとメールが一括送信されるようにする

農家だけど色々作ったので振り返る2020

2020-12-16T15:24:50+09:00

こちらの記事は Crieit のアドベントカレンダーなんでもの15日目の記事として、書かせていただきます。
（日付を間違えていて一日ずれての投稿になってしまったのは秘密です...）

はじめに

今年2020年は、本業の農業のかたわら色々なツール制作に取り組んできました。
仕事に活きるもの、生活に活きるもの、プログラミング学習に活きるもの、また作ったけど活かせなかったものなどなど。言語は主にGASとPython。
この機会に、ノンプログラマーがプログラミングを学んで作ったものを振り返って整理しておきたいと思います。

昨年からプログラミングをやっていて、今年の2月ごろにGASでちょっとしたプログラムで身近なことが便利になる、というのを知ってから、だいぶプログラミングが楽しくなったのを覚えています。

制作したもの

GASでのツール制作

（１）LINEbot：ゴミ出しリマインダ

練習のために作ってみた、家族で共有するためのbotです。燃えるゴミ・燃えないゴミなどの収集日の前日の夜にリマインダを飛ばしてくれる、というだけのもの。Messaging APIを使って実装し、放置していて今も動いています。

【GAS】家族で使えるゴミ出しリマインダ LINEチャットボットを作った - Crieit

（２）LINEbot：農作業記録アシスタント

こちらは２月ごろにかなり力を入れて制作した、LINE上で対話形式で作業日報を入力していくツールです。入力した内容はGoogleCalendarに登録されます。
Messaging APIを使いラインのトーク画面に表示できるリッチメニューの実装を学習。
LINEはITリテラシーが高くない一般の方々にも有用なツールだと実感します。

ただ、このbotを興味持ってくれた人数名にテストユーザーになってもらうためセッティングしたのですが、使用のハードルはやはり高そうだなーという印象でした。そもそも「日誌はアナログで取っており基本的に満足している」というところに刺さっていくのは、素人の思いつきでは厳しいものがあるんだろうな、と思います。ツール制作にこだわらず、別のアプローチが必要です。

個人的にもこちらは現在運用はしておらず、農作業の記録はアグリノートという既存のサービスを活用しています。

GASで「農作業記録アシスタント」LINE bot作った（紹介編） - Crieit
GASで「農作業記録アシスタント」LINE bot作った（技術・設計編） - Crieit

（３）Gmail添付ファイル保存ツール

業務資料を整理するため制作。農協からの情報の多くはFAXで送られてきますが、その内容がpdfファイルでメール添付でGmailに添付されて送られます。その添付ファイルをDriveに保存する作業を自動化しようと思って着手。
４月に主にネット情報をもとにコピペで制作し、バグが出て放置していたものを、現在は言語を学び直しながら改善中です。Driveにファイル名によりフォルダ分けして格納し、個人で使ってるSlackへ通知とリンクが送られるようにもしてみました。

Pythonでのツール制作

（１）LINEbot：共同作業グループ用の作業時間記録・集計ツール

７月に制作。初めて他者に使ってもらって良い評価をもらった、満足度の高いツールです。
自分の所属している地域の共同作業グループで使うための入力支援ツールをMessaging APIを使って作りました（LINE大好きすぎる）。

サーバーとしてHerokuを利用（正しい表現かちょっとわからない）。入力データはDB代わりにSpreadsheetと連携しています。シート操作のライブラリはgspreadを使いました。クラウドサーバにデプロイ時のライブラリ依存周りの設定、Spreadsheet設定でOAuth認証情報をクラウドサーバの環境変数に入れるというような部分がなかなか難しかった記憶です(そもそも環境変数とは、の段階からではありました)

現場では作業した人が、LINEで作業開始・終了の時間をタップだけで入力できて、後から時給計算する際もLINEで集計結果が返ってくるようになっています。これまで紙で管理して電卓で集計していたのが、相当楽になりました。
グループでの作業は年に１回、収穫時期が来れば必ず必要になる作業なので、LINE botも毎年改善しながら運用を続けていきます。

業務で活用するLINEbot制作にあたって意識した事｜Massa｜note

（２）卸売市場価格を取得するためのスクレイピングツール

ノンプロ研で受講したPython講座きっかけで、Seleniumを使ったWebサイトのスクレイピングに取り組みました。作っている農産物の価格動向を毎日見られるようにしたいなと思いました。

７月、まずは初めはpdfのダウンロードをしてDropboxへ入れるだけのツールを制作しましたが、ダウンロードしっぱなしで全然活用できず。
次に１１月には収集する対象を市況データのまとまった別のWebサイトに変更し、その日の欲しい市況データをSpreadsheetに入れる & 自分のSlackへ送信、というもの。

定期実行には、Windowsのバッチファイルとタスクスケジューラを使用してローカルで実行する方法、クラウドのHerokuに上げてHeroku Scheduler を使用する方法を試しました。ローカルの方がセッティングは楽ですが、PC起動時にしかスクリプトが動かせないというデメリットがあります（やりようはあるのかな？）。クラウドはデプロイができれば任せっきりで楽ですが、HerokuでSeleniumを動かす設定に一手間かかりました。一長一短で、習得コストも考慮して運用方法は考えなければなあと学習。

こちらは今後、Slackに送られてくるデータをもっと見やすいように工夫したいです。

（３）楽天市場の価格調査

卸売価格からのアプローチだけでなく、直販価格からのアプローチもしてみたくて取り組み。
９月は統計に興味が向いていて、Pandasの扱い方を覚え、データの収集と加工、価格分析の基礎的なところをやってみました。

楽天商品検索APIで特定のキーワードに合致する商品情報を取得する
取得したデータを使える形に加工して分析する

統計学的な難しいことはわからないのですが、最終的に平均値・中央値などの簡単な統計量を算出し、価格が重量に線型近似していることを確かめ、平均的なキロ単価を算出することができました（正確では無いかと思いますが、参考程度には十分な数値だと思います）。

現場の人間がデータを扱うには、ExcelやSpreadsheetなどの表計算ソフトの扱いに慣れているかどうかが大事だなと思いました。「データ分析＝Python, Pandas」みたいなイメージを持っていましたが、それよりも「何を目的としてやるか」があり、そのために「どのツール（手段）でやるか」という考え方で、習得コストのかからないやり方を選ぶのも大事なんだろうなと思います。

こちらは農産物のネットショップ開設のための価格調査に直結したので、ひとまず成果につながった分析だったかなあと思っています。

Python農家のITマーケティング試行錯誤日記1.楽天商品検索APIを使って商品情報をcsv出力する - Crieit
Python農家のITマーケティング試行錯誤日記2.商品情報の収集とデータ加工を行う - Crieit
Python農家のITマーケティング試行錯誤日記3.商品価格の集計と分析を行う - Crieit

⬇️商品「メークイン」の箱の重量(kg)と価格の中央値(円)の関係

⬇️近似曲線から商品「メークイン」のキロ単価を計算

（４） GUI付きテキストファイル作成ツール

自分用に開発作業のログを残すのを便利にするために作りました。Python標準ライブラリのtkinterを使ってGUIを作って、プルダウンを選びボタンを押すと選んだ内容に応じたテンプレートが入ったテキストファイルが作成される、という仕組みです。またちょっとマニアックなこともトライしていて、同じく標準ライブラリのsubprocessを使って、ボタンを押すとGithubへプッシュするコマンドを実行するようなコマンド操作も学習しました。
作成したPythonスクリプトはpyファイルにしてデスクトップに置き、ダブルクリックで実行できるようにしています。

こちらは現在も運用中です。

（５）PDF文字抽出ツール／自炊用PDF結合・加工ツール

PythonでPDFを扱うPyPDF2、文字抽出にはpdfminerというライブラリを使用。講座のPDFテキストを特定の文字があるページだけ画像化する…ということをしています。いくつかPDFファイルを触ってみたのですが、PDFファイルの文字を扱うのは一般的には難しくて、自分で作ったファイルなら良いけど、既存のPDFを扱うのはあまり考えない方が良いかな…と思いました。
また最近書籍の自炊をしているとPDF結合や分割をしたくなったので、短いコードを作ってJupyter Notebook上で実行できるような、ちょっとした便利コード集みたいなものも、スキャン中の時間を生かして作りました。笑

慣れるとこういうちょっとしたツールがすぐにできる、というのがPythonの良いところだなあ…。
PDF操作に便利なコード集も整理して記事にしておきたいです。

PythonPDFから特定の文字列を抽出＆ページを画像として保存するツール - Crieit

おわりに

アウトプットとしてはこんな感じでしょうか。かなり作ったんだなあ…。
こうやって振り返ってみると、設計時点の反省点が明確に見えてきたり、「もう少しこう改善したいというのも整理されて良いなと思いました。

制作の動機が自分自身のために向いているものが多く、勉強ために作ったようなものもあります。
別に悪いことでないのですが、どうしても「作る」のが好きでそこに拘ってしまうことがあり、おかげで機能がコテコテになってしまったり、メンテナンス性の悪いスクリプトになっている気がします。

一方で振り返って良い点としては、LINEやSlackで情報を受け取るような明確な「アウトプット」が見られるツールの作り方を習得できたことです。外作業が多いと「スマホで見られる」というのも重要に感じます。

今後作っていきたいもの

必ずしもツール制作だけじゃなくて既存のデータの「整理」というのがキーワードなのですが、ざっくり

農場データの整理（クラウドの利用）
既存のサービスの活用（農作業日誌、温度etc....csvファイルの活用や部分的な自動化・可視化）
現場で使えるツール（どこを改善したいか？誰のため？）

技術的にも興味のあるものにもっと取り組んでいきたいのですが、来年はまたもうちょっと広い視点で農業経営に役に立つ・農村地域や人の役に立つツールを作れたらな、と思います。
IoTを活用してデータを蓄積できるような環境も作ってみたいです。

勉強の幅がプログラミング以外にも広くて、どこに集中して勉強していけば良いか…。楽しく頑張ります。

[GAS][Javascript]指定の年月の「第n d曜日」を配列で取得する

2020-12-11T23:10:59+09:00

はじめに

GASでのゴミ出しリマインダ用に「第n d曜日」を計算するアルゴリズムを作りました。
面白かったので、まとめておきます。

考え方としては、

（１）指定した年月の「d曜日」をすべて配列で取得する
（２）その配列から「第n d曜日」だけを抜き出して配列で取得する

という順番で実装していきます。

特にDate型の扱いと、配列メソッドの使い方が勉強になりました。
配列メソッドは、配列に要素として含まれているかどうかをブール値で返すincludes()メソッドと、配列の要素のうち引数に指定した関数をみたすものだけを配列として取り出すfilter()メソッドあたりの理解がミソになるかと思います。

このあたりの練習問題としても、やってみたい方は是非おすすめです！

（１）指定した年月の「d曜日」をすべて配列で取得する

まずは、指定した年月の指定した曜日の一覧を配列で取得してみたいと思います。
例えば「今月の水曜日」と指定してやると、2020年12月の水曜日に該当する

第1水曜 2020/12/2
第2水曜 2020/12/9
第3水曜 2020/12/16
第4水曜 2020/12/23
第5水曜 2020/12/30

これらをDate型の配列という形で作ってみよう、という訳です

「変数date = 今日の日付（Date型）」と「変数day = 取得したい曜日（数値）」を指定して、目的の配列を作ってみたいと思います。

GAS（Javascript）のDate型では、0が日曜日、1が月曜日…、6が土曜日に対応しています。

const WEEKDAYS = ['日', '月', '火', '水', '木', '金', '土'];
今回は必要ありませんが、こんな定数を用意しておくと、今後なんか活用できる機会があるかも？
「あれ、0は日曜だっけ？月曜だっけ？」という備忘のためにスクリプト内に記述しておいても良いかもしれません。

今回は「水曜日」が欲しいので、day = 3としてみます。

スクリプトは以下の通りです。

function mainFunction() {
  const date = new Date(); //今日の日付
  const day = 3; //水曜日

  const year = date.getFullYear();
  const month = date.getMonth();

  const days = [];

  for (let i = 1; i <= 31; i++){
    const tmpDate = new Date(year, month, i);

    if (month !== tmpDate.getMonth()) break; //月代わりで処理終了
    if (tmpDate.getDay() !== day) continue; //引数に指定した曜日以外の時は何もしない
    days.push(tmpDate);
  }

  console.log(days);
}

上のgetDays()関数を実行してログを確認してみると、「2020年12月の水曜日」を配列で得ることができます。

[ Wed Dec 02 2020 00:00:00 GMT+0900 (日本標準時),
  Wed Dec 09 2020 00:00:00 GMT+0900 (日本標準時),
  Wed Dec 16 2020 00:00:00 GMT+0900 (日本標準時),
  Wed Dec 23 2020 00:00:00 GMT+0900 (日本標準時),
  Wed Dec 30 2020 00:00:00 GMT+0900 (日本標準時) ]

こちらの記事を全力でパクらせていただきましたw
etau the non programmer coder — GAS特定の月の特定の曜日を取得する

関数に切り分ける

こんな感じでgetDays()関数に切り分けて、再利用しやすいようにしてみました。
mainFunction()内で日付と曜日を指定して実行すると、同様の結果が得られます。

function mainFunction(){

  const date = new Date();
  const day = 3; //水曜日

  const days = getDays(date, day);
  console.log(days);
}


/*
*その年月のd曜日を取得する関数
* 
* @param {Date} date - 調べたい年月の日付（Date型）
* @param {number} day - 取得したい曜日を表す数値(0:日曜日〜6:土曜日)
* @return {days} ある年月のday曜日の日付の入った配列
*/
function getDays(date, day) {
  const year = date.getFullYear();
  const month = date.getMonth();

  const days = [];

  for (let i = 1; i <= 31; i++){
    const tmpDate = new Date(year, month, i);

    if (month !== tmpDate.getMonth()) break; //月代わりで処理終了
    if (tmpDate.getDay() !== day) continue; //引数に指定した曜日以外の時は何もしない
    days.push(tmpDate);
  }

  return days;
}

（２）その配列から「第n d曜日」だけを抜き出して配列で取得する

いくつかアプローチが考えられます。

・先ほど作った「d曜日」を返すgetDays()関数を加工して「第n d曜日」の配列を返す関数を作る
・メイン関数mainFunction()の中で配列daysを加工して「第n d曜日」の配列を作る

後者のやり方でシンプルにできます。
新たに変数weeksを定義して、配列で欲しい週を指定してあげます。
（隔週に限らず、欲しい番号を指定してみましょう）

function mainFunction2(){

  const date = new Date();
  const day = 3; //水曜日
  const weeks = [2, 4]; //第2週目、第4週目 を指定


  const days = getDays(date, day);
  const specifiedDays = days.filter((v, i) => weeks.includes(i+1));
  console.log(specifiedDays);

}

スクリプトの中身については、後ほど文法の説明とともに（ちゃんと説明できてるかどうかわからない）解説を載せておきます。
この関数を実行してログを表示すると、指定した第２・第４水曜日だけの配列ができています。やったね！

[ Wed Dec 09 2020 00:00:00 GMT+0900 (日本標準時),
  Wed Dec 23 2020 00:00:00 GMT+0900 (日本標準時) ]

備考

weeksに0, 10などのあり得ない数値を入れてやっても、特に不具合が出ることなく、該当する数値のみをとった配列が出来上がるようです。
これを利用すると、例えばweeks = [1, 3, 5]などと指定しておけば、5週目のあるなしに関わらず欲しい配列が手に入りますね。

また、この「第n d曜日」を配列にする処理も他の関数に切り分けて作ってはみましたが、あまりその関数を頻繁に使う機会が思い浮かびませんでした。。。
なので、今回作ってみたスクリプトとしてはここまで。

解説：配列のincludes()とfilter()メソッドの活用

GAS（Javascript）の文法について。知っていたら飛ばしてください。

ポイントはこの１行。

const specifiedDays = days.filter((v, i) => weeks.includes(i+1));

ちょっとよくわかりませんね。

先に、今回使う配列のメソッドの最低限の使い方だけ整理しておきます。

メソッド	説明
arr.filter()	配列arrの要素のうち、引数に指定したをみたすものだけを抽出した配列として返す
arr.includes()	引数に指定したが配列arrに含まれているかどうかをブール値で返す

さて...先ほどの１行は、全体の構文としては
const specifiedDays = days.filter(なんかの関数);

という構造になっています。
この構造だけみると実はシンプルで、specifiedDaysという配列に、先ほど作った指定した曜日が全部入った配列daysからfilter()メソッドで「なんらかの処理」をして要素を抽出した配列を返していることになります。

この「なんらかの処理」というのが、filter()メソッドの引数に指定した関数です。

(v, i) => weeks.includes(i+1)

こいつは「アロー関数」という関数リテラルの書き方ですね。
矢印の左側が仮引数、右側が具体的な処理です。
（仮引数v, iはvalue, indexに相当します）

ざっくり「weeksで指定した数値がインデックス担っているものだけ、daysから要素を抽出している」というような処理になっています。

今回の場合はこれにより第2、第4曜日だけをdaysから抽出して、specifiedDaysを作っています。

おわりに

飲み会から派生したネタでした。
実用的かつ気になっていた配列のメソッドを扱う、とても良い練習になりました。
メソッドの解説のあたりはだいぶ飛ばしてしまっているので、もう少しうまく説明できないかな…。思いついたら修正してみます。

MEMO

参考記事
etau the non programmer coder — GAS特定の月の特定の曜日を取得する

参考書籍（pp202-213　配列を取り扱う - Arrayオブジェクト）
Amazon.co.jp：詳解! Google Apps Script完全入門第2版 ~GoogleアプリケーションとGoogle Workspaceの最新プログラミングガイド: 高橋宣成: 本

[Python]PDFから特定の文字列を抽出＆ページを画像として保存するツール

2020-09-26T18:32:22+09:00

はじめに

「ノンプロ研」というコミュニティで開催されている講座で使用する目的で作りました。
毎回講座の資料が講師の方から共有してもらえるので、それを演習問題のページだけを抜き出して画像保存するツールです。

PDF資料から特徴のあるページだけを抽出するような作業を行いたい場合は、抽出キーワードを変えると使えるかもしれません。

ただどうも文字抽出が上手くできるかどうかは元のPDFファイルによるものが多く、必ずしもできる訳ではなさそうなので注意が必要です。

使い方

必要なライブラリのインストールをしておいてください（次の項目参照）。
準備したい講座回数（NO）、資料PDFファイルの名（FILES）とフォルダパス（PDF_DIRPATH）、画像出力先フォルダのパス（OUTPUT_DIRPATH）をスクリプトに記入してください
スクリプトを実行して少し待つと、該当する講座の資料から演習ページだけ画像の保存が行われます（pngファイル）
同時に演習をテキストで抜き出したものがテキストファイルで保存されます

使用しているPythonライブラリについて

PDFから文字列を抽出するpdfminer.six
PDFを画像保存するpdf2image

これらを使っています。
またpdf2image を使うには、依存関係のあるpillowとPopplerというライブラリも必要のようです。

スクリプトの解説

（1）ライブラリのインポート

import pathlib
import re
from io import StringIO

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
import pdf2image

（2）ユーザー入力項目

このツールを使用する前に、変換したいPDFファイルやディレクトリをユーザー自身で指定します。
ユーザーが入力する部分は、グローバルな定数としてまとめてあります。
（パス取得のスクリプトがまだやや冗長な気がしています）

# ユーザー入力項目
# 準備したい講座回数・PDFファイル名をリストに記入
NO = 3
FILES = [
    '20200923初心者講座Pythonコース-01.pdf',
    '20200930初心者講座Pythonコース-02.pdf',
    '20201007初心者講座Pythonコース-03.pdf',
]
# 資料PDFファイルが保存されているフォルダのパスを記入
PDF_DIRPATH = pathlib.Path(
    ''
    )
PDF_FILEPATH = PDF_DIRPATH / FILES[NO-1]
# 出力先フォルダのパス
OUTPUT_DIRPATH = pathlib.Path(
    '<変換した画像を保存したいフォルダのパス>'
    )
# 抽出する文字列(正規表現：ここでは「演習○－○」)
SEARCH_TEXT = r'演習\s*\d－\d+'

Python標準ライブラリのpathlibを使って、パスを記述しています。
pathlib.Path(<パス文字列>)とすることで、Pathオブジェクトを作成しています。

このPathオブジェクトを活用すると、パス同士を/記号を使って結合することができます。
ちなみにこのスクリプトではPDF_DIRPATHがPathオブジェクト・PDF_DIRPATHはstr型のオブジェクトですが、このように一方がPathオブジェクトなら、文字列が混ざっていても/でパスとして結合することもできるようですね。

(参考)pathlibモジュールとosモジュール

どちらもPython標準ライブラリです。
Python3.4以前ではファイルパス操作にos.pathやglobモジュールを使っていたようですが、
Python3.4でpathlibモジュールが追加されてからは、こちらを使う方がシンプルに書きやすくなったようです。

（3）正規表現にマッチするページとテキストを抽出する関数

PDFファイルから、(2)で指定した「抽出する文字列」（ここでは演習問題）に該当するページを、ページ数とテキストとして抽出する関数を作ります。
ここで画像からテキスト抽出できるpdfminer.sixライブラリを活用しています。

長い関数ですが、戻り値としてはoutput_texts変数で、これは「キーにページ番号、値に演習問題ナンバーとテキストが格納されたdict」となっています。

def get_text_from_pdf():
    """PDFファイルから演習問題に該当するテキストをページ数と共に抽出する関数
    Returns:
        output_texts(dict): 演習問題一覧。ページ数をキーとして、演習ナンバーと本文が入った辞書
    """
    # pdfminerの設定
    rsrcmgr = PDFResourceManager()
    codec = 'utf-8'
    laparams = LAParams()
    laparams.detext_vertical=True

    # PDFファイルを1ページずつ見て該当するかチェック
    output_texts = {}  # 該当するページ数とテキストを格納するdict
    with open(PDF_FILEPATH, 'rb') as fp:
        for i, page in enumerate(PDFPage.get_pages(fp)):
            outfp = StringIO()
            device = TextConverter(
                rsrcmgr,
                outfp,
                codec=codec,
                laparams=laparams
                )
            interpreter = PDFPageInterpreter(rsrcmgr, device)
            interpreter.process_page(page)

            extracted_text = outfp.getvalue() \
                .replace('\u2028', '') \
                .split('Copyright')[0] \
                .rstrip()

            # ページ抽出：抽出条件（演習問題のページ）に該当すればTrue
            extracted_page = re.search(SEARCH_TEXT, extracted_text)

            # 演習問題のページ番号・演習番号・テキストを格納したdict作成
            if extracted_page:
                output_texts[i+1] = (extracted_page.group(), extracted_text)
    return output_texts

処理としては
「PDFファイルを1ページずつ見ていって、SEARCH_TEXTに一致するページが出てきたら、ページ番号とテキストを変数output_textsに格納する」
というような処理を行っています。

PDFMinerについて

仕組みやスクリプトをを完璧に理解しきれていませんが、こちらの記事を参考にさせていただきました。
出来上がったスクリプトでは、for文の外と中にそれぞれ設定項目を分けて記述しています（かえってわかりづらくしてしまっているかもしれません）。

PDFファイルから文章を抽出する処理の流れは結構複雑で、そのまま抽出することはできないようです。
PDFファイルからPDFParserを使ってPDFDocumentという形式に一旦変換して、そこからPDFInterpreter, PDFDeviceを使って翻訳し、テキストとして出力する、という流れかと思います。この後半の過程で、PDFResouceManagerにフォントやイメージなどのリソース情報を保管しています。
（間違ってたらすみません）

こちらの記事に公式ドキュメントから引用された図解があるので、公式ドキュメントと合わせて参考にさせていただきました。

（4）抽出したページのテキストをファイルに保存する関数

（３）で作ったoutput_textsをそのままテキストファイルに出力する関数です。
ただdict型の変数をそのまま出力しているだけなので、かなり見づらいテキストファイルになっています。
整形して出力するようにしたいところ。

def save_text(output_texts):
    """演習問題一覧をテキストファイル出力
    Arg:
        output_texts(dict): 演習問題一覧。ページ数をキーとして、演習ナンバーと本文が入った辞書
    """
    output_text_path = OUTPUT_DIRPATH / f'0{NO}_ensyu.txt'
    with output_text_path.open('w') as f:
        print(output_texts, file=f)

print()でfile引数にここではテキストファイルのパスを指定することで、出力先をファイルに指定しています。

（５）抽出したページの画像を保存する関数

PDFファイルを1ページずつ見ていって、抽出したいページだけを画像ファイルに保存する関数です。
ここでpdf2imageライブラリを使用しています
（３）で作ったoutput_texts（dict型でした）に抽出したいページ数がキーとして入っているので、これを用いて抽出したいページかどうかを判定しています。

def save_images(output_texts):
    """演習問題を画像ファイル出力
    Arg:
        output_texts(dict): 演習問題一覧。ページ数をキーとして、演習ナンバーと本文が入った辞書
    """
    # - convert_from_path関数には1ページごとの画像のリストが入る
    # - mkidr(exist_ok=True)にすると上書きされるっぽい
    img_dirpath = OUTPUT_DIRPATH / f'0{NO}'
    pathlib.Path(img_dirpath).mkdir(exist_ok=True)

    images = pdf2image.convert_from_path(PDF_FILEPATH, size=1280)
    for i, image in enumerate(images):
        if i+1 in contents:
            filename = contents[i+1][0].replace(' ', '')
            image_filepath = img_dirpath / f'{filename}.png'
            image.save(image_filepath)

pdf2imageについて

扱い方は簡単で、pdf2image.convert_from_path()の引数にPDFファイルパスを指定してやれば良さそうです。
ここではsize引数でサイズを指定してみました。他の引数を使えば、pngファイルだけでなくjpgファイルなどファイル形式を指定することもできるようです。

（６）実行

以下で実行します。
PDFファイルのページ数によっては、少し時間がかかってしまいます。

# 実行
contents = get_text_from_pdf()
save_text(contents)
save_images(contents)

参考にしたサイト

pdf2imageについて
PythonでPDFをまとめて画像に変換する - Qiita

PDFMinerについて
【Python】PDFの文章をページ毎にCSVに変換（2/24追記） - Qiita
【PDFMiner】PDFからテキストの抽出 - Qiita

おわりに

PDFを操作するのをやってみたくて、用途はないけど色々調べてたのが役に立ちました。
今回はシンプルなPDFファイルだったのでまだ良かったですが、複雑なレイアウトのPDFファイルを扱いたい場合はもっと泥臭い作業になるのかな…。

ライブラリの使い方はあまり理解してないので、ちゃんと整理しておこうと思います。

そして今回このツール制作を通じての課題。
使い勝手が良くメンテナンス性の高いスクリプトにするにはどうすれば良いんだろう？ というところに興味があります。
サーバーにアップして誰でも使えるツールを作る…というのはちょっと難しく労力が大きいので、ローカルで実行すればすぐに使えるような形を意識してみました。

ユーザーが入力するべきところ、変更の可能性があるところ（抽出する文字列）を定数としてグローバルスコープに書いているのですが、もっとスマートなやり方があるのかな、と思っています。
関数の使い方についても学んでいきたいです。

MEMO:スクリプト全文

スクリプト全文はこちらに載せました！
mytools/pdf_to_pic.py at master · Massasquash/mytools · GitHub

[Python]農家のITマーケティング試行錯誤日記3.商品価格の集計と分析を行う

2020-09-23T18:54:15+09:00

はじめに

前回の続きです。今回がラストになります。
楽天市場から取得した商品データの価格分析をするための前処理をしたので、今回はいよいよ簡単な分析にトライします。

楽天市場で販売されている野菜（今回はメークイン）の価格相場はどのくらいなのか？
1kgあたりの金額はいくらが妥当なのか？

といったことを、初歩的な分析スキルを使って出してみたいと思います。

方針

目的を改めて整理すると「農産物を販売するにあたっての価格調査のため」です。
農産物価格についてkgごとに集計したりグラフ化してみたりすることで、「どのくらいの価格で販売するのが妥当なのか」をある程度の根拠を持って得たいな、というのが今回の目的でした。
そのためにまず調べやすそうな楽天市場での相場を調べることで、この根拠の一つにしてみよう、という考えです。

以下のような手順で見ていきます。

（１）集計してみる

まずは入数ごとの商品価格の要約統計量（平均値、中央値など）を集計し、表にして見てみます。
つまり、重さ（1kg, 2kg…）ごとの商品価格を具体的な数値で把握してみることで、今回の分析の第一歩とします。

（２）分布を確認してみる（可視化）

入数ごとのデータを使ってヒストグラムや散布図を描いてみて、入数と商品件数や、入数と商品価格の関係がどのような分布になるかを見てみることにします。
また、商品価格の中央値に絞って可視化を行ってみることで、次の（３）の分析に繋げます。

（３）線形近似してパラメータを求める

入数と価格の中央値の関係を１次関数（直線）と見立ててその式のパラメータを求めてみます。
先ほど入数ごとの価格の中央値に着目して可視化したことで「入数と商品価格は１次関数の関係（グラフ上で直線）になりそう」という推測が生まれます。これは実際に当てはめると、商品価格は「送料や箱代・作業代などのベースとなる金額」に「1kgあたりの金額」が加算されて商品代が決められる、と考えることができます。
関係式のパラメータを求めることで、その「ベースとなる金額」と「1kgあたりの金額」を算出してみます。

集計と分析

集計に入る前に、データの準備をしておきます。
前回の最後に保存した加工済みのデータをcsvファイルから読み込んでDataFrameに入れておきます。

df = pd.read_csv('20200914_rakuten_mayqueen_2.csv')

（１）集計してみる

準備ができたらまずは、入数ごとの商品価格の要約統計量を調べてみます。
入数ごとの表にするためにgroupby()関数を使います。
また、統計量の表示にはdescribe()メソッドを使います。

# 入数ごとの統計量をgroupbyで調べる
df_by_kg = df.groupby('入数').describe()['商品価格']
df_by_kg

この表のcount列を見てみると、1件〜2件しかデータがない行と、データ件数が多い行がそれぞれあるのがわかります。
例えば「じゃがいも1kgや2kgでの販売」はそもそも件数が少なく、「じゃがいも5kgや10kgでの販売」は件数が多い、ということがわかります。
箱の規格は大体決まっているので実際の現場からすると納得の数値なのですが、このようにデータからも確認することができました。

この表から、必要な行だけ抽出しておきます。今回は件数が多い行のみを活用することにします。
残す行の入数の数値を直接指定しても良いのですが、後々スクリプトを再利用する可能性も考えて、ここでは5件以上ある行（3kg, 5kg, 10kg, 20kgが該当）を抜き出してみることにします

# 必要な行だけ抜き出す（件数が5つ以上あるものだけ残す）
df_by_kg = df_by_kg.loc[df_by_weight[('商品価格', 'count')]>5, :]
df_by_kg

さらにここから、列も必要なものだけを残します。
今回は比較したい列として、「件数count」「平均値mean」「最小値min」「中央値50%」「最大値max」を残すことにしました。

# 必要な列だけ抜き出す
df_by_kg = df_by_kg.loc[:,  [ 'count', 'mean', 'min', '50%', 'max']]
df_by_kg

これで、スッキリした集計結果の表が得られました。
この表を元に、例として「じゃがいも10kg」の商品価格を見てみます。その統計量は、

最小値（min） 1,399円
最大値（max） 7,560円
平均値（mean） 3,820円
中央値（50%） 3,600円

というような金額（送料・税込）になっていました。
相場感を掴むためには平均値か中央値を参考にすれば良さそうですが、最小値と最大値の幅が大きいことから全体のバラつきが大きそうだと考えられます。そのため、参考にする数値としては平均値ではなく中央値を見ていこう、と考えます（このバラつきは次の項目で可視化して見てみます）。

ちなみに最安値のものが異様に安いので気になってみてみると、いわゆる「訳あり品」として超小玉のものが販売されているようでした。逆に最高値を見てみると特別高級なブランド品という訳でもなく一地域の商品だったのですが、2020年の6月〜8月上旬頃まではじゃがいもの相場が全国的に異様に高かったため、このような金額で出品されているのかなと思いました（あくまで推測です）。

（２）分布を確認してみる（可視化）

次は、データをもとにグラフを描いて可視化することで、よりデータを深くみていこうと思います。

まずは「ヒストグラム」を表示してみます。
ここでは入数（kg）と度数（いくつのデータがあるか）を図示します。

ヒストグラムを表示するには、matplotlibというライブラリのhist()関数を用います。
データとして集計前のDataFram(df)を指定します。
オプションにbinsを指定することで、ヒストグラムの帯の幅を変えています。ここでは1から30までの1刻みで件数を図示しています。

import matplotlib.pyplot as plt

# ヒストグラム（入数と件数の関係）
plt.hist(df['入数'], bins=np.arange(1, 30))
plt.xlabel('Quantity(kg)')
plt.ylabel('Count')
plt.grid(True)
plt.show()

先ほど数値で見たことの確認になりますが、入数kgによって件数に差がありますね。5kg、10kgあたりの商品が特に多く、3kgや20kgも比較的出ているというのがわかります。

次に、「散布図」を表示してみます。
散布図を表示するには、matplotlibのscatter()関数を用います。
これも集計前のDataFram(df)を指定してみます。

# 散布図（入数と商品価格の関係）
plt.scatter(df['入数'], df['商品価格'])
plt.xlabel('Quantity(kg)')
plt.ylabel('Pirce(yen)')
plt.grid(True)
plt.show()

何kgの商品がいくらで販売されているのかが点で表示されますが、ここで先ほど集計した時に触れた「価格のバラつき」が大きいことが目に見えてわかります。
この状態だと、バラつきが大きくて値決めの判断材料にはできなさそうです。

そこで、今度は商品価格の「中央値」に絞ってプロット図を描いてみます。
先ほどの散布図と違って、入数ごとに対応する商品価格の中央値となる１点がグラフ上にプロットされます。
ここでは集計後のDataFrame(df_by_kg)を使って図示します。

# 点をプロット（入数と商品価格（中央値）の関係）
plt.plot(df_by_kg.index, df_by_kg['50%'], 'o')
plt.xlabel('Quantity(kg)')
plt.ylabel('Pirce(yen)')
plt.grid(True)
plt.show()

プロットした点が、綺麗な直線上に並んでるように見えます。
なんだか入数と商品価格の関係を掴むことができそうです。

それぞれの点における数値（つまり中央値）は以下の通り。

野菜の販売金額を設定する際には、このぐらいの金額に設定することで、ネット販売における相場とのズレが少ない妥当な値決めができそうです。
　
　
このように、数値を見るだけでなく可視化すると直感的にわかりやすくなります。
また可視化するにしても、漠然と全体を見るだけだとバラつきが多くてどう見て良いのかよくわからなかったものが、「中央値」という１つの統計量に絞って見てみると規則性を見ることができました。

（３）線形近似してパラメータを求める

もう少し、先ほどの結果を深掘りしてみることにします。
先ほどプロットした入数kgに対する商品価格の中央値の値は、１次関数の関係に近い（グラフ上で点がほぼ直線上に並んでいる）と考えられます。
そこで「線形近似」というのを行ってみます。
近似した直線の式のパラメータ（傾きと切片）を求めることで、商品価格を詳細に見ることができそうです。
つまり、「1kgあたりの金額」はこの直線の傾きの値に該当し、「送料や箱代・作業代などのベースとなる金額」はこの直線の切片に該当します。

線形近似にはnumpyの機能を使います。

# 線形近似
linear = np.polyfit(df_by_kg.index, df_by_kg['50%'], 1) # 線形近似して切片と傾きを求める
func = np.poly1d(linear) # 切片と傾きから1次式を作る
x = df_by_kg.index
y = func(x)

# 線形近似したグラフ表示
plt.plot(x, y)

# 散布図も合わせて表示
plt.plot(df_by_kg.index, df_by_kg['50%'], 'o')
plt.xlabel('kg')
plt.ylabel('yen')

このように、プロットした点がだいたい直線に乗っていることが確認できるかと思います。
そしてこのlinear変数に、この直線の式のパラメータが入っています。

print('直線のパラメータ[傾き, 切片] = ', linear)
# -> 直線のパラメータ[傾き, 切片] =  [ 142.94797688 2071.99421965]

つまり、

ベースとなる金額（切片に該当）約 2072円
1kgあたり金額（傾きに該当）約143円

この数値を使うと、例えば4kgの商品を作るとしたら、2072円 + 4kg@143円 = 2,644円くらいで設定すると良いんじゃないか、と計算することができます。

商品価格の中央値が、ここまで綺麗に一次関数の式に近似できたのが面白かったです。
今回使用したデータ数は分析するには少なかったと思うのですが、それでも感覚的に納得できる数値を得ることができました。

おわりに

今回のような基礎的な分析でも、活用できそうな根拠のある数値を得ることができました。
このような分析結果をもとに意思決定に繫げるのが、仕事でデータ分析を活用するにあたっての肝になるのかな、と思います。
そしてそれは１回で終えるのではなく、トライ＆エラーを重ねて、より正しく説得力のある分析と意思決定を行うサイクルを回していくことが大事になってくるようにも思います。

ひとつ大事な観点として、分析結果の妥当性はもうちょっと検証する必要はありそうです。
例えばデータ数をもっと増やしたり、データの中身を精査する必要があります。今回の例では、品種によって細分化したらもっと性格なデータを出せるなあと思いました。

データ分析したこの後は実際の価格決めという意思決定のフェーズに入っていくのですが、それにはまた別の視点が必要です。
少なくとも以下のことは、自身の中で固めておく必要があるなあと思います。

商品の価値をどう設定するのか。相場より安く設定するのか高く設定するのか。
ターゲットは誰なのか。今回楽天市場のデータで分析したが、よりターゲットに近い市場での分析が必要かもしれない。

もうちょっとスピード感を持って意思決定できれば良いのでしょうけど、難しい。

ひとまず今回の数値を使って、近々ひとつアウトプットを出すようにしたいと思います！

さて、三回に渡ってデータ分析に関する記事を続けてきましたが、今回のテーマは一旦ここまでにします。
学んだ知識をもとに探り探りの分析だったため、もしかしたら考え方が間違っていたりよりスマートな記述の仕方があるかもしれません。
ここまで読んでいただいて、もし気になる点があればコメントいただけると大変嬉しいです！

（記事リンク）農家のITマーケティング試行錯誤日記

農家のITマーケティング試行錯誤日記1.楽天商品検索APIを使って商品情報をcsv出力する[Python]
農家のITマーケティング試行錯誤日記2.商品情報の収集とデータ加工を行う[Python]
農家のITマーケティング試行錯誤日記3.商品価格の集計と分析を行う[Python]

[Python]農家のITマーケティング試行錯誤日記2.商品情報の収集とデータ加工を行う

2020-09-15T20:15:55+09:00

はじめに

前回は「楽天商品検索API」を使って30件（1ページ分）のデータを抽出し、csvファイルに保存するまでを行いました。

今回はより実用的にするために、まず前回のスクリプトを発展させて取得するデータ件数を増やしたのちに、集計や分析の前段階として、商品データを商品重量ごと（5kg, 10kg...）に分類できるようなデータ加工まで行います。

方針

（１）商品情報を取得する

検索キーワード「メークイン」商品情報を300件（30件×10ページ）取得する（NGワードも指定する）
必要な商品情報のみを入れたdict型を作成する
PandasのDataFrameに格納し、列を整理する

前回と流れは同じですが、今回は取得件数とNGワードをここで指定しています。
これらはデータを集める目的や、必要な情報量と中身に応じて調整します。

NGワードは僕の場合は、自分の想定と合わず商品価格に影響してきそうなワードを指定しました。ここでは「有機栽培/オーガニック/減農薬/農薬不使用」「セット/詰め合わせ」「ふるさと納税」を除きます。
取得件数を300件としたのは特に深い意味はありませんが、今回のキーワード・NGワードで商品検索をかけたところ320件程度のヒット数だったため、キリの良い数字を選びました。

（２）データ加工の手順

収集したデータから必要なデータのみを抽出する
「商品名」から重さ（5kg, 10kg...）を抽出し、新たな「入数」列を作る

本来は野菜の品種ごとにまで分けた方が正確な金額が出せるのですが、今回はそこまではしないことにしました。あまり細分化しすぎるとデータ数が減ってしまうためです。

（1）商品情報を取得するスクリプト

1.必要なライブラリのインポートと入力パラメータの準備

ここは前回とほぼ変わりありませんが、APIでリクエストを送る入力パラメータのpageとNGKeyword、そしてpostageFlagの部分のみ変えています。

楽天商品検索APIの１回のリクエストで取得できるデータの上限は30件（入力パラメータのhitsの値）となっています。pageにページ数2を指定してやれば、31件目以降のデータが取得できます。
このpageの値をfor文で回すことを想定しています。

また、入力パラメータのpostageFlagは商品価格に送料を含むかどうかを指定しています（1で送料含むor送料無料）

import requests
import numpy as np
import pandas as pd

REQUEST_URL = "https://app.rakuten.co.jp/services/api/IchibaItem/Search/20170706"
APP_ID="<楽天APIのIDを入れる>"

# 入力パラメータ
serch_keyword = 'メークイン'
ng_keyword = 'ふるさと納税 有機 オーガニック 減農薬 農薬不使用 セット 詰め合わせ'
page = 1
serch_params={
    "format" : "json",
    "keyword" : serch_keyword,
    "NGKeyword":ng_keyword,
    "applicationId" : [APP_ID],
    "availability" : 0,
    "hits" : 30,
    "page" : page,
    "sort" : "standard",
    "postageFlag" : 1
}

2.必要な商品情報のみを入れたdict型を作成する

for文を使って複数にまたがるページの商品情報を取得していきます。

商品情報から必要な項目のみ抜き出してtmp_itemという名前のdictに格納し、それをitem_listという名前のリストに格納しているのは、前回と同様の流れになります。

# 商品情報をリストで取得
item_list = [] # 30件ずつ取得した辞書型の商品情報tmp_itemが10ページ分入る
max_page = 10
for page in range(1, max_page+1):
    serch_params['page'] = page
    # APIにリクエストを送り、結果として商品データresultを得る
    response = requests.get(REQUEST_URL, serch_params)
    result = response.json()

    # resultから必要な情報を抜き出したdictを作る
    item_key = ['itemName', 'itemPrice', 'itemCaption', 'shopName', 'shopUrl', 'itemUrl']

    for i in range(0, len(result['Items'])):
        tmp_item = {}
        item = result['Items'][i]['Item']
        for key, value in item.items():
            if key in item_key:
                tmp_item[key] = value
        item_list.append(tmp_item.copy())

ここで、仮に商品件数が10ページ分に満たないようなキーワードを入れた場合でも、特にエラーは出ずに取得することができました。ページ数は実際の商品数よりも大きく設定しても良さそうです（APIのリファレンスによるとpageの上限は100）。
ですがその分処理に時間がかかり、自分の環境だと稀にエラーが出てしまう現象が起きたので、必要最小限に留めた方が良いのかなと思います。

3.DataFrameを作成する

これも前回と同様に、先ほどの商品情報のdictが格納されたlistからPandasのDataFrameを作成します。
少し修正して、インデックスを0からではなく1から順番に振ってくれるようにしました。

# データフレーム作成
df = pd.DataFrame(item_list)
df = df.reindex(columns=['itemName', 'itemPrice', 'itemCaption', 'itemUrl', 'shopName', 'shopUrl'])
df.columns = ['商品名', '商品価格', '商品説明文', '商品URL', '店舗名', '店舗URL']
df.index = df.index + 1 # インデックスを1からに振り直す

df.count() で取得件数、df.head()で先頭５件のデータを確認。
想定どおりの300件のデータが入っていれば大丈夫そうです。

4.csv出力

毎回このスクリプトを走らせてデータを取得するのも面倒なので、使いたい時に使えるようにcsv出力しておきます。

df.to_csv('20200914_rakuten_mayqueen.csv')

(2)データ加工・集計のスクリプト

1.csv読み込み

データの件数を増やすことができたので、次はそのデータを加工して分析に適した形にしてみます。
このまま進めても良いですが、いったん先ほどのcsvフィルを読み込んでみてから進めます。

df = pd.read_csv('20200914_rakuten_mayqueen.csv')

2.必要なデータのみを抽出する

このDataFrameを加工していくのですが、まずはざっとデータの中身をspread sheetで眺めてみると、今回の価格調査の目的には当てはまらない、野菜以外の余計なデータが混じっていました。
今回必要なのは重量のデータなので「商品名に重量が入っている商品データのみを残す」という方針でやってみます。

Pandasで、指定した文字列を含む（部分一致）行を抽出してbool値で返すstr.contains()を使います。

# 商品名に「kg」が入っている商品データのみ残す
kg_flg = df['商品名'].str.contains('kg')
df = df[kg_flg]

kg_flgはbool値のSeriesとなっていて、「kg」が含まれている行にはTrue,そうでない行にはFalseが入ります。Trueになっている行が必要な残したいデータです。
これを用いてdf[kg_flg]とすることで、Trueの行だけデータの入ったDataFrameを抽出することができます。

df.count()で件数を確認すると、116件とだいぶ減ってしまいました。
よりデータ数を確保するなら、この辺りはもうちょっと検証する必要がありそうです。

3.商品名から重量を抽出して新たな列を作る

これで商品名にkgが含まれている行のみが残りましたが、さらにこの重量を別の列に切り出したいです。
商品名には「数字 + kg」という形で重量が入っているはずなので、これの数値を取り出して「入数」という列を新しく作ります。

ここでは正規表現を使ってみます（詳細な説明は省きますが、([0-9]+)kgとすることで「数字 + kg」を表現できます）
この正規表現をPandasのstr.extract()の引数に指定します。このメソッドは引数に正規表現を指定すると、それに最初にマッチした文字列を抽出して新たな列を作る、というものです。まさに今回やりたいことにぴったりな便利メソッドです。

# 商品名から重量を別カラムに切り出す
df['入数'] = df['商品名'].str.extract('([0-9]+)kg')
df =df.reindex(columns=['商品名', '入数', '商品価格', '商品説明文', '商品URL', '店舗名', '店舗URL'])

df.to_csv('20200914_rakuten_mayqueen_2.csv')

見やすいように列の入れ替えも行い、最後にcsv出力をしておきます。
こんな感じでDataFrameを作ることができました。

画像では、この後の分析のために入数を数値型に変換したのちに、商品価格を入数で割返したkg単価も付け加えてみました。ですが結構バラバラの数値が出ているので、ここは次回もうちょっと掘り下げてみます。

ともあれ、これで商品価格の分析のための下準備が終わったのではないでしょうか。

おわりに

分析のためには出来るだけ多いデータを集めた方が偏りが少ないと思うのですが、このやり方だと結構ざっくりと商品件数を削っており、もうちょっと上手いやり方がありそうだなと思いました。
また、残ったデータも完璧なものと言えるのか定かではないので、細かいデータ分析をするにはまだ検証しなければいけないことが多いと思います。

まあ今回は個人的にやっていることですし、まずはアウトプットできることを目指して、ある程度の納得感があれば良いなーくらいに思って、細かい部分にはこだわらず進めています。

次回、データを集計して商品価格の平均値などの統計量を算出してみたり、可視化や線形近似を行ってみてkg単価を算出してみたりと、簡単な分析を行ってみようと思います。

（記事リンク）農家のITマーケティング試行錯誤日記

[Python]農家のITマーケティング試行錯誤日記1.楽天商品検索APIを使って商品情報をcsv出力する

2020-09-01T22:20:21+09:00

はじめに

楽天市場のAPIを活用し、キーワードに当てはまる商品情報をcsvに出力してみました。

活用したのはこちらの「楽天商品検索API」というものです。
楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧

開発環境と使用するライブラリ

開発環境としてJupyter Notebookを利用しました。
大掛かりなツールや定期的に実行したいツール作成時にはまた別のテキストエディタで作っていく必要があるかもしれませんが、ちょっとした単発のツールを作る際には、Jupyter Notebookなら少しずつ試しながらスクリプトが書けるし、即座に実行できるのでとても便利です。

使用するライブラリはrequestとpandas。
APIを叩くためにrequestを使い、取得したデータ操作とcsv出力のためにpandasを利用しました。

目的

農産物を販売するための価格調査のために行いました。
取得した情報をもとに、さらに分析して意思決定するところまでを想定しています（今回は情報取得するところまで）。

色々な直販サイトはありますが、楽天市場は馴染みがあり商品数も多く、APIも提供されているので取得しやすいなと考えました。

楽天APIを扱う準備

APIを活用するためには、スクリプトを書き始める前にまずは楽天の開発者向けページからアプリを作成してIDを取得しなければいけません。

こちらのRakuten Developersのサイト
楽天ウェブサービス: API一覧

右上の「+アプリID発行」からアプリを作成しておきます。ここで取得したアプリIDを自分のスクリプトで実行する際に使うことで、楽天市場の情報にアクセスでき流ようになります。

楽天市場だけでなく、楽天の他のサービス（楽天トラベルや楽天レシピなど）のAPIもあるのが良いですね。機会があれば使ってみたいです。

商品情報を取得するスクリプト

(1)キーワードを入れて商品情報を取得してみる

今回は「メークイン」というじゃがいもの品種名をキーワードに含む商品情報を取得することにします。

まずは必要なライブラリのインポート。

import requests
import pandas as pd

次にAPIを叩いて情報を取得するスクリプト。

REQUEST_URL = "https://app.rakuten.co.jp/services/api/IchibaItem/Search/20170706"
APP_ID="<ここに楽天のサイトで取得したアプリIDを入れる>"

serch_keyword = 'メークイン'

serch_params={
    "format" : "json",
    "keyword" : serch_keyword,
    "applicationId" : [APP_ID],
    "availability" : 0,
    "hits" : 30,
    "page" : 1,
    "sort" : "-updateTimestamp"
}

response = requests.get(REQUEST_URL, serch_params)
result = response.json()

このスクリプトを実行したのち、result['Items']とすれば、情報がdict型のlistの形で取得できます。
今回は30商品が取得できています（serch_paramsの"hits":30で指定している数値がこの取得数に当たります）

先ほどのスクリプトをざっと見ておきます。

REQUEST_URLには楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧に載っているリクエストURLを指定。
APP_IDには先ほど楽天の開発者向けページから取得したアプリIDを記述しておきます。

serch_keywordで検索したい文字列を指定することで、そのキーワードにマッチする商品が検索されます。例えばここをPythonのinput()関数でユーザー入力を受け付けても使い勝手が良さそうですね。

次に、serch_paramsにはリクエストを送る際のパラメータをdict型で書いておきます。
楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧の「入力パラメーター」の項に詳細が載っていますので、詳細はそちらを参照してみてください。
注意点として、この入力パラメーターにはapplicationId（アプリID）は必須でこれには先ほど記述したAPP_IDを指定、またkeyword,shopCode, itemCode, genreIdのいずれかの指定が必須のようです。
今回は検索キーワードで商品情報を取得したいので、keywordに先ほど指定したserch_keywordを指定しました。

この入力パラメータの"hits":30というのが取得する商品の件数に当たり、最大値が30のようです（省略してもデフォルトで30が設定されているようですが、今回のスクリプトでは忘れないように明示しておきました）。
また"page":1というのが取得ページ番号になるので、この数値をfor文などでループを回せば複数ページに渡る大量の商品情報を簡単に取得できそうですね。

(2)必要な商品情報を入れたdict型を作成

さて、先ほどAPIを叩いて取得できたdictには楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧の「出力パラメーター」の項に載っている項目がdictのkeyとvalueとして入っています。

例えばresult['Items'][2]['Item']['itemName']という風にkeyを指定すると、商品名が取得できます。

現段階で取得した情報は、このままだと余計な情報も入っていて扱いが不便なので、必要な情報のみが入っているdictを作ることにします。以下の項目に絞りました。

「itemName」「itemPrice」「itemCaption」「shopName」「shopUrl」「itemUrl」
（後から、送料フラグ「postageFlag」も必要だなと思ったのですが、以下のスクリプトには反映されておりません）。

# for文を回してdictのlistを作る
item_key = ['itemName', 'itemPrice', 'itemCaption', 'shopName', 'shopUrl', 'itemUrl']
item_list = []
for i in range(0, len(result['Items'])):
    tmp_item = {}
    item = result['Items'][i]['Item']
    for key, value in item.items():
        if key in item_key:
            tmp_item[key] = value
    item_list.append(tmp_item)

これで、dict型の商品情報の入ったlistが取得できます。

ここで詰まったのが、item_list.append(tmp_item.copy())のところでcopy()メソッドを使う必要があることでした。
このメソッドを使わずitem_list.append(tmp_item)としてしまったら、１つの商品情報が複数入ったdictができてしまい、首をひねって日を跨ぐことに。

以下の記事に助けられました。

Pythonのリストにdict型の変数をappendすると変数がポインタ的に振る舞うので… · GitHub

この理屈は理解しておいた方が良さそうなので、また別途まとめたいですね。

(3)pandasでデータを整形

dict型のlistを作ることができたら、あとは難しいことはなくpandasの基本操作で事足ります。
データフレームを作り、また活用しやすくするために少し整形しておきます。

# データフレームを作成
item_df = pd.DataFrame(item_list)

# 列の順番を入れ替える
items_df = items_df.reindex(columns=['itemName', 'itemPrice', 'itemCaption', 'itemUrl', 'shopName', 'shopUrl'])

# 列名を日本語語に変更する
items_df.columns = ['商品名', '商品価格', '商品説明文', '商品URL', '店舗名', '店舗URL']

(4)csv出力

作成したデータフレームをcsvファイルに出力します。

items_df.to_csv('./rakuten_mayqueen.csv')

to_csv()メソッドの引数には、保存先のパス（ディレクトリとファイル名）を指定します。今回は相対パスで、このスクリプトがあるディレクトリ直下にcsvファイルを作成しました。

さて、出力されたデータをExcelなりSpreadSheetで開いてみましょう。

いい感じに取得することができました！

おわりに

ひとまず楽天市場から商品情報を取得して、csv出力まですることができました。
今後の方針としては、

(１)データの収集と整形
より目的にあったデータを必要な数だけ集めて、活用できる形に整形します。

取得する商品数を増やす
余計な商品を除外する
重量（例えば商品名に「10kg」「5kg」などが入っている）を別カラムに切り出す

単にデータ量を増やすだけでは意味がなくて、余計なデータや極端なデータを省いたデータを集める必要があります。商品情報取得時のソート順なども関係してきそうです。
例えば現状のデータだと、じゃがいもだけではなく包装資材やじゃがいもを使った別商品、謎に洋書まで取得してきている様子で、これらは除外するようにデータを加工しなければいけません。

(2)収集したデータの分析と意思決定

平均値、中央値、最小値、最大値などを算出してみる
妥当な値決めを行う（意思決定）

本当ならば別視点で「どの商品が売れ行きが良いのか」もデータを集めて分析できれば面白いのでしょうけど、今回はそこまでは考慮せず、現在の商品価格のみを見てみることにします。

より正確な意思決定にはまた別の学習（プログラミングスキル以外の）が必要になってきますね。
ただ、今回のデータを元に平均値などの統計量を見ることができれば、値決めの判断材料としては役に立つのかなーって思っています。
　
そんな訳で、次回は少し込み入ったデータ収集と加工をしてみたいと思います。

（記事リンク）農家のITマーケティング試行錯誤日記

「Python実践データ分析100本ノック」学習記録（第１部：データ加工）

2020-07-11T13:49:10+09:00

はじめに

初心者ながら「Python実践データ分析100本ノック」を進めています。

「第１部：データ加工」編ということで、第１章〜第２章（ノック１〜２０）について、学んだことを言語化する目的でまとめを作ってみました。
データ分析を実践で活用する流れや、重要そうなポイントを整理しておきます。

学習しながら整理しているので、間違えや補足があれば指摘いただけると嬉しいです！

第１部の概要と感想

この第１部では「揃っているデータを加工して機械学習に使えるデータにするところまで」の練習でした。
この段階ではまだ機械学習を活用する前段階の、データの整理とデータの全体像を把握、そして機械学習に適したデータ形式に加工する「クレンジング」という作業のやり方を学びます。

第１章ではデータの結合など基本的な前処理をしたのち、統計量や欠損値などを調べてデータ全体像を把握し、さらにデータを集計・可視化（折れ線グラフで図示）する、という一連の流れ。まずは導入として綺麗で揃っている扱いやすいデータを扱います。

第２章では上記の「基本的な前処理」の部分を深掘りします。現場にありがちな汚いデータを扱って、「データの揺れ」や欠損のあるデータの加工のプロセスを学びます。
実際の現場ではデータが最初からまとまって整理されている訳ではなく、手入力や複数人での入力により表記違いや入力ミスがあるのが一般的です。それらを含んだ綺麗でないデータを「どう扱って機械学習に適したデータに加工していくのか」という、泥臭い作業ながらも重要な作業です。

個人的な感想

１周目は細かいロジックよりも「データ加工の流れを把握すること」を最優先にすると、進めやすく整理しやすかった（細かいロジックは２周目で理解する）
現場で入力ミスや表記揺れが発生してしまうのはよくありがち。データを取る際はそれが発生しないような仕組みも重要だと思った
データ分析をする目的も重要。「データをどのような形に加工すればゴールなのか」は書籍だけだと難しいので実践の必要あり
「自分なりにデータと対話しながら分析を進めていく」という表現があって、その「データと対話する」という感覚が良いなあと思った

データ加工する際の流れ

基本的にはデータ解析用のライブラリPandasを活用し、グラフ描画にMatplotlibというライブラリを使用。
目的に応じて、3の集計や4の可視化を行って必要なデータを作っていきます（カッコの中はそれぞれの工程で本書に出てきたPandasの関数です）

データの読み込み（read_csv, read_excel）
データの加工
- 複数のデータを結合、列の追加をして必要なデータフレームを作成する。ユニオンとジョイン（concat, merge）
- 欠損値(isnull)・データの揺れのチェックと修正
集計（groupby, pivot_table）
グラフによる可視化
データの保存。ダンプ（to_csv）

「データ加工」のいくつかのポイント

データの検算：データを結合した際には件数を確認したり検算して、操作が正しいかどうかを把握する
欠損値のチェック：欠損値があると正しく修正できないので、チェックして必要に応じて補完or除去する
データの揺れの修正：表記揺れをなくしたり、日付に関しては扱いやすいようにデータ型を統一する
各種統計量の把握をする：平均値や最大・最小など、また全体の数字のスケール感を把握する（describe, sum, meanなど）

重要そうなポイント

（１）Pandasの基礎的操作

本来は基礎的な操作を抑えてからこの書籍をやるべきなのですが、自分はいきなり書籍に取り組んでしまったので、ある程度進めるうちに付いていけなくなり整理することにしました。
多くは書籍を進めていく中で覚えていけるのですが、データ列の参照方法、データを行インデックスで参照する方法（loc関数）などは常時使いされるので、使い方をちゃんと抑えておきたいです。

#列を取得（抽出）
df[列名]
df[[列名1, 列名2, 列名3, …]]  #列名のリストを指定すると、複数の列を取得することもできる

#行、列を指定して値を取得
#loc:行ラベルと列ラベルで指定、iloc:行番号と列番号で指定。ラベルや番号にはスライスが使われることも多い
df.loc[行名, 列名] 
df.iloc[行番号, 列番号]

（２）データの結合について

データ加工をする過程で、データを結合する作業が何度も登場します。
巻末にある「Appendix①」に目を通しておくと理解が深まります。

結合のやり方には「縦方向の結合（ユニオン）」と「横方向の結合（ジョイン）」があります。

縦方向の結合（ユニオン） concat：
同じ情報（列名）を持ったデータを下にくっつけて行を増やしていくイメージ
横方向の結合（ジョイン） merge：
例えば「売上データ」と「顧客データ」など別の情報（列名）を持ったデータを、ある情報（例えば顧客名）などをキーとしてくっつけることで列を増やすというイメージです。

特にデータを横方向に結合するmergeは引数に指定できるオプションが初見では複雑に感じます。
結合したい表を２つ左右に並べたイメージで、「左側の表」と「右側の表」をonに指定した列名でくっつける。そしてその時にどちらの表をベースにするかという結合方法をhowで指定する…というイメージで捉えると、僕はひとまず理解が進みました（慣れるためのざっくりしたイメージ付けなので、正確でないのはご了承ください）。

#concat:縦に結合
pd.concat([df1, df2])

#merge:横に結合。左に置く表(df1)と右に置く表(df2)を指定してあげるイメージ。以下のどちらのやり方でも可能
pd.merge(df1, df2)
df1.merge(df2)

#on:結合するキーを指定するオプション。共通の列名を指定する。
#列名がデータによって異なる場合、right_onやleft_onを使うこともできる。
pd.merge(df1, df2, on=キーにしたい列名)
pd.merge(df1, df2, left_on=df1のキーの列名, right_on=df2のキーの列名)

#how:結合方法を指定するオプション。inner, outer, left, rightを指定できる。
pd.merge(df1, df2, on=キーにしたい列名, how=left)

（３）欠損値の補完のやり方

ノック１５の「欠損値をチェックして補完する」ところのアルゴリズムが急に複雑になりました。
流れとしては「特定の列を見ていって欠損値のある行を特定し、その欠損値を別のデータから参照してきて置き換える」という流れになるのでしょうか。
欠損値のある行をTrueとしたフラグ（flg_is_null）をインデックスとしてTrueの行のみに操作を施す…というやり方が登場します。
ここで(1)で挙げたlocの理解が重要になってきます。

→（詳細を追記予定）

（４）日付の表記揺れの補正とデータ型

ノック８では、登録日などの日付データから、目的に応じて年月の列を作成して集計する、という流れが出てきました。このように月別にカテゴリ分けができるのは、活用できる機会が多そうです。
またノック１７では、日付の揺れを補正するために、数値型や文字列型で入ってしまっている日付データの書式を統一する、という処理が登場します。
データ型を確認するdtypesや変換するastype()の使い方、また日付型に関係する関数扱い方（to_datetime, to_timedelta）を整理しておきたいところです。

→（詳細を追記予定）

（５）集計について

グループ化（group_by）とピボットテーブル（pivot_table）による集計が出てきますが、これらの活用の仕方が１周ではまだピンと来ませんでした。これらの関数をどういう目的の時にどう使ったら良いかうまく言語化できなかったので、課題とします。

ピボットテーブルを使うと、行と列を指定してそれが表になって出力されます。見やすい表に整形して出力してくれる、という機能でしょうか。
（Excelの「ピボットテーブル機能」と同様のようで馴染みのある方は多いのでしょうか？）

#groupby:まとめたい（グループかしたい）列を引数に指定して、集計方法を示す関数を呼び出すと、グループごとの統計値が算出できる
#引数に１つの列を指定する基本の使い方
df.groupby('month').sum() #monthごとの合計値
df.groupby('month').mean() #monthごとの平均値

#引数に複数列をリストで指定する使い方。表形式で統計値が出力される
df.groupby(['month', 'name']).sum() #monthとnameの組み合わせごとに合計値を表示
df.groupby(['month', 'name']).count() #monthとnameの組み合わせごとにデータ数を表示

→（詳細を追記予定）

（備考）データフレームとは？

学習していると「データフレーム（df）」という単語が頻繁に出てきます。
データフレームはPandasの型の一つで、ざっくり「行名と列名も一緒に入ったエクセルの表のようなデータ」というようなイメージでしょうか。
（df.valuesで値を参照、df.indexやdf.columnsで行名と列名を取り出したりすることができます）

書籍の中では特に解説はありませんが、Pandasには主にDataFrameとSeriesというデータ型があるようで、それぞれ

Seriesは１列だけのデータ。行名（index）のみ割り振られている
DataFrameはテーブル形式の２次元のデータ。行名（index）と列名（column）が割り振られている

どちらもPython標準のリストとはまた異なるデータ型です。
他にも３次元データもあるようですね。また今後、必要に応じて理解していこうと思います。

おわりに

他にもこのまとめに入れられなかった要素（Matplotlibによる可視化など）もあるので、必要に応じて整理したいです。

この書籍、著者の方の意図としては、まえがきに「Pythonの入門書ではありません」と明記されているように、本来は初歩を学んだ人がデータ分析を学ぶための実践書のような位置付けとなっています。
Pandasの操作もデータ分析の基礎も理解していない僕がやるのは本来の活用の仕方から外れているのかもしれませんが、それでも「実際にデータ分析をするにはどのようなことを学ぶべきか」というイメージ作りができるのがとても良いな、という印象を持っています。
なんとか最後まで完走して、画像処理・言語処理まで体験してみたいというモチベーションで続けています。

実践形式で手を動かすのにとても適した書籍なので、興味はあるけどまだ取り組むことが見えていない人でも、基礎練習として取り組むのにも有効に思うので、オススメの書籍です！

[Python]Flaskアプリの基本構造を整理

2020-07-06T00:05:47+09:00

はじめに

これまでなんとなくflaskのコードを良くわからないまま「おまじない」として書いていたので、一度ちゃんと調べて整理してみます。
目標としては、

その記述があることでどんなことが起こっているのか、を把握できるようにする
書かれているコードの文法構造を理解し、言語化しておいてあとで調べられるようにする

この辺りを目指して整理してみます。脱コピペ。

flaskアプリの基本構造

シンプルなWebアプリの基本構造を見てみます。

解説などこちらを参照しました（スクリプトは一部違いがあります）
Flask を始めよう — Flask Handson 1 documentation

#①モジュールのインポート
from flask import Flask 

#②Webアプリ作成
app = Flask(__name__) 

#③エンドポイント設定（ルーティング）
@app.route('/')
def hello():
    return 'Hello World!'

 #④Webアプリ起動~~~~
if __name__ == '__main__':
    app.run(debug=True)

このスクリプトを実行し、ブラウザで「http://127.0.0.1:8000」にアクセスすると、画面には「Hello World!」と表示されているはずです。
そこまで上手くいっていれば、ローカルでWebアプリが起動できている、ということになります。

大まかな流れとイメージを掴む

上のスクリプトは大きく４つのパートに分かれています。

①モジュールのインポート：アプリ作成に必要な機能の詰まったコードファイルを使えるようにします。
②Webアプリを作成：必要な機能が詰まった「アプリの核」を用意します。
③エンドポイントを指定（ルーティング）：ブラウザからアクセスするURLと、それに対応した処理をここに書きます。
④Webアプリを起動：ファイルが実行された時にアプリが立ち上がる(ブラウザで表示できる)ようにします。

僕らがFlaskでWebアプリを作る時は、③の部分を色々と作っていくことになります。
①のインポートはpythonの基本文法の一つ。そして②④はflaskの操作となっており基本的にコードを変更する必要はなさそうで、これが「おまじない」としてよく書かれている部分になります。

各パートを詳細に見てみる

①モジュールのインポート

from flask import Flask

flaskモジュールのFlaskクラスをインポートしています。
これにより、このスクリプト内でFlaskクラスの機能を活用できるようになります。

モジュールとは

関数やクラスなどが詰まったpythonファイルです。hogehoge.pyという名前で保存されているファイルが１つのモジュール、と考えて良さそうです。

②Webアプリ作成

app = Flask(__name__)

Flask(__name__)と第一引数に__name__を渡してFlaskクラスのインスタンスを作成し、それをappに代入しています。
このappにはflaskアプリの核が入っているイメージで、今後app.route()でルーティングを定義したり（③）、app.run()でローカルサーバー起動したりできるものになります。

グローバル変数`name`について

__name__というのはモジュールの属性の一つで、グローバル変数のようです（変な名前ですね）。
そしてその正体は「そのプログラムがどこから呼ばれて実行されているか」を格納している変数となります。

この.pyファイルが直接起動された時は、__name__には__main__という文字列が入ります。
一方で、このファイルが他のスクリプトからimportされて呼ばれた時には、__name__にはモジュール名（拡張子なしのファイル名）が入ります。

（これをFlask()の第一引数に渡すと何が起こっているのか、まではまだ理解ができずです）

③エンドポイント設定（ルーティング）

@app.route('/') 
def hello():
    return 'Hello World!'

この記述によりルーティングが定義されます
シンプルな記述ですが、だいぶ多くのことが凝縮されていそうです。

こちら（Flask を始めよう — Flask Handson 1 documentation）から引用しつつ整理してみます。

@app.route('/') という行は、 app に対して / というURLに対応するアクションを登録しています。

つまり、僕らが「http://hogehoge.com/」(パスが/)というURLにアクセスしたら、「こういう処理を返しますよ」というアクションを関数で作り、それらを１対１で紐づけています。
今回の例では、hello()関数の返り値（returnの後の文字列）がWebページに表示されることになります。
この関数を「ビュー関数」と呼んだりするようです。

さて、ここで@という変な記号が何を表しているのか、ですが…。

@ で始まる行はデコレータといって、その次の行で定義する関数やクラスに対して何らかの処理を行います。 @app.route('/') は、次の行で定義される関数を指定した URL にマッピングするという処理を実行しています。

ここでいう「デコレータ」はちょっと高度なPython言語の文法かと思います。
この辺りの文法的な理解と、ビュー関数がいかに動作して結果がWebに表示されるかはかなり難しそうなので、もうちょっと学習を進めながら理解を深めたいと思います。

デコレータと高層関数

「デコレータ」は「高層関数」を使った処理をスマートに記述できるpythonの記述の仕方で、「高層関数」とは引数として関数を受け取って処理をする関数、また戻り値として関数を返す関数のことです。
ここではデコレータを使って、hello()という関数を高層関数route()に渡して処理している、と考えられます。
(この辺りの理解が曖昧なので間違っていたら指摘をお願いします)

用語の整理

ルーティング：URLと動作の紐付けをすること。ここではパスと関数を紐付け。
エンドポイント：アクセスするためのURLを指す。
URLとパス：ファイルの位置を指定するためのもの。URLは絶対パス、インターネット上の住所のようなもの。
ビュー関数：リクエストに対してどのような動作を返すかを記した関数。

④Webアプリ起動

if __name__ == '__main__':
    app.run(debug=True)

最後に、app.run()を実行してローカルサーバーを起動し、アプリを立ち上げます。
if文は「このプログラムが直接実行されたかどうか」を判定しています。
②で見たように、ファイルをスクリプトとして直接実行した場合、__name__には__main__が代入されます。
つまりここでは、プログラムが直接実行された場合にapp.run()が実行されて、アプリが立ち上がるのです。

run()メソッド

このFlaskのrun()関数にキーワード引数で「ホスト」「ポート番号」「デバッグモード」の指定ができます。なくても起動可。
例えばapp.run(host='http://127.0.0.1', port=8080, debug=True)と記述して起動することができます。
- app.run(debug=True) -> デバッグモードで実行する
- app.run(host='http://127.0.0.1') -> ホストを指定
- app.run(port=8080) -> ポート番号を指定（デフォルトでは5000）

用語の整理

ホスト：（まとめ中）
ポート番号：（まとめ中）

（備考）WSGI規格

Web Server Gateway Interfaceの意味。
WebサーバーとWebアプリを接続するための標準化されたインターフェース規格をWSGI規格と呼ぶ。
Flask, DjangoなどPythonの多くフレームワークはこのWSGI規格を採用している。
普通にWebアプリ開発するだけならあまり意識することはない。

おわりに

ほんとの初心者のうちは意識しなくても良いことですが、そこから次のステップに進むために理解を深めていくと出来ることが増えていくのかなあと感じます。
後半はかなり駆け足でまとめてしまったので、また理解度に応じて修正しようと思います。

ドキュメント読みます。
クイックスタート - Flask v0.5.1 documentation
API — Flask Documentation (1.0.x)

[Python]FizzBuzz問題のカッコイイ解答を読み解いてみる

2020-06-12T23:34:11+09:00

はじめに

現在僕が受講しているPython基礎を習得する講習にて、

「FizzBuzz問題を２通り以上の書き方で書いてみよう！」

という課題がありました。

その模範解答の１つとして講師の方が挙げてくださった解答を目にして、基礎を学習中の身の僕はとても感動を覚えました。

こちらがその解答例。

FizzBuzzのカッコイイ解答

end = 100
for i in range(1, end + 1):
    print('FizzBuzz'[(4 if i % 3 else 0):(4 if i % 5 else 8)] or i)

う、うつくしい…
たった３行で書けるとは。（もっと言うと2行でいけてる）

けど ちょっと何を言っているのかわからない。

悔しいので、この記述を読み解いてみることにしました。
これまでどこかでは見たことのある色んなエッセンスが詰まっていて、読み解けた時には程よい満足感に包まれました。

この記事では、「このスクリプトが何を言っているのかわかる」というところを目指して、解説してみます。
ぜひ一緒に読み解いてみましょう！

※文法の正確な解説は参考リンクとして貼らせていただいて、まずは「意味がわかる」ところを目指します。
※自分も理解が浅い部分があるため、何か間違いあればご指摘お願いします！

FizzBuzz問題

数字を１から順に１００までログ出力します。ただし、
・数字が３の倍数の時には数字の代わりに「Fizz」
・数字が５の倍数の時には数字の代わりに「Buzz」
・数字が３の倍数かつ５の倍数の時には代わりに「FizzBuzz」

と出力するようにしてください。

もしこの問題をやったことない方は、まずはこれをスクリプトで書いてみることに挑戦しましょう！
いろんな入門書、アルゴリズムの本で登場します。

今回の記事は、ひとまずこの問題に解答できる、という前提で書いているので、その上で読み進めてみてください。
（for文やif文の基本的な使い方ができていれば良いかと思います）

オーソドックスな解答例

一応、FizzBuzz問題のオーソドックスな解答例です。
色々な書き方があるので、この限りではありません。

end = 100
for i in range(1, end + 1):
    if i % 3 == 0 and i % 5 == 0:
        print('FizzBuzz', end='\n')
    elif i % 3 == 0:
        print('Fizz', end=' ')
    elif i % 5 == 0:
        print('Buzz', end=' ')
    else:
        print(i, end=' ')

プチテクニック：

print() 関数に endオプションをつけて文字列を指定することで、その文字列（\n改行、\tタブなども可）を表示させて見やすくできます。
「FizzBuzz」が出力される15の倍数ごとに改行することで見やすくなる、という学びがあったため使ってみました。

今回のカッコイイ解答について読み解く

冒頭に書いたカッコイイ解答ですが、３行目がちょっと何言ってるかわからない。

よくわからん３行目のスクリプト

print('FizzBuzz'[(4 if i % 3 else 0):(4 if i % 5 else 8)] or i)

調べながら読み解いていくと、この一文には、

（１）文字列のスライス 'hogehoge'[a:b]
（２）三項演算子x if 条件式 else y
（３）文字列・数値の論理演算x or y

このあたりがポイントとして含まれていそうです。

...
...と、その前に前提知識を。

（０）前提知識：数値・文字列の真偽値

必要な知識として 「数値・文字列の真偽値」 について整理しておきます。

数値を条件式として使った場合には、TrueかFalseの真偽値で返ります。そしてその真偽については、

数値0, 空の文字列の時 => False
それ以外の時 => True

となります。if文の条件式などで使うことでコードがシンプルになるので、慣れておきたいですね。

（１）文字列のスライス

先ほどの一文をさらに分解して、わかりそうなところから見ていきましょう！

'FizzBuzz'[(4 if i % 3 else 0):(4 if i % 5 else 8)]

この部分は、細かい部分は無視して構造だけ書くと、

'FizzBuzz'[a:b]

と言う形になっており、これは 「文字列のスライス」 を適用しています。

今回のFizzBuzzという文字列にスライスを適用することで、

print('FizzBuzz'[0:8]) #① => FizzBuzz
print('FizzBuzz'[0:4]) #② => Fizz 
print('FizzBuzz'[4:8]) #③ => Buzz
print('FizzBuzz'[0:0]) #④ => (何も表示なし)

と上手いこと表現できます。

まず、これが第一のポイント。

（２）三項演算子`if`-`else`

次に読解したいのは、'FizzBuzz'[a:b]と書いた時のa,bに当たる

(4 if i % 3 else 0)
(4 if i % 5 else 8)

この記法です。

なんとなく「後置if」という表現を聞いたことがあったのですが、これは 「三項演算子」 と呼ぶらしいです。

使う分には if〜elseを１行で書ける書き方 と抑えておけば良さそうでしょうか。

参考：
三項演算子(Python) - Qiita

これを当てはめると、上の２つの書き方は

(4 if i % 3 else 0)
=> 「i%3の値がTrue（iを3で割った余りの値が0以外、つまり3で割り切れない時)なら4、それ以外（3で割り切れる時）は0」

(4 if i % 5 else 8)
=>「iを5の値がTrue（iを5で割った余りの値が0以外、つまり35で割り切れない時)なら4、それ以外（3で割り切れる時）は8」

と、条件によって変わる数値を表す表現になります。
（0は条件式の中で扱うと、真偽値はFalseになるんでしたね（前提条件））

なるほどわからん。

...
...具体的に今回の問題のFizzBuzzで考えてみると、これまでの話がなんとなく繋がって見えてきます。

iが3の倍数か、5の倍数か、3の倍数かつ5の倍数（15の倍数）かで場合分けができて、

print('FizzBuzz'[0:8]) #①=> FizzBuzz（iが3の倍数かつ5の倍数の時）
print('FizzBuzz'[0:4]) #② => Fizz（iが3の倍数で、5の倍数ではない時）
print('FizzBuzz'[4:8]) #③ => buzz（iが5の倍数で、3の倍数ではない時）
print('FizzBuzz'[0:0]) #④ => (何も表示なし)（iが3の倍数でも5の倍数でもない時）

この4パターンの結果を

'FizzBuzz'[(4 if i % 3 else 0):(4 if i % 5 else 8)]

この１行で表現することができるのです。

ただこれだけだとまだ、Fizz, Buzz, FizzBuzzの文字列は出力できても、数字を出力することができません。

そこで、次のポイントです。

（３）数値・文字列の論理演算

ここまできたらもう一息です。もう一つ見ていない部分がありました。

よくわからん３行目のスクリプト

print('FizzBuzz'[(4 if i % 3 else 0):(4 if i % 5 else 8)] or i)

この最後のor iという表現に謎が残っています。
そこでまた細かい部分を省いて構造だけ書いてみると、

print('FizzBuzz'[a:b] or i)

という構造になっています。

このorは 「論理演算子」 というやつですが、どうもなんかこの表現の中では直感的にわかるorの使い方と様子が違いそうです。

一般的な論理演算子orの使い方は

条件式 or 条件式　=> TrueかFalseを返す
例) 1 < 10 or 2 > 20　=>　True

このように、orで並ぶのは条件式で、１つでも合っていればTrue、どれも間違っていたらFalseが返る、と言う真偽値を返す演算となっています。
これは直感的にわかりやすいですね。

ところが今回の表現は、

文字列・数値 or 文字列・数値　=> どちらかの値（文字列か数値）を返す
例) 'FizzBuzz' or 3　=> FizzBuzz
例) '' or 3　=> 3

という風にorで並んでいる値のどれかを返す演算になっています。上の例では
「orの前の値が真・後ろの値が真のとき、全体としては前の値を返す」
「orの前の値が偽・後ろの値が真のとき、全体としては後ろの値を返す」
というルールとなっています。

参考：
Python♪論理演算子（and, or, not）の使い方と数値や文字列の論理演算 | Snow Tree in June

なるほどわからん。

...
...細かい文法は今後学んでいくとして、今回は読み解くことを優先して「このようなルールがあるんだなー」と流すことにします。
（「短絡評価（ショートサーキット）」という評価法？が使われています）

具体的に今回の問題に当てはめてみると、(2)で考えた４パターンをさらに以下のように考えることができます。

print('FizzBuzz'[0:8] or i) #① => FizzBuzz（orの前の値が真・後ろの値が真の時、前の値を返す）
print('FizzBuzz'[0:4] or i) #② => Fizz（上と同様）
print('FizzBuzz'[4:8] or i) #③ => buzz（上と同様）
print('FizzBuzz'[0:0] or i) #④ => i（orの前の値が偽・後ろの値が真のとき、後ろの値を返す）

①〜③の出力結果は（２）の時と同じですが、④だけ出力結果が変わっています。

'FizzBuzz'[(4 if i % 3 else 0):(4 if i % 5 else 8)] or i

とorを使うだけで、１行で数値を出力することが可能になったのです。

おわりに

楽しかった。以上です。
ここまで読んでみて、改めて冒頭のカッコイイFizzBuzz解答をのスクリプトを実行してみると、少し見え方が違うのではないでしょうか。

なかなか直感的に説明できないのがもどかしく感じたので、精進せねばと思いました。
今回見てきた文法は一つ一つは結構目にする書き方かと思うので、こういうのを使いこなして、自分もpythonでシンプルなスクリプトを書けるようになりたいものです。

FizzBuzz面白いですね。
また新しい概念を学んだら、あえてそれを生かしたFizzBuzzを作ってみる、と言うのも練習として面白そうだなあと思いました。

Djangoで開発を始める時にやっておくと良いこと

2020-05-20T21:15:03+09:00

はじめに

Djangoで開発を始める時にやっておいたほうが良いこと。
後々になると変更が難しくなるので、必ずではないのですが初期段階のうちに設定しておいた方が良いことがあります。
「settings.pyが入っている設定ディレクトリ名の設定」 と 「拡張ユーザーモデル」 を作っておくことです。

他にも色々あるかもしれませんが、現段階での備忘録として。

この記事の対象者

Djangoのチュートリアル的な教材を一通り終えたぐらいで、これからアプリ制作を始めようという人
ディレクトリ構造やプロジェクト、アプリケーションについて基礎知識を整理しておきたい人
ユーザーモデルをちょろっとカスタマイズしたいという人

（１）プロジェクト制作時に設定ディレクトリの名前を変更しておく

これは、プロジェクトのディレクトリ構造をわかりやすくするための措置です。
普通に$ django-admin startproject myprojectなとしてプロジェクト制作を始めると、ベースディレクトリ名と設定ディレクトリ名が同じ名前（ここではmyproject）で作られるため区別がつきづらい、という弊害が起こってしまいます。

どういうことかというと、このコマンドでプロジェクト制作を始めると、こんなディレクトリ構造になります。

myproject   <- ベースディレクトリ
|-- manage.py
`-- myproject  <- 設定ディレクトリ
    |-- __init__.py
    |-- settings.py
    |-- urls.py
    |-- manage.py
    `-- wsgi.py

プロジェクト名（ここではmyproject）と同じ名前のベースディレクトリがあり、その中に同名の設定ディレクトリができています。

（ちなみに[現場で使える Django の教科書《基礎編》]の書籍の中では、区別がつきやすいよう
- ベースディレクトリ＝django-admin startproject で作られるプロジェクトのディレクトリ
- 設定ディレクトリ＝settings.pyのあるディレクトリ
と呼んでいるので、その呼び方に準じることにします）

これだとわかりづらいので、設定ディレクトリの方の名前を変えてやる方法があります。

プロジェクト作成時に、ベースディレクトリを任意の名前（プロジェクト名）で作成した後にベースディレクトリの下へ移動し、第一引数に設定ディレクトリ名（ここではconfig）、第二引数に.を指定してstartprojectを実行します。

$ mkdir myproject（ここにプロジェクト名を入れます）
$ cd myproject/
$ django-admin startproject config .

これを実行することで、ディレクトリ構造は

myproject   <- ベースディレクトリ
|-- manage.py
`-- config  <- 設定ディレクトリ　*この名前が変わる
    |-- __init__.py
    |-- settings.py
    |-- urls.py
    |-- manage.py
    `-- wsgi.py

このようになり、わかりやすい構成になるわけです。

（２）ユーザーモデルを拡張しておく

DjangoにはデフォルトでUserモデルが用意されており、簡単にログイン機能などが実装できるようになっています。
それだけでとても便利なのですが、よりUserモデルを使いやすくするために、カスタマイズしたユーザーモデルを作っておくことが公式でも推奨されているようです。

Userモデルを拡張する主な方法は３種類あって、
- 1.AbstractBaseUserを継承する
- 2.AbstractUserを継承する
- 3. 別モデルを作ってOneToOneFieldで関連させる

それぞれのやり方で長所短所があるのですが、
開発が進んでデータベースに既にデータがある場合は３のやり方が良さそうです。
アプリ制作を始める最初の段階なら１か２推奨ですが、１は入門〜初心者には難しそうなので、初めは２のやり方で慣れるのが無難かなというところです。

２の方法では、ユーザーモデルに独自のカラムを追加することができます。

カスタムユーザーモデルの作り方は簡単これだけ。

models.pyに記述
settings.pyにAUTH_USER_MODELを設定
マイグレート

①`app/models.py`に記述（`app`はアプリケーションディレクトリ名が入る）

ここにカスタムユーザーモデルを定義します。(AbstractUserというモデルにユーザーモデルのベースとなる情報が定義されているので、それを継承して使う形になります)

ここでテーブル名や、追加したいカラムを指定することができます。
例えば、custome_userというテーブルに外部キーを用いたCalendarというカラムを設定できます。

from django.contrib.auth.models import AbstractUser
from django.db import models

class CustomUser(AbstractUser):
    class Meta(AbstractUser.Meta):
        db_table = 'custom_user'
        swappable = 'AUTH_USER_MODEL'

    calendar = models.ForeignKey(Calendar, verbose_name='アクティブカレンダー', on_delete=models.PROTECT, blank=True, null=True)

これは僕の実際のコードの例なので、ユーザーモデルにCalendarというモデルを紐づけていますが、例えばユーザーモデルに性別や年齢、メールアドレス、パスワードなどを持たせたいときには、ここでカラム指定してあげると良いかと思います。
デフォルトのUserモデルにカラムを追加する形になるので、もともとあるカラムも残ります（Userモデルの詳細はMEMO参照）

②`config/settings.py`に`AUTH_USER_MODEL`を設定（`config`はプロジェクト作成時に作られる設定ディレクトリの名前）

ここに使用するカスタムユーザーモデルを定義します。「アプリ名.モデル名」のように記述します

AUTH_USER_MODEL = app.CustomUser

③マイグレート

モデルを変更したら定番のデータベースのマイグレート。

$ Python manage.py makemigrations
$ Python manage.py migrate

Django入門向けのいろいろ

バージョンについて

どのバージョンを指定するかですが、LTS (Long-Term Support）（＝長期間のセキュリティサポートがあるバージョンのこと）に該当するバージョンを採用すると間違いがなさそう。

2.2 => 2022年4月までサポート
1.11 => 2020年4月までサポート

ちなみに2019年12月にDjango3系が出ているのですが、LTSに当たる3.2は2021年の4月にリリース予定とのこと。

特に理由がなければ現時点で最新のLTSで始めておけば間違いがないのかな？という印象です。
（もしデプロイ先が決まっているなら、そのサーバーが対応しているかなどは調査の必要があるのかも）

プロジェクトとアプリケーションについて

Djangoには「プロジェクト」と「アプリケーション」という概念があるので、少し整理しておきます。

プロジェクト
WEBサービスの全体のプロジェクト
$ django-admin startproject myproject
（myprojectがプロジェクト名）のコマンドで作られる
　
　
アプリケーション
小さな機能のひとまとまり
python3 manage.py startapp myapp
（myappがアプリケーション名）のコマンドで作られる

プロジェクトが大きな箱で、アプリケーションはその箱の中に機能ごとに分けて作られるイメージです。

１つのWEBサービスを作る際に１つのプロジェクトを作り、小さなサービスならその中に１つのアプリケーションを作成して実装していきます。
プロジェクトの規模が大きくなってくると、１つのプロジェクトに複数のアプリケーションを作って運用することもできます。

アプリケーションは他のアプリケーションとなるべく依存しないように作るとよい
プロジェクトにアプリケーションを次々と追加する形で機能を追加していくのが基本スタイル

複数のアプリケーションを作る場合は、このように考慮するとメンテナンスがしやすそうですね。

おわりに

一通りチュートリアル的な教材を終えた後は

現場で使える Django の教科書《基礎編》

こちらの本がとてもわかりやすく勉強が捗ります！

基礎的なことが広く網羅されていて、知識の定着や理解のために良いです。つまみ食いしながら読んでもよし。
今回まとめたようなベストプラクティスな手法が多く掲載されていて、かなり重宝しております。

MEMO：デフォルトのUserモデルについて

参考までに、Django 2.1.7で確認したUserモデルのフィールドを記載。
デフォルトのUserモデルはAbstractUserモデルを継承している形になるので、AbstractUserモデルのカラム名が、カスタムユーザーモデルを作った際にも引き継がれます。

lib/django/contrib/auth/models.py

class AbstractUser(AbstractBaseUser, PermissionsMixin):
    """
    An abstract base class implementing a fully featured User model with
    admin-compliant permissions.

    Username and password are required. Other fields are optional.
    """
    username_validator = UnicodeUsernameValidator()

    username = models.CharField(
        _('username'),
        max_length=150,
        unique=True,
        help_text=_('Required. 150 characters or fewer. Letters, digits and @/./+/-/_ only.'),
        validators=[username_validator],
        error_messages={
            'unique': _("A user with that username already exists."),
        },
    )
    first_name = models.CharField(_('first name'), max_length=30, blank=True)
    last_name = models.CharField(_('last name'), max_length=150, blank=True)
    email = models.EmailField(_('email address'), blank=True)
    is_staff = models.BooleanField(
        _('staff status'),
        default=False,
        help_text=_('Designates whether the user can log into this admin site.'),
    )
    is_active = models.BooleanField(
        _('active'),
        default=True,
        help_text=_(
            'Designates whether this user should be treated as active. '
            'Unselect this instead of deleting accounts.'
        ),
    )
    date_joined = models.DateTimeField(_('date joined'), default=timezone.now)

    objects = UserManager()

    EMAIL_FIELD = 'email'
    USERNAME_FIELD = 'username'
    REQUIRED_FIELDS = ['email']

    class Meta:
        verbose_name = _('user')
        verbose_name_plural = _('users')
        abstract = True

    def clean(self):
        super().clean()
        self.email = self.__class__.objects.normalize_email(self.email)

    def get_full_name(self):
        """
        Return the first_name plus the last_name, with a space in between.
        """
        full_name = '%s %s' % (self.first_name, self.last_name)
        return full_name.strip()

    def get_short_name(self):
        """Return the short name for the user."""
        return self.first_name

    def email_user(self, subject, message, from_email=None, **kwargs):
        """Send an email to this user."""
        send_mail(subject, message, from_email, [self.email], **kwargs)


class User(AbstractUser):
    """
    Users within the Django authentication system are represented by this
    model.

    Username and password are required. Other fields are optional.
    """
    class Meta(AbstractUser.Meta):
        swappable = 'AUTH_USER_MODEL'

超速! Python基礎文法集（自分用チートシート）

2020-04-12T12:09:40+09:00

超速! Python基礎文法集

超簡潔に自分用チートシートにしておく。ところどころ感覚的に掴むために変な書き方してます。「関数・クラス」などは随時追記か別でまとめるかも。
「Pythonではじめるアルゴリズム入門」を教材にさせていただいてます。数学好きなら興味深い題材がたくさん。

（０）実行

コマンド

python --version でバージョン確認
python で対話モード開始
python filename.py でスクリプトファイルを実行

文字コードの指定に注意

Python３系であれば、文字コードは UTF-8 を使う。
Python２系であれば、ソースコードの冒頭に以下が必要
# -*- coding:utf-8 -*- または # coding:utf-8

（１）基本

コメントアウトは#
途中の改行は\（バックスラッシュ）
データ型を調べる　type(hoge)

変数 `valiable_name`

アルファベットと数字、アンダーバー（予約語不可,１文字目はアルファベット or アンダーバー )
コーディング規則 PEP-8 => 変数名は小文字・アンダーバーで連結

リストとタプル

データの型に制約はなく、異なる型の要素でも同じリスト・タプルに格納できる
要素指定の範囲を:で区切る方法

list = [0, 1, 2 ,3, 4]

list[1:3]     # 1番目〜3-1番目（1, 2）が取り出せる
list[2:]       # 2番目〜最後（2, 3, 4）が取り出せる
list[:3]       # 最初〜3-1番目（0, 1, 2）が取り出せる
list[:-3]     # 最初〜5-3番目（0, 1）が取り出せる。後ろから3つの要素を省いて取り出す感覚？

取り出せる要素数の計算方法 list[a:b]　=> b - a 個（ list[a:] => len(list) - a）

リスト `[list]`

後から変更できる list = [1, 2, 3] で定義 / list[0]で取り出す

タプル `(taple)`

変更不可 taple = (1, 2, 3)で定義 / taple[0]で取り出す
処理がリストよりも若干高速・間違ってデータを置き換える心配がなくなる
タプルの中身を変更しようとするとError
TypeError: 'Tuple' object does not support item assignment

文字列 'シングルクォート' "ダブルクォート"
- リストのように一部を取り出すこともできる　'hoge'[1] # => 'o'
- 文字列の連結もできるがデータ型に注意。テクニック
  'abc' + str(123) 　で数字 => 文字列へ変換して文字列表
  'abc%i' % 123 　で文字列の中に数字を埋め込んで文字列表示
データ型の違う文字列と数字の足し算をするとError
TypeError: unsupported operand type(s) for +: 'int' and 'str'

（２）条件分岐と繰り返し

条件の最後に:とブロック内インデント必須
比較演算子と論理演算子、演算子の優先順位に注意

条件分岐 `if`

条件を増やすときはelif

if (hoge >= 10) and (hoge < 20):
    'hogeは10以上20以下'
else:
    'hogeは10以下または20以上'

繰り返し `for`

指定した回数だけ繰り返すとき使用
基本：range(10) で10回繰り返し、range(4,7)で4,5,6と繰り返し

for i in range(10):
    print(i)

リストを指定するとその要素が順に取りされる
リストに格納した要素を位置と合わせて順に処理するときはenumerate()関数で

for i in [5, 3, 7]:
    print(i)    # => 5, 3, 7と順番に出力される

for i, e in enumerate([5, 3, 7])):
    print(i, ':', e)    # => '0 : 5'…と位置と要素のペアが順番に出力される

繰り返し`while`

事前に繰り返す回数がわからないとき条件式と合わせて使用

i = 0
while i < 4:
    print(i)
    i += 1

（３）リスト内包表記でリストを作成する

リストに要素を連続して追加したいとき（ forとブロックを使ってlist.append(i) で要素追加できるがそれより簡素）
リスト内包表記の方が処理が高速になることがある
ifを分の後ろに書けるのはPythonではリスト内のみ

（１）順番に for で取り出す：集合 {x | xは10未満のℕ)

data = [i for i in range(10)]      # 0〜9までの10個の要素が追加

（２）条件付き ifを組合せて取り出す：集合 {x | xは10未満のℕ, xが偶数のとき}

data = [i for i in range(10) if i% 2 == 0]      # 0〜9までの偶数のみ追加

（３）条件付き if 〜 elseを組合せて取り出す：集合 {x | xが偶数ならその数, それ以外のときは0, xは10未満のℕ}

data = [i if i % 2 == 0 else 0 for i in range(10)]      # 0〜9まで 偶数のときはその値を、奇数のときは0を追加

01.人間がAIに支配される未来が来る？

2020-04-03T19:27:48+09:00

※こちらは「ひとりぼっちPython」連載記事です。連載一覧はコチラ

はじめに

今回は「人工知能」「AI」について触れてみます。

（本記事は概念やイメージを掴むための入門向けのお話のため、Pythonのコードや技術的な内容はありませんのでご了承ください…！）
　
　
人工知能とかAI、この数年くらいで急によく聞くようになったワードかなと思います。どんどん新製品や新サービスが出てきたりニュースにも登場したりしていて、進歩が激しい分野なんだなっていうのがわかります。

僕も普段家でAmazonでのネットショッピングやGoogleスマートスピーカーを使うことが多いのですが、これらもAIが活用されているのですよね。
知らず知らずのうちにAIの便利な機能を使っていたり、AIによってオススメ商品を買わされていたりします（クレカの請求が怖い）。

そんな感じで身近なところでも使われていて、とにかく頻繁に人工知能やAIという言葉は聞くけれど、じゃあ

「AIってズバリ、何？」

という単純で素朴な質問に対して、明快に答えられないな…と思ったのです。

「うーん、なんか良くわからないけど、色々できてしまうスゴイやつ…？」

僕の語彙力の引き出しを全力で引っ張ってみても、そんな程度の回答で悲しくなりました…。

皆さんはどう答えますかね？

いろんな観点がありそうですが、自分なりの解答を得たいと思い、人工知能・AIの入り口を紐解いてみます。

AIと聞いて抱くイメージ

「AIって何？」っていう直接的な疑問は一旦置いておいて、まずはAIと聞いてどんなイメージを思い浮かべるでしょうか？

便利ロボット？学習して成長していくやつ？
人間より上位の存在？下位の存在？
ポジティブな印象？ネガティブな印象？

なんとなく僕は、人類が支配されてしまいそうな怖いイメージを持っています。AIが人類を支配するというよりは、AIを活用して色々やっている上位の人達が大規模にデータを集めていて、僕たち下々の人間は知らないうちに彼らに支配されてゆく…そんなイメージです（ネガティブ思考全開）。

身近には便利になっている気がするけど、実はそれは甘い汁を吸わされているんじゃないか…と、考えすぎると疑心暗鬼の闇に沈んでしまうので、あまり考えないようにして生活しています。
　
　
「シンギュラリティ」 という言葉があります。

想像上の未来のお話で、 「AIなどの技術が、自ら人間より賢い知能を生み出すことが可能になる時点」 を指す言葉のようです。
人工知能が進歩しすぎて人間の能力を超えてしまう時、と考えるとわかりやすいかもしれないです。
そんな時代がいつしか来る、と言われています。

「自分で考えて仕事ができるAIロボットに僕らの仕事が奪われるんじゃないか」

とか、そんな言葉も聞きますよね。

その真偽は僕ら常人に想像がつかない範囲だと思います。
まだ見ぬ未来に不安を覚えるより、今存在している現実的なAIについて考えてみることで、僕らの生活を便利で豊かなものにしてくれるAIさんに寄り添ってみることにします。
そうすることで、仮にそんなファンタジーな世界が訪れた時でも対策ぐらいは立てられそうですよね。

想像上のAIと現実的なAI

どこかの偉い人が定義した「強いAI」と「弱いAI」という言葉があります。
「AI・人工知能」という大きなくくりの中には２種類があって、それらを分けている分類です。

まず 「強いAI」 とは「汎用人工知能」とも呼ばれて、 「自意識を持った人間同様の知能を持つ存在」 を指す言葉のようです。
つまり、人間のように自ら考えて、行動することができるAIのこと。よくターミネーターといった例えが登場します。ドラえもんもこの分類に入るのでしょうか。
こちらは今は想像上の存在で、本当にこのようなAIができるかどうかもよくわかりません。
上のシンギュラリティは、このような人間以上の知性を持った「強いAI」が登場した世界、と置き換えるとわかりやすいのかなと思います。

一方で 「弱いAI」 とはもっと現実的かつ実用的なもので、 「特定の機能に特化したAI」 のことを指します。
人間の機能の一部分のみにフォーカスして、その処理をすることに特化したもの、と考えて良いかなと思います。

そんな訳で、今はまだ全知全能な「強いAI」が存在しない（できるかもわからない）現状、僕らが普段関係しているのはこの「弱いAI」に分類されているもの、と考えて良さそうですね。

（強い・弱いという区別も素人目からしたら何か違和感があるなと思ってしまうのですが、この辺りは色々議論されている部分でもあるようですね）

どんなAIが今は実用化されているだろうか

そんなこんなで漠然としたイメージだけ抱いてネガティブ思考に堕ちていても仕方がないので、もうちょっと地に足をつけて考えてみます。
まずは具体的に、実用化されているAIとして思いつくものを挙げてみました。

将棋や囲碁のプロ棋士に勝てる人工知能
ペッパー君に代表されるAIロボット
AIによって無人でチャット対応ができる、企業のカスタマーサポート
スマートスピーカーに使われている音声アシストなど。声を認識してインターネットを介して調べ物やお店の予約、買い物など秘書的な活躍をしてくれる
Web広告やネットショッピングでオススメ商品を提供してくれる

他にもたくさんあると思うんですが、何か思い着くのはありますかね？
　
　
自動運転技術なんかも今は研究が進んでいますよね。
聞くところによると、海外のUber社は今はタクシーのシェアリングサービスですが、それによって人間様の行動のデータを集めて自動運転のための情報を集めている…だとか（正確な情報かは知りません）。

余談ですが、Uberは僕もアメリカに行った時に乗ってみました。すごく便利ですねあれ。
クレジットカードを登録しておくことで現金での支払いは不要。タクシーに乗りたい時にスマホアプリで予約すると、ほんの数分でお迎えが来てアプリに通知が入ります。
僕が経験したのは、本当は自分が乗るはずじゃないタクシーに載っちゃって途中で間違いに気づいた運転手さんにその場で放り出されたり、
町を案内してくれた友人がUber運転手をやっていて突然「ちょっと１時間稼いでくる」と出て行って数時間戻ってこなかったり、
おそらくUber社は、そんな人間らしさをデータとして集めて心温まるAIを作ろうとしているのでしょう…。

余談でした。

AIは何でも出来る訳じゃない？

先ほど挙げたものはどれも、その特定の分野では優れているのですが、実は万能なものではありません。
例えば将棋や囲碁が強い人工知能は人生ゲームやモノポリーでは勝てないし、例えば洋服屋のカスタマーサポートのチャットボットが急に自動車業界に部署異動させられてしまったら、お客さんがマフラーの交換の見積もりを尋ねた時になんか上司に怒られる事態が発生してしまいそうです。

このように、 現実的なAIとは「何か特定の機能・分野に特化したもの」 であり、 AIにも「出来ること」と「出来ないこと」がある 訳です。

人間で考えても、誰しも得意不得意ってありますよね。
それがAIだと極端になっていて、得意なものはとことん得意だけど、自分の習熟していない分野になるとからっきしダメになってしまうのです。

AIではその得意不得意が特にデータに依存してきます。
基本的に積み重ねられた文字や画像などのデータを学習することで識別したり分析したりしていて、それも学習のためには大量のデータが必要になってくるのです。
特定の分野に強いAIは、その分野について大量のデータをもとに学習しているのです（詳細は省きますが「強化学習」とか必ずしもそうじゃないようですが）。

Amazonや楽天市場は大量のお客さんがいて大量の購入履歴があるため、「◯◯代の✖︎✖︎県在住の男性。こういう商品をよく買っているので、こんなのをお勧めしたら買ってくれるかも」とピンポイントで商品を勧める（レコメンドする）ことができるのですが、

それを一個人が販売システムから作ったとしても、お客さんが少ないので学習するデータが少なく、その人が買わなさそうなトンチンカンな商品を勧めてしまったりするのです。

…それはそれで作ってみたい。
（絶対その人が興味なさそうな本とか音楽、動画を勧めてくるサービスが１つくらいあってもいい）

一例としてデータの必要性を挙げましたが、まだまだ今のAIの制約はたくさんありそうです。
この辺り、もうちょっと具体的に紐解いてみたいのですが今回はこの辺までとして、次回は「AIに出来ること・出来ないこと」あたりにフォーカスしてまとめてみたいなって思います。

今回はおしまい。

今回のまとめ

「AIって何？」という疑問に対しての明確な答えにまでは辿り着くことができませんでしたが、
ひとまずのところ「万能でなんでもできるもの」ではなくて「人間の機能の一部分を代替してくれるもの」と考えることができそうですね。

用語

人工知能（AI）
シンギュラリティ
「強いAI」と「弱いAI」

参考

絵でわかる人工知能明日使いたくなるキーワード68 (サイエンス・アイ新書) | 三宅陽一郎, 森川幸人, 森川幸人 |本 | 通販 | Amazon

人工知能解体新書ゼロからわかる人工知能のしくみと活用 (サイエンス・アイ新書) | 神崎洋治 |本 | 通販 | Amazon

序章「ひとりぼっちPython」

2020-03-27T21:45:06+09:00

雑記

巷で話題のPython。
言語別エンジニアの年収グラフでは１位を獲得しており（どっかで見た気がする）、近年話題の飛び交う「機械学習」「AI」「ブロックチェーン」にもよく活用されている言語ということで、とても人気なのが伺えます。
寝る前のお供に時々「日経ソフトウェア」という雑誌を購入しているのですが、ここ最近の表紙を見るとほとんどPythonという文字で埋め尽くされています。

ただ、その人気の裏側というか、実際にどうなのかというのがわからないのが正直なところです。安易に個人で初心者が手を出して痛い目を見るんじゃないのかなあとか。正直ちょっとPythonって敷居が高い印象があります（言語的には比較的取り組みやすそう？）。

で、まあ好奇心に負けて（？）Pythonに少し取り組んでみた訳です。いろんな言語に取り組むのはベストプラクティスでないと怒られそうですが、都合の悪いことは聞かないこととします!!!!!

実際に「機械学習」の基礎の基礎みたいな部分をUdemyで学習してみました。回帰分析を学んでみたのですが、やっぱり面白いのですね。
もともと数学的な分野は好きな部類なので、もうちょっと勉強してみたいなって思いました。

そんなこんなで 「ノンプログラマ」で本業の傍ら趣味と実益を兼ねて学習をしながら「ひとり開発」に取り組んでいる人間 が、Pythonについて取り組んでみたことや興味のあるトピックについて 知識を広げてみたいと思っているのがこの連載です。

この連載で取り上げたいこと

（１）Pythonでどんなツールが作れるの？どんな身近な課題が解決できるの？
（２）Pythonといえばよく聞く、機械学習・AI・IoT・ブロックチェーンなどの現代の気になるワードについて
（３）個人レベルでどうこれらに取り組める？

これらについて調べたこと、考えたこと、実際に取り組んでみたことを取り上げてトピックにしてみたいなーって。

この連載の目標

pythonに限らずプログラミング自体そうなんですが

「なんとなくできるとカッコいい！」
「とにかくPCに触れているのが好き！」

というだけで学習を続けるのも限界があります。

２０代で若ければそれで技術をつけて就職！転職！というストーリーは全然ありで良いのかもしれないのですが、３０代に入ってある程度人生が固まってきている自分自身の現状、漫然とやっても限界があるしなあ。と、そんな思いがどうしても出てきてしまいます。

好きでやる、だけじゃ続けられない。
やるからには何か意義のあることをしたいな、って思う訳です。

そうなると大事なのは「出口」かなって思っています。
「Pythonに取り組むことで何ができるんだろう？」
「どんな身近な課題が解決できるようになるのだろう？」

そういうのを模索する過程で、世の中のニュースやよく知らない技術についてもっと理解しつつ、実際に意義のあるものを作れるようになろう、と取り組んでみるのがこの連載の目標です。

読んでくれた方と一緒に勉強していくような、そんな感じを目指しています。

…と、何かちゃんとしたことを言ってしまったのですが
企画倒れになる気がするのでまあ気ままにやりましょう…。

GAS＆Dropboxを題材にWeb APIについて理解してみる

2020-03-10T13:41:20+09:00

はじめに

「APIってなんぞや」

そんな疑問をWebアプリ学習に取り組み始めてからずっと抱えていました。
ちょっと調べてみれば教科書的にはいっぱい出てくるのですが、仕組みや具体的にどんなものなのかが全く良くわからない。なんとなく使えるようになると便利そうだなーというくらい。

GASを使っていくつか実際に使ってみてイメージを掴むことができたので、今回はAPIについてどんなものなのか整理してみます。
具体的に「Dropbox API」を例に、言語はGASを使用して「Gmailに送られてきた添付ファイルをDropboxに保存する」という機能を作ってみるという想定の中で「APIとはどんなものか」「APIではどんなことができるのか」「APIを使う時の流れ」についてまとめてみました。

ちなみにこの記事には実際のコードや実装方法はなく、解説のみなのでご了承ください。あくまでAPIのイメージを目的としています。
また、わかりやすく書くことに努めましたが、不正確な点などあるかと思うのでその点もご了承ください。

Dropboxを使ったことない方はすみません、便利なアプリなので是非試してみてください！

対象者

APIの具体的なイメージを掴みたい人
APIを活用するとどんなことができるようになるのか知りたい人

そもそもAPIとは

そもそもAPIとは、一言でいうと「あるソフトウェアが外部からの機能を使えるように共有しているもの」。Application Programming Interfaceの略、なのですが、まあわからない状態だと正直何が何だかです。

今回の例では、Dropboxさんが開発者向けに「この機能を自由に使っていいよー」と公開している機能があり、その機能を外部である僕たち開発者が使わせてもらう形になってます。
その外部に公開している窓口となるのがAPIです。
このAPIにアクセスすることにより、例えば自分のDropboxにファイルを新しくアップロードしたり、入っているファイルを更新したりということがプログラミングで実装することができます。

Dropbox以外にもたくさんのアプリがAPIを公開しています。よく見かけるのが、ログインする際のSNS認証（facebook、twitter、lineアカウントなどでログインできるやつ）やBOTなど（twitterでの自動ツイートやLINEで自動返信されるやつ）。
これらはそれぞれのアプリが提供しているAPIを活用することにより実装されています。

APIを活用するとどんなことができるの？

前項で例を書いたように、自分のアプリと外部の色々なアプリを連携させて、より実装の幅を広げることができます。

さらにレベルアップしていくと、自分のアプリの機能の一部をAPIとして外部に共有することもできて、別の開発にも流用できたり他の開発者に使ってもらえたりとできるようです。作ったものを共有することで技術の発展にも繋がるので、このレベルまで行けるととても夢が広がりますね。

APIを使用する際の流れ

APIを使用する際の全体の流れを整理してみました。

（１）ベースとなるアプリのスクリプトを書く：
今回の例の場合、まずはGASで「Gmailの添付ファイルを取得する」という機能を実装するコードを書いておきます。この段階では外部と連携するためのAPIは使わず、GASの機能だけで実装できます（GASではGmailを簡単に扱えちゃいます）

（２）Dropbox側で、APIを使うためのアプリを制作しておく：
次に「ファイルをDropboxに保存する」という機能を実装するための準備として、Dropboxの開発者向けのページからAPIを使うためのアプリを制作しておく必要があります。
そもそもAPIとは外部から一部分の機能を使えるというものでしたね。ここでAPI用のアプリを制作しておくことで、自分専用のアクセストークン（一般にランダムな英数字がズラーっと並んだもの）というものが与えられます。

（３）スクリプトでDropbox APIに機能を使わせてもらうための命令を書く：
「ファイルをDropboxに保存する」というプログラムを書きます。この際に先ほどのアクセストークンを使用してDropbox APIのアプリに「機能を使わせてくださいねー」という命令を送るコードを書くことで、その機能を使うことができるようになります。
今回の例では取得してきた添付のファイルを「Dropboxの指定のフォルダにアップロードする」という機能を、APIを使って実装することになります。
このように外部アプリにAPIを使ってアクセスすることを、専門用語で「APIを叩く」と呼びます。

この全体の流れはDropboxだけでなくどのAPIを活用する場合でも基本的には同じです（多分）。もちろん具体的なコードの書き方やアプリの制作方法に関して変わりますが、やってるとととしてはこういう流れです。

色々な用語集（Coming soon..）

APIを「叩く」
エンドポイント
ヘッダー情報
アクセストークン
webhook

おわりに

今回はWeb APIのイメージを掴むために書いてみました。
自分で読み返しても、まだまだふわっとしていて理解が浅いなーと感じますね…。
徐々にこの記事に書き足してもっと理解を深めてみたいと思います。

新しい概念を理解するためには、実際にコードを書いて使ってみて、できることを体感してみるのがまず第一歩ですね。
余裕があれば次回、GASのコードで実際のDropbox APIを使った実装の仕方をまとめます

GASで「農作業記録アシスタント」LINE bot作った（技術・設計編）

2020-02-29T14:25:03+09:00

はじめに

制作したLINE botの紹介を前回の記事で書きました。
GASで「農作業記録アシスタント」LINE bot作った（紹介編） - Crieit

今回はそのために活用した技術や設計に関することをまとめてみます。
具体的なコードの中身やLINE botの制作手順などについては割愛させてもらって、考えてきたことやどんな風に実装したか、また残っている技術的な課題や個人的反省について整理してみました。紹介編と合わせてご覧いただけたらと思います。

使用技術等

言語はGoogle Apps Script（Rhinoランタイム：Javascript1.6がベース）
LINE messaging API
サーバーレス

制作期間

約１ヶ月くらい（要件定義から制作まで）
GASの基礎学習を少しずつUdemyで学習（２週間くらい？）

（１）設計に関して

技術の解説に入る前に、アプリ制作のために構想したことを。
カッコつけて設計とは言ってみたものの、不十分だったり設計とは呼ばない内容かもしれませんがご容赦ください。またこんなにはっきり文章化して作り始めてはいません。

①簡易ペルソナ

農作業の現場作業をしていて記録を簡単に取りたい人。仕事終わりにじっくりと記録をとるのがなかなかめんどくさい人。細かい情報を記入する必要はなく、休憩時間などにちょちょっと記録してちょちょっと見返したり、圃場に出かけた際に簡単に過去の記録を見返したりしたい、というニーズのある自分自身や身近な農業者。

②競合アプリの比較・考察

既存のWEBアプリやスマホアプリは色々あり、農場の認証取得向けのしっかりした大規模なもの、資材管理なども同時にできるもの、農薬の散布制限なども自動で計算してくれるものなど。また個人向けのものや簡単入力ができるものもあるが、ただどうしても入力のところで課題を感じる。

どんなにシンプルなものでも入力のステップが多い
- 毎日・複数回行う入力作業だが、そのステップがどうしても多くなってしまう。最短でもスマホを手に取ってから、①アプリを開いて　②入力ボタンを押して　③フォームに入力して　④投稿を押す
- ものによってはフォーム入力で空欄があると投稿が出来ないものもあったり、画面遷移があるものも。
- プルダウンによる入力も選択肢が多いとかえって不便なことも

入力を習慣づけるのが難しい

初期設定が多く導入のハードルが高いものも
- 初期設定で圃場や所有機械の情報を入力したり使用する資材を入力しておくと便利！というものも多いが、まずそれを設定しないと入力ができないなど導入のハードルが高い。

このようなアプリはしっかり管理したい人にはメリットは多い。ただサクッとメモしたい程度の使い方をするにはストレスを感じる。

一方で既存アプリで参考にしたい点も
- 出力面で、カレンダー表示やカテゴリ毎の表示は必須
- 作業記録のテンプレートをユーザーが用意できて使いまわせるものもあり、それはすごく良い

③このアプリの特徴

入力の手間をとにかく排除
- ①LINEを開いて　②トークルームを開いて　③タップしたら指示に従って選択・入力、の３ステップ。あとは自動で投稿される。
- サクッとメモしたものがそのまま記録される、くらいの手軽さ。twitter投稿くらいの感覚。

日常で使用するツールを使用することで習慣づけがしやすい
- LINEは毎日コミュニケーションツールとして開くし、Googleカレンダーも普段の予定管理に活用しているのでこれらを活用。

シンプルさを保つためにデメリットも
- 画像の登録はできない
- 入力と出力以外の機能が無い（在庫管理などができない）

（２）技術に関して

①GAS(Google Apps Script)とは

GASとはGoogleが提供するサーバーサイドのスクリプト言語です。Javascriptをベースにしており、Javascriptに既に触れている方や学ぶ予定がある人には習得しやすいかなって思います。（「プログラミング言語」という認識でいるのですが、合ってるのでしょうかね？もし違っていたらご指摘お願いします）
古いJavascriptのバージョンにしか対応していなかったのが難点ですが、つい先日、2020/2/6にはV8ランタイムというものをサポートしたことでECMAScriptに対応し、より現在のJavascriptとの互換性が増したようです。（参考リンク１）

Google Apps（Googleドキュメント、スプレッドシート、カレンダー、Gmailなど）と簡単に連携することができるので、これらを活用したちょっとしたツールが作りやすいです。Webアプリも作れます。また開発環境のインストールもいらず、Web上でコードを書いて操作するだけで簡単に公開して実行することもできます。

制限はありそうですが「ある程度ならなんでも簡単にできる」という印象で、仕事や趣味・生活などで「自分やチームで使うツールをちょっと作る」というのには最適かなって思います。

②LINE Messaging APIとは

今では「LINE公式アカウント」でクーポン情報などを流すお店や企業が増えてますが、アレを作ることができるAPI（Application Programming Interface）です。様々な言語で活用できて、LINEを介して双方向のコミュニケーションをとることができるものを作ることができます。
LINE botとして有名どころでLINEで女子高生AIと会話ができる「りんな」とか。面白いですね。

（３）実装内容

今回のLINE botで実装した内容からいくつか簡単に紹介します。

①[GAS] LINEからの入力に対応

バックエンドの処理はGASで記述し、実際にユーザーが使う部分は基本的にLINEになります。この点でまず僕自身でUIを考えてコーディングする必要がなく、機能を制作することに集中することができました。

LINEでユーザーがフォローしたりメッセージを送ったりと何か反応があったら、まずdoPost関数が実行されます。そこからLINEアクションの種類（followだったりmessageだったりpostbackだったり）によって処理を分岐します。

GASでGoogleサービス以外の外部のWeb APIを使うためには、UrlFetchサービスのfetchというメソッドを活用します。これによりHTTPリクエストを送信してWeb APIを叩くことができます。

またLINEでの日報入力の際にユーザーが段階的に入力できるようにするために、GASのキャッシュサービスを活用しています。１つ処理を行ったらCacheオブジェクトに一時的にデータを保存しておくことで、ユーザーからのアクションをフラグで管理して分岐するようにしています。

②[GAS] 日報をGoogleカレンダー・スプレッドシートへ書き込み

GASではGoogleの各サービスにアクセスするためのクラスが用意されています。
- GmailAppクラス：Gmailを操作操作する
- DocumentApp：Googleドキュメントを操作する
- Spreadsheetクラス：Googleスプレッドシートを操作する
- CalendarAppクラス：Googleカレンダーを操作する

これらは先程の外部APIとは違ってGASから使える内部サービスのため、何の準備なしに使うことができます。
これらを利用して日報を専用のカレンダーとスプレッドシートに書き込む処理を作りました。

注意点としては、自分のGoogleアカウントに紐づいているGoogleカレンダーとしか連携できないことです。つまり、僕のアカウントでスクリプトを作成して、そのスクリプト上で他のユーザーが制作したカレンダーに書き込むことができないのです（スプレッドシートなら可能な様子）。

③[GAS] カテゴリをユーザーがカスタマイズ：Webアプリの作成（HTML Service）

毎回の入力の手間を省くために「作業カテゴリ」というものを用意しています。
LINEから日報を入力する際にが選択肢（LINEのクイックリプライ機能）として選べるようにしたのですが、この内容をユーザーが自由に編集できるようにしました。

データの保管場所としてスプレッドシートでセルを用意しており、そのデータを取得することで作業カテゴリを配列で取り出せるようにしています。

またユーザーがカテゴリを編集しやすくするために、その部分だけWebアプリとして制作してみました。要件定義の段階では特に作る気はなく、スプレッドシートから直接編集できるからいいやと思っていたのですが、スプレッドシートに慣れていないユーザーだと編集しずらいだろうなと考えたためです（初期設定のハードル）
これにはGASのHtmlServiceを活用して、最低限のHTMLの知識があれば簡単に制作することができます。

Webページには編集フォームとスプレッドシートに設定されている作業カテゴリが表示されているだけのシンプルなものです。
WebページにアクセスするとまずdoGet関数が実行されます。またフォームで作業カテゴリを編集して送信した場合はdoPost関数が実行されます。doPost関数ではLINEからのアクションなのかWebからのカテゴリ変更処理なのかをイベントオブジェクトeの中身から判断して、Webからの場合なら送られてきた内容をスプレッドシートの作業カテゴリのセルに上書きする、というような処理を行っています。

④[LINE] リッチメニューの作成

LINE messaging APIで一番理解が難しかったのが、LINE messaging APIを活用したリッチメニューの制作方法でした。

リッチメニュー制作にはLINE公式アカウントからの設定方法とmessaging APIを活用する方法の二種類があります。
リッチメニューを使う | LINE Developers

LINE公式アカウントからの制作はとても簡単で、画像を用意さえしておけばブラウザ上で操作するだけで簡単にリッチメニューを作成してLINE botで活用できます。プログラムを書かなくとも誰でも直感的に作ることができるのですが、メニューボタンの配置を細かく決めることができなかったりアクションの種類が限られていたりと、できることに制限があります。

それでもちょっとしたものなら十分なのですが、LINE messaging APIを使うことでもうちょっと手の込んだ、例えばゲームコントローラーのようなボタン配置などをプログラムに落とし込んで作ることができます。

最初に公式アカウントで制作したところ一瞬でできて感動したのですが、魔が差してmessaging APIを活用する方法で実装し直すことにしました（コードで完結できればメンテナンス性も高い？という考えも）。ところがhttpリクエストやRESTの理解が浅かったため自力で実装するのが困難でした。
この実装にはこちらのHASEKATSU様のnote（参考リンク２）を参考にさせていただきました。
一応実装はできましたが、どう言う仕組みで実装できているのかまだちゃんと自分の言葉で説明できないので課題です。

（４）技術的な課題

紹介編にも書いたのですが、データベースの一意性がありません。これはほぼ自分用とはいえかなりの欠陥。
一度入力した日報をスプレッドシートやカレンダーから修正できるのですが、それがもう一方に反映される仕組みが作れていないのです。誤って日報登録してしまうことも多々あるので、一度登録したものを安心して編集・削除できる仕組みが必要なところ。

この部分を解決するためにまず一番最初に考えたのが、Webアプリとしてスプレッドシートの内容を取り出して編集できるようにするというやり方。ところがこれ以上Webアプリ部分に力を割くのは、手間がかかる割にはどうにもGASで制作する意味が薄いように感じます(PHPやRubyでデータベースを用意して作る方が発展性がありそう)。

手軽さとGoogleのサービスとの連携が簡単というGASの良さを引き出すなら、スプレッドシート上で編集するのが良さそうです。と思って調べてみると、値の変更があった際に発動するトリガーがGASで設定できるとのこと。スプレッドシート上の日報履歴が編集・削除されたら、対応したGoogle Calendarのイベントを書き換える…ということが理論上できそうです（Calendarのイベント固有のIDでデータベースを管理する）。

一方でGoogleカレンダーの方で修正したいこともあるのですが、こちらがなんだか一手間二手間かかりそうです。これもGASのトリガー機能を使うことで、カレンダーの編集があったらスプレッドシートにもデータが反映されるようにすれば可能かなと思えたのですが、それにはGASのCalendarAppサービスだけでは出来ない様子。calendar APIという外部APIを使えうことで、なんとかできなくもなさそうな感じです。

というわけで、技術的な課題は現状あるもののクリアできそうです。

おわりに

今回の制作では、初めて念願のAPIというものを活用することができました。
RailsでWEBアプリ開発を学んでいた時には、エラーの対処やフロントエンド作り、環境構築などでいっぱいいっぱいでしたが、デバッグの感覚を学び、今回は比較的とっつきやすい技術を選んで目標を最小限にしたことで、余裕を持って制作できたと思います。

反省としては、GASやLINE botの仕様を把握出来ていなくて、ユーザーに活用してもらうにあたり移行作業に手間がかかったことです。
自分以外のアカウントのGoogleカレンダーへの書き込みが出来ないことに完成間際で気づいて、どうやって他ユーザーに使ってもらうかを考え直すことになりました。結局身近で興味を持ってくれた仲間限定ということで、僕が新規作成したカレンダーを共有して使用してもらう方法をとることに。
また、人数分のLINE botを用意しなければならずそれに対応した使い回しのきくスクリプトに書き換える作業が発生してしまいました。
完成したぜ！という段階からだいぶうだうだやってたのがもったいない。

今後の方針としては、もうちょっとGASでこのアプリの改善と日常で必要なアプリを作りつつ他のAPIの活用のやり方も学んでみたいなーと思っています。

MEMO

僕の過去記事でGASとLINE messaging API学習に役立った教材・ブログをまとめてあります。
もしこれから取り組む方がいましたら参考にしていただけたら嬉しいです！
GAS & LINE messaging APIの学習便利帳 - Crieit

参考にしたサイト

参考リンク１
祝！Google Apps Scriptが「V8ランタイム」をサポート！モダンなECMAScript構文が使えるようになった
参考リンク２
Postmanでリッチメニューを設定する方法【LINE Messaging API×GAS】｜HASEKATSU｜note

またこちら、本文には特記してないのですが、使用言語としてGASを検討する際の参考に。
GASを使うべきか否かの判断材料 - Qiita

GAS & LINE messaging APIの学習便利帳

2020-02-27T23:28:56+09:00

はじめに

ノンプログラマの僕がGAS（Google Apps Script）とLINE messaging APIを活用したツールを制作するにあたり、全くよくわからない状態から何となくそれらしいものが作れるようになるまでに学習した、主な教材とブログをまとめておきます。
これからGASを習得したい！ LINE botを制作したい！という方の情報収集の参考にしてもらえたら嬉しいです。

（１）GASの習得のために

Udemy教材

●ビジネスパーソンに贈る業務効率化大全〜Google Apps Scriptによる業務の自動化〜 | Udemy

もはやGAS入門の決定版と言いたい。実際に業務効率化にすぐに活用できるスクリプトを書きながら、GASの基本から段階を追って体系的に習得できます。
とても解説がわかりやすいし、一通りの必要な操作（Googleカレンダー、Googleフォーム、Googleメール、LINEやSlackへの通知、スプレッドシート・ドキュメントの扱いなど）を実戦形式で学べます。
最後は駆け足ながらGASでのWebスクレイピングの講座もあるので、これを足がかりにもっと深く学びたくなりました。

ブログ

●いつも隣にITのお仕事 | 毎日の業務が楽チンに！

書籍「詳解！GoogleAppsScript完全入門」の著者さま。こちらも基本から解説してくれていて文章がとてもわかりやすく、コードだけでなくプログラミング共通の基本の考え方に通じる学びがあります。
作業をしていると「GAS + やりたいこと」「Javascript + やりたいこと」で検索して解決することが多いのですが、その際によくヒットしてきます。
GASのPropaty Serciceで秘匿情報を隠すという考え方と実際のやり方はこちらで学びました。この初心者向けGASのシリーズで体系的にGASを学ぶことができるのも面白そうです。
ちなみに僕は次にこちらに連載されている「Gmailの添付ファイルをGoogleドライブに自動保存する」というツールの作成に挑戦してみようと思っています。

→ 【初心者向けGAS】プロパティストアの概要とスクリプトプロパティの編集方法
→ Google Apps ScriptでGmailの添付ファイルをGoogleドライブに保存する

（２）GASでLINE messaging APIを操作するために

Udemy教材

●はじめてのLINEBOTの作り方　秘書ボットを作ろう | Udemy

こちらはGASでLINE botを制作するプロセスを学べる講座。
コードの解説ももちろんありますが、それよりも初めてLINE botを作る際にサンプルコードを活用して「動くものを作って流れを体感する」という部分でとても勉強になりました。
基本の「おうむ返しボット」（ユーザーがLINEで投稿したメッセージをそのまま返答する）からスタートして、Googleカレンダーと連携して予定を追加したり毎日決まった時間に予定をLINEに通知してくれる「秘書ボット」を作成するという講座。作成したボットはそのまま自分でも活用しています。

僕はLINE bot制作にあたってこの講座を一番最初に学んだのですが、それによりLINE messaging APIの動きを体感することができました。
細かいコード部分はこの講座だけだと理解が難しいのですが、作りたいものを作っていく過程で改めてこのサンプルコード読み解いていくという作業を行いました。
GASのCache Serviceというものを利用してLINE botの処理を分岐する方法はこの講座で知ることができました。

ブログ

●30歳からの「くら」のブログ

LINE messaging APIをGASのコードに落とし込むための書き方をだいぶ参考にしました。
特に「日時選択アクション」「クイックリプライ」「テンプレートメッセージ」などを使うためのシンプルなコードが紹介されているので、公式ドキュメントだけだとどうGASで書いたら良いかわからなかったものも実際にコードに落とし込むことができます。

●HASEKATSU｜note

GAS + LINE botに特化して数年にわたり独学を続けてきた血と涙と汗の結晶を感じます！
これまでに学んできた大量のコードを公開＆販売しつつ、noteの記事では惜しみなく実際のコードと積み上げてきた情報を出して解説しています。フレームワーク的なものも自作していてやばい。これからも楽しみです。

今回何よりも僕が助かったのが、リッチメニューをLINE公式アカウントからではなくLINE messaging APIを使ってGASのスクリプトで実装するやり方です。これは他にほとんど情報がなく、大いに頼ることになりました。
またCoconaraでのサービス提供の実績もあり、実践的に色々試行錯誤している姿勢を僕も学んでトライしていきたいと思います。

→ Postmanでリッチメニューを設定する方法【LINE Messaging API×GAS】｜HASEKATSU｜note
→ GASでLINE Messaging APIのリッチメニューオブジェクトをGoogleスライドから作成する【実戦GoogleAppsScriptプログラミング講座～天空闘技場～】｜HASEKATSU｜note
→ GASでLINE Messaging APIのリッチメニュー画像を反映させる【実戦GoogleAppsScriptプログラミング講座～天空闘技場～】｜HASEKATSU｜note

おわりに

以上です。
入門（何も知らない段階）〜初級（基礎を理解する段階）〜中級（実際に制作する段階）に到るまで、これらの教材とブログ記事で学べばかなりいいところまで行けると思います。
自分がこれまで学ばせていただいた感謝の意も込めて。ありがとううう（そしてこれからもよろしくお願いします）

GASで「農作業記録アシスタント」LINE bot作った（紹介編）

2020-02-26T12:37:47+09:00

はじめに

エンジニアでもなんでもないただの畑作農家が、普段の農作業の記録を簡単に記録するためのLINE botを作りました。
今回はその紹介編です！

（2020/2/29追記）技術編もまとめました。
GASで「農作業記録アシスタント」LINE bot作った（技術編） - Crieit

農家にとって細かく作業の記録を残しておくことは大事で、作業ごとに把握しておくべき項目が多いのです。
例えば種蒔き。年に１回（ほんの数日間）しか行わない作業ですが、種子を落とす量・肥料の銘柄と量・それに合わせた機械のセッティングと走る速度など、細かな調整がその年の収量（＝収入）を左右します。

また複数の作物を管理していると、定期的に農薬を散布するなど天気を見ながら計画を立てることになるので、前回いつ・どんな薬を撒いたか、などを把握しておくことが大事になります。数年前の記録を引っ張り出してきたい時もあります。

メモしておかないと、だいたい１年経つと全て忘れます＼(^o^)／

ただ、メモするのがめんどくさいんですよね。
紙の日誌だと多く情報を残せますが、検索性に欠けるし。
必要な時に必要なものだけちゃちゃっと記入して、必要な時に必要なものだけちゃちゃっと取り出せる、そんなツールが欲しいなあと思っていました。

皆さんおそらく同じように悩まれていることで、農作業日誌アプリにはスマホアプリやWEBアプリが既に多々存在します。農家の経営を助けるために、いろんな方がいろんな想いを込めて作ってくれています。
ところが、僕にはどうも上手く使いこなせないのでした。実際に使ってみても中々しっくりくるものがなかったというのが正直なところで。

まあ、そんなんで、作りました。
自分が普段メモ書きなどでも使っているLINEと予定管理に使っているGoogle Calendarに着目して、入力の手間を極限まで省いた農作業記録アプリをLINE botで作成。

こんなアプリ

LINEを開いてメニューをタップしたら入力開始。メッセージに従って「日時」「作業カテゴリ」を選択した後にチャットで作業内容を入力。

入力した内容は指定のGoogleカレンダーとスプレッドシートに自動で登録されるので、それらのツールで登録した記録を見返すことができます。

（１）LINEを開いて簡単に今日の作業日報を入力

作業の日報入力を専用のアプリでやるのではなくLINEで入力するというのが肝。
コミュニケーションツールとしてLINEを開かない日は無い、という人が多いかと思います。LINEを立ち上げる度に嫌でもこのbotのアイコンが目に入るため、思い出した時にちゃちゃっと入力をしてやればいいのです。

↓メニューの左「日報を入力」をタップすると、日報登録のボタンが出てくる

↓日時を選択して登録できるので昨日の記入忘れも安心

↓作業カテゴリは選択肢を選ぶだけ

↓作業内容を入れる時だけテキスト入力が必要

↓登録できました！

また、LINEを使うと過去にあげた日報の履歴がLINE上からも参照できるというのは何気に便利。コピペしてきて文面を使い回して使用しても◎

ただ、LINEからの一度登録した予定の編集・削除は現状備わっておりません。手動でカレンダーとスプレッドシートで編集する必要があります。

（２）Googleカレンダーに記録して見返す

こちらも日常使いのツールをそのまま使用。
予定管理を全てGoogleカレンダーで行なっているので、スマホのウィジェットとして登録しておくことで、作業履歴もそこに表示してくれることになります。
他のカレンダーアプリにGoogleカレンダーを連携して使うこともできそうですよね。僕の周りでは「Time Tree」を予定管理に使っている人が多いのですが、どうやら連携が可能そうです（僕自身使ってないので正確にはわからず）。

（３）スプレッドシートでも記録を管理

これはおまけというか、主にパソコン上で過去の履歴を一覧にして参照したい時があるので、そのために作りました。ここは比較的アナログ感が強いのですが、参照したい時はスプレッドシート上で操作をします。フィルタで特定の作業カテゴリのみを一覧表示にしたり、全体を検索をかけたり。ここをWEBアプリでもうちょっとしっかりすると良い感じがします。

（４）作業カテゴリをユーザーがカスタマイズ

日報入力時に作業カテゴリを選択肢として出るようにしているのですが、これはユーザーによって色々変わってくると思います。専用のWEBアドレスにアクセスすると、そこからユーザー自身でカテゴリの編集を行えるようにしています（ここはWEBアプリ）

現状の課題とこれからの展望

あくまで自分が欲しいものを作ったのですが、その延長で「人に使ってもらいフィードバックをもらう」ところまでは今回ずっと考えて作ってきました。身近な同業者に使ってもらえることになったので、反応が楽しみです。

ひとつ大きな課題としては、データの編集・削除に問題があります。
カレンダーとスプレッドシート両方を編集する必要があるので、単に不便なだけでなくデータの一意性が保てていません。ここはもうちょっと考える必要あり。

自分専用で使うなら最低限の機能を持ったアプリが完成した感じなので、これで満足といえば満足です。
仮に発展が望めるなら、別言語でサーバーを準備して本格的にWEBアプリ化？スマホアプリ化？

もうすぐ春から本格的に始まる農作業で実際に活用しつつ、使ってもらえる方の反応を聞きながら、今後の展開を考えていきたいと思います。

おわりに：農作業記録アシスタントLINE botを使ってみたいという方へ

残念ながら一般公開はできません。ただ、もし「使ってみたい！！！」というアツいお方がもしいらっしゃいましたら、是非ぜひお声がけいただけたら嬉しいです。システム的には農業に限らず業界関係なく使用できると思います。また、

Googleアカウントが必要（Gmailアドレス）
自分専用（複数人での使用は登録処理がおそらく無理。カレンダー共有は可）（とは言いつつも少人数のメンバーが固定してるグループならLINE botを人数分立てていけるのかも）
登録情報の秘密性には欠ける（僕の方で参照・編集することができてしまう）

この点だけご注意を願いします。テストユーザーとして色々遊んでもらって、使い勝手などご意見いただきたい気持ち。
LINE botを個別に作成する必要があるため多くの対応は難しいですが、まあそんなことはないと思うので、何か気軽にお話いただけたらとても喜びます。

MEMO

使用技術等はこんな感じ（別記事で詳しく書く予定です）
- 言語はGoogle Apps Script(GAS)
- LINE messaging API 使用

サーバーレス。
Googleカレンダーとスプレッドシートを連携。WEBアプリ部分はGASのHTML Serviceを活用して作成。

また、今回のLINE botのアイコンイラストは、こちらの「ねこぺんね」様の素材を使用させていただいてます。ありがとうございます！
顔つき野菜イラスト - No: 1624420／無料イラストなら「イラストAC」

【GAS】コードにAPIトークンやIDのベタ書きを避ける！（プロパティサービスの活用）

2020-02-11T00:26:28+09:00

はじめに

GASでの開発でGithubリポジトリと連携する方法について書きましたが、リポジトリにプッシュする前に、一般に公開しないほうが良い情報が入っていないか気をつける必要があります。例えば、

APIトークン
メールアドレス
なんかのパスワード
特定のIDやURL

これまでコードにLINE messanger APIのチャンネルアクセストークンや自身のメールアドレス、LINEのIDなどをベタ書きしており、Githubのリポジトリにアップする際にどうするのが正しいのか悩みました。リポジトリをprivateに設定すれば大丈夫かな？とかやってみたんですが、なんか落ち着かないしスマートじゃない気が。

調べてみると、どうやらGASでは「プロパティ」として公開したくない情報を管理できるやり方があるようです。
またメンターさんに教えていただいたところによると、一般的には秘匿情報を

プロパティファイルに記述する
環境変数に入れる

とするのが対策になってくるようです。どの言語でも関係なくこの考え方は理解しておく必要がありそうですね（個人の趣味レベルでもセキュリティ意識は大事だと思う）。

というわけで今回はGASのプロパティサービスを活用することで対応してみたので、それについてまとめてみました。

GASのプロパティサービスとは

イメージ

APIトークンやメールアドレスなど一般に公開したくない情報をコードに書く必要がある！
そんな時にコードにこれらの情報をベタ書きせず別の場所（プロパティストア）に入れておいて、コードではそこから情報を取り出す命令だけ書いておく（プロパティサービス）。
これによって隠したい情報を見れないようにして安全に管理できるよ！

用語
ざっくり解説

プロパティストア
IDなどの公開したくない情報を格納しておく場所のこと。情報に名前をつけて格納しておくことができる。権限がないと中身を見ることはできない。

プロパティサービス
プロパティストアに格納した情報をGASスクリプトから取り出したり編集したりすることができる仕組み。PropatiesServiceやPropertiesなどをコードに書くことで色々できる。

誤解を恐れずわかりやすさ重視でまとめるとこんなイメージです。
（詳細は参照リンク１がとてもわかりやすく大いに参考にさせていただきました）

ちなみにプロパティストアにも「スクリプトプロパティ」「ユーザープロパティ」「ドキュメントプロパティ」と３種類ありますが、詳しくはここでは割愛。初めのうちは「スクリプトプロパティ」だけを考えて大丈夫でしょう。

実装手順

具体的に実装してみます。とってもかんたん。

１．問題のコード

例えばこういうコード。

var ACCESS_TOKEN = "hogehoge1234......";
var calendar = CalendarApp.getCalendarById("hogehoge");

このAPIトークンの中身（hogehoge1234......の部分）はGithubに公開したりブログに書いちゃったりすると誰かに使われてしまう可能性がありそうです。
またカレンダーID（hogehoge）も個人情報なので出来れば隠したいですね。

２．プロパティを登録する

詳細は参照リンク１を参考に。

（１）GASのスクリプトエディタのメニューで、「ファイル」＞「プロジェクトのプロパティ」を開く
（２）「スクリプトのプロパティ」タブを選択
（３）「＋行を追加」をクリック
（４）左の欄に値を取り出す時に使う名前（キー）、右の欄にAPIトークンなどの値を入れて「保存」をクリック

この名前の付け方は何でも良いのですが、一目で何を意味しているのかわかる名前にするのが良いですね。
ここでは「アクセストークン」と「カレンダーID」をそれぞれ登録しておきましょう（参考画像はちょっと違うプロパティを登録してますがすんません）。

※（余談）変数に使用する記号やキャメルケースorスネークケースなどあるので、一貫した命名規則を簡単に学んでおくと名付けで迷うことが無くなるかと思います。
僕はJavascriptの命名規則の一つとしてざっくり「変数名はキャメルケース」「定数名はスネークケース」と学んだので、今回のプロパティは定数と考えてスネークケースで名付けてあります（詳しくは調べてみてね）。

３．登録したプロパティをコードに記述する方法

詳細は参照リンク２を参考に。

プロパティストアの登録が終わったら、問題のコードを書き換えてみます。

var ACCESS_TOKEN = PropertiesService.getScriptProperties().getProperty("ACCESS_TOKEN");
var calendar = PropertiesService.getScriptProperties().getProperty("CALENDAR_ID");

最初のコードと全く同じ内容になるのですが、うまく情報を隠して記述することができました！
ただこれだと少し冗長なので次のようにスッキリと書くこともできます。
（プロパティが２つだけだと余計長くなってる感じですが…。プロパティを複数使う場合はだいぶスッキリするはずです）

var prop = PropertiesService.getScriptProperties().getProperties();

var ACCESS_TOKEN = prop.ACCESS_TOKEN;
var calendar = CalendarApp.getCalendarById(prop.CALENDAR_ID);

解説・補足

最終的に書き換えたコードの解説をざっくりとしてみます。

var prop = PropertiesService.getScriptProperties().getProperties();

まずプロパティサービスを使うためには、PropertiesServiceというクラスを使用します。
次にgetScriptPropertiesというメソッドを使用して、プロパティストアに登録したスクリプトプロパティ達を取得します。そこからgetPropaties()というメソッドを使うことで、変数propにオブジェクトとしてプロパティ達をセットしています。
（このpropには登録したプロパティ（キーと値のセット）が全部入っている、というイメージですかね）

var ACCESS_TOKEN = prop.ACCESS_TOKEN;
var calendar = CalendarApp.getCalendarById(prop.CALENDAR_ID);

登録したAPIトークンやIDなどの値を実際に取り出すには、先ほど用意したprop変数を使ってprop.キー名という形で自由に取り出すことができます。やったね！

クラスやメソッドは色々あるので、詳しくは公式ドキュメントを参考に。
なかなか初学者の方にとっては慣れるまではドキュメントの見方が分からず難しいかと思うので、少し慣れた段階や詰まった時に見るようにするといいかもしれません。僕もまだ苦手です。
Properties Service | Apps Script | Google Developers

あとがきMEMO

どうしても独学ベースだと、セキュリティ面まで意識するのってなかなか難しいんじゃないでしょうか（自分だけ？）
今回のような「秘匿情報を別の場所に格納しておく」という視点は当たり前のことなのかもしれませんが、調べていて目からウロコでした。
今回具体的なGASのプロパティサービスの使い方を書きましたが、それだけに限らない大事な視点だなーと思ってまとめてみました。抽象的な概念と具体的な使い方をセットで覚えておくと理解が深まりますね。

参考にしたサイト

参照リンク１
【初心者向けGAS】プロパティストアの概要とスクリプトプロパティの編集方法
参照リンク２
【初心者向けGAS】スクリプトプロパティを操作してそのデータを取り出す方法
GAS公式ドキュメントのProperties Servise
Properties Service | Apps Script | Google Developers

テキストエディタとGitHubでコード管理できるGAS開発環境を作る

2020-02-04T12:25:53+09:00

はじめに

GASでの開発に取り組む中で、コードをテキストエディタで書き、Githubで進捗を管理したいなと思いました。

普通にGASで開発する場合は、ブラウザからGoogleDriveのスクリプトエディタを起動してその中でコードを記述します。
このブラウザ上で簡単に書けてすぐに実行できるという開発環境いらずなのがGASの良いところなのですが、
このコードをローカルのテキストファイルとして作り、Githubを使って管理できたら良いなあと思ったわけです。

僕の場合は
- 以前に書いたコードと見比べたい時に、テキストファイルだと参照しやすい
- Githubにコードを残してポートフォリオやメンターの方と共有したい
- 以前Githubのプルリクを使って開発する流れを教わったので活用したい（行き当たりばったりの開発にならないように）

そんなところから自分のやりやすいように開発環境を作ってしまえと考えてやってみた結果、
1. VSCodeでコードを作成・修正してGithubにpush
2. GASのscriptエディタでそれをpullして実行
3. 1に戻ってデバッグ

という流れで作業をすることができるようになり、
例えば学習教材から学んだサンプルコードと見比べて吟味したりコピペしたり学びながらコードを書くのがとても便利になりました。

正直この開発環境がベストプラクティスかどうかは怪しいですが、ノンプログラマの僕が最低限の使い方ができれば良し！という感じでやっています。
同じく最低限で使えれば良いよーという方は参考にしてみたらいただけたら嬉しいです。
また、もっと良いやり方があるよーというのがあれば教えていただけると嬉しいです。

この記事の対象者

GASを既に使っている方
gitやGithubの基本的な使い方もある程度理解している方

使用ツール等

Google Chrome（ブラウザ）
VSCode（テキストエディタ）
Github
　
GASでのgithubとの連携にはChrome拡張機能を使用します。
前提として、以下のアカウント登録やインストールなどは先に済ませておきます。それぞれのやり方はここでは割愛。
Githubのアカウントは登録済み
GitをPCにインストール済み（$ git --versionでバージョンが出ればOK）

開発環境づくり

１．プロジェクトフォルダとファイルの作成

これから制作するプロジェクトのフォルダと、コードを記述するファイルを作っておきます。

プロジェクトフォルダはどこに作っても大丈夫です（試しに作るならデスクトップで良いでしょう）。
そしてその中にmain.jsという空のテキストファイルをjs拡張子で作成しておきます。
（実際には拡張子は.gsなんですが、ここは.jsに。理由は後ほど）

※（余談）プロジェクトフォルダの名前や保存先は自由に決めて問題ないですが、あまり階層を深くしないのと、プロジェクトは一箇所（僕の場合はDocuments/Projects）にまとめておき、その中にプロジェクトごとにフォルダを作るのが便利かなって思います。

２．ターミナルでgitの初期設定とGithubとの連携

ここから、参照リンク１を大いに参考にさせて頂いてます。
ターミナル（Mac）を起動してコマンドを打ち込んでいっても良いのですが、せっかくなのでVSCodeのターミナル機能を使ってみます。

VSCodeを開いたら、「表示」タブから「外観＞パネルを表示＞ターミナル」もしくは「ターミナル」タブから「新しいターミナル」で開けます。これでターミナルも別窓にならないのでとても便利。

さて、このターミナルにコマンドを打ち込んでいって、先ほど作成したプロジェクトフォルダに入ります。
フォルダを作った場所によって違いますが、僕の場合はDocuments/Projects/（プロジェクト名）がプロジェクトフォルダなので、

$ cd Documents
$ cd Projects
$ cd （プロジェクト名）

次にgitの初期化を行い

$ git init

GitHubとの連携のための初期設定を行っていきます。

$ git config --global user.name "ユーザー名を入力"
$ git config --global user.email "メールアドレスを入力"

ダブルクォーテーション（""）の中には、自分のGithubにアカウント登録しているユーザー名とメールアドレスを入力するようにします。エラーが出ないようなら成功。

３．Githubでリポジトリ作成

GitHubにログインしてNewボタンからリポジトリを作っておきます（ここでReadMeを作っておくと良いようですが僕はすっ飛ばしてしまいました）。

リポジトリが完成したら、とりあえずHTTPSを選択（下の画像の赤丸）
…or push an existing repository from the command line
の下の２行のコマンドをコピーしておきます。一番右のマークをクリックしたら一発でコピーできます。
（下の画像の赤四角の部分）

※（余談）ほんとはSSHを選択して鍵の作成や設定をしておくと安全だったりするっぽいのですが今回はHTTPSで。もうちょっと勉強しておきます。

４．リモートリポジトリの登録・コミットとプッシュ

ターミナルに戻り、一旦今の状態でコミット。
コミットメッセージは最初はとりあえず"First Commit"とでもしておきます。

$ git add .
$ git commit -m "First Commit"

次に、ローカルディレクトリにリポートリポジトリを登録します。
先ほど作成したGithubリモートリポジトリからコピーした２行のコマンドを入れます。

$ git remote add origin https://github.com/アカウント名/リポジトリ名.git
$ git push -u origin master

するとユーザーネームとパスワードを聞かれるので、Githubのアカウントに使用しているものを入力します。

（上のコマンドを入力後の応答）
Username for 'https://github.com': （Githubのユーザーネームを入力）
Password for 'https://ユーザーネーム@github.com':　（Githubのパスワードを入力）

もしパスワード入力に失敗したりしても、慌てずに$ git push -u origin masterと入れれば再度入力できます。

ユーザーネームとパスワード入力に成功すれば、見事リモートリポジトリの登録完了！

５．Chrome拡張機能の導入・GASでGithubと連携

次にGASのスクリプトエディタ側でGithubと連携し、push/pullをできるようにします。
これにはChromeの拡張機能である「Google Apps Script GitHub アシスタント」を利用します。
この導入には参照２を参考にさせていただきました。

導入は簡単で、まずChrome ウェブストアから「Google Apps Script GitHub アシスタント」を検索してインストール（Chromeに追加）します。
次にGASのスクリプトエディタを開いて、Login SCMをクリックして、usernameとpasswordを入力すればGithubと連携が完了です（Repositoryが選択可能な状態になっていればOKです）。

６．GASでいったんpullしてみる

Repositoryタブから今回作成したGithubリポジトリを選択して、
その右のほうにある⬇︎ボタンをクリックしてpullしておきます。
（⬇︎がpull、⬆︎がpush）

ただ、そのままpullしようとしても上手くいきません。上部に「There is nothing to pull」とアラートが出てしまいます。

Repositoryの右の方にある歯車マークをクリックして、File type to syncの項目を.jsに変更します。
これはテキストファイルを作った時にjs拡張子で作っていたためです。こうすることでgsファイルとして読み込むことができます。

これにより⬇︎をクリックするとちゃんとpullできるようになっています。

以上で設定は完了です！わーい！

開発の流れ

以降、

VSCodeでコードを作成・修正してGithubにpush
GASのscriptエディタでそれをpullして実行
1に戻ってデバッグ

を繰り返して開発を進めていきます。

VSCodeでテキストファイルを読み込んで、実際にコーディングしていきましょう。
ある程度コードを書いていき、ここらでGASで実行してみたいなーと思ったら、ターミナルでプロジェクトフォルダに入ってることを確認してから、

$ git add .
$ git commit -m "（コミットメッセージを入力）"
$ git push

続いてGASのスクリプトエディタ側で、⬇︎クリックでpullして、関数の実行なりアプリ公開なりしてみてください。
しっかり「テキストエディタ＆Github＆GASのスクリプトエディタ」が連携しているはずです！！

※（余談）コミットの管理とかプッシュはVSCodeの「ソース管理画面」なるものからクリックで直感的にできるようです。僕はターミナルを叩きたくて使ってませんが、そのやり方も参照リンク１を参考にできそうです。

解説・補足

ただこのやり方、開発の際に注意しなければいけないのが、コンフリクトが起きないように気をつけることです。

例えばデバッグする際にGASのスクリプトエディタ側のコードを修正してしまうと、テキストエディタで記述しているものと差異が生まれてしまいます。
その都度push＆pullするなら良いのですが、うっかり忘れがちなので結構面倒です。

僕はひとまず
「コードの修正は必ずテキストエディタの方で行う」
と決めて、GASスクリプトエディタでは基本的にコードを直接いじらないようにして回避しています（いじるとしたらあくまで関数の動作チェックのため）。

そこがちょっと煩わしいのですが、一応今の所は不自由なく目的を果たしています。
この辺上手く使いこなしている方がいれば、ぜひやり方を教えてください。

また、テキストエディタはVSCodeに限る必要はなさそうなので、自身の慣れたテキストエディタでアレンジしてみても面白そうです。

あとがきMEMO

今回のやり方はさほど手間もかからずに１時間程度でできるし、自分の使い慣れているツール・やり方に落とし込む作業というのは、ハマればとても楽しいものですね。

gitでのバージョン管理やGithubはこれまでも使っていたものの、調べて書いてある通りにやっていただけで実際によくわかっていなかったので、これを機に理解が深まった気がします。

参考にしたサイト

参照リンク１
【初心者向け】Visual Studio Codeで書いたコードをGitHubに公開する方法 - 鍋綿ブログ
参照リンク２
GASをGitHubで簡単管理可能なChrome拡張機能　～導入時に躓いたこと～ - Qiita

Massaの投稿 - Crieit

[GAS]SpreadSheetにカスタムメニューを追加して簡単なUIを作る

農家だけど色々作ったので振り返る2020

[GAS][Javascript]指定の年月の「第n d曜日」を配列で取得する

[Python]PDFから特定の文字列を抽出＆ページを画像として保存するツール

[Python]農家のITマーケティング試行錯誤日記3.商品価格の集計と分析を行う

[Python]農家のITマーケティング試行錯誤日記2.商品情報の収集とデータ加工を行う

[Python]農家のITマーケティング試行錯誤日記1.楽天商品検索APIを使って商品情報をcsv出力する

「Python実践データ分析100本ノック」学習記録（第１部：データ加工 ）

[Python]Flaskアプリの基本構造を整理

グローバル変数__name__について

[Python]FizzBuzz問題のカッコイイ解答を読み解いてみる

（２）三項演算子if-else

Djangoで開発を始める時にやっておくと良いこと

①app/models.pyに記述（appはアプリケーションディレクトリ名が入る）

②config/settings.pyにAUTH_USER_MODELを設定（configはプロジェクト作成時に作られる設定ディレクトリの名前）

超速! Python基礎文法集（自分用チートシート）

「Python実践データ分析100本ノック」学習記録（第１部：データ加工）

グローバル変数`name`について

（２）三項演算子`if`-`else`

①`app/models.py`に記述（`app`はアプリケーションディレクトリ名が入る）

②`config/settings.py`に`AUTH_USER_MODEL`を設定（`config`はプロジェクト作成時に作られる設定ディレクトリの名前）