Masao Katoの投稿 - Crieit

ビジネスデータ分析を支える技術

2019-07-02T13:00:13+09:00

ビジネスデータ分析を支える技術について簡単に解説したいと思います。データ分析は割と広い世界になっていて、使われる技術は色々とあります。まず下記の図を見てください。

データ分析システムをフルに作ろうとすると、だいたいこの図のようなフローになると思います。左から右へ流れて行きます。まず、一番左のグループです。データが生成される場所ですね。
データは形式により大きく３つに分かれます。

 構造化データ
 非構造化データ
 半構造化データ

ここで必要な技術は何でしょう？データ理解です。これが実は案外難しい。習うより慣れろではないですが、経験がものを言うエリアです。分析をするプロセスに持ち込むデータの量、形式、質などを期待されるアウトプットを考えて、整理し、必要なら加工していかなけばならないのですね。欠損が無いか、もしあればどう補うのか。センサーデータなどのの場合は、採用するかどうかの基準値を決めなければなりません。非構造化データの場合も、どのデータを使うのかの基準値が必要になります。分析に使用するアルゴリズムによっては、必要とするデータ量が決まっているものもあります。後工程のことを考えつつ、データを理解し、必要なアクションを取って行くスキルが求められます。ここを安易に通過すると、期待する分析結果が得られないリスクがあります。

次に、データをためるDWH（データウエアハウス）とData Lake（データレイク）。構造化データ（典型的な構造化データは、RDBMS）はDWHにため込むことになります。ほとんどがCloud DWHになります。半構造化データと非構造化データは、Data Lakeに保存しておきます。従って、DWHとData Lakeの技術スキルが必要とされます。

次が、分析プロセス。データが保存されているDWHやData Lakeから分析に必要なデータを抽出して持っていく必要があるわけです。Data Martを作る場合もあります。レガシーシステムですとETLの知識が必要でしたがCloudでは、もう少し簡単になっています。DWHから分析に必要なデータを抽出する為には、SQLがわかっていなければなりません。Cloud Data Lakeの場合は、データカタログという機能が用意されており、抽出が容易になっています。

分析プロセスについては、下図を見て下さい。

分析プロセスで必要なスキルは、どのようなものでしょうか？
ここでは、データは使える状態になっているので、分析に使うアルゴリズムを決めます。データと期待されているアウトプットを考えて、アルゴリズムを決めるスキルが必要です。

処理プロセスとしては最後になる、データビジュアライゼーションです。具体的には、Microsoft Power BIやTableauといったセルフサービスBIのスキルですね。最近は、第二世代も出てきていますので、この分野の知識とスキルも大切です。

ビジュアライゼーションされた分析結果を読み取り、意思決定を支援できる知見を得ることがビジネスデータ分析の目的です。この知見発見というのが、ビジネスデータ分析の最大の難所です。ドメイン知識も必要ですし、おのれの知識や経験を総動員して考えなければなりません。クライアントやビジネスパートナーと知見発見ミーティングを持つ必要もありますが、それでもたたき台はコンサルタントが作成する必要があります。頑張りどころですし、ここで評価も決まってきます。

ビジネスデータ分析手法基礎：課題バス通勤

2019-07-01T14:59:41+09:00

課題対象者：受講者全員
課題：

１．状況：新入社員の鎌田君は、会社から30分程度のところにアパートを借りた。アパートと会社の間を毎日バスを利用して通勤している。利用できるバスは２社あって、一つは自治体が運行しているコミュニティバスで、もう一つは私鉄が運営しているめぐろ交通だ。所要時間も料金も同じ、ﾊﾞｽ停の位置もほとんど同じだ。
２．意思決定事項；どちらのバスの定期券を買うべきか？
３．調べたデータ：時刻表、定時運行しているかどうか。定刻に対して実際にバスが来た時間の差の平均値は以下の表のとおりとします。

ヒント：平均値、標準偏差

AI 人工知能とはどんな奴なのか？

2019-07-01T14:27:44+09:00

AIが仕事を奪う。AIが人間を超える。数年前から言われています。でも安心して下さい。もう既に超えられてしまった分野もありますから、って古いギャグか。
AIは、Artificial Intelligenceの略で、人工知能の意味です。対するは、私たち人間になります。ある先生は、NI Natural Intelligence と言っています。日本語だと自然知能になるのかな。

    AI 人工知能 vs NI 自然知能

の構図になるんでしょうか。僕は、そうはならないと思うし、そうなって欲しくないですね。ただ、多くの仕事はかのビルゲイツも言っているように、「創造性のない仕事は全てテクノロジーに代行される」てしまう運命なのでしょう。

AIとは、どんな奴なのか、一度顔ぐらい見ておくのも良いでしょう。ところが、AIという奴は存在しないんですよ、いるのは、AIを構成する輩。後で説明しますが、データだとかアルゴリズムだとか機械学習なんかなんですね。これがたいていの場合、コンピュータで動いているわけです。AIというのは様々な技術の総称で、そのものズバリの技術があるわけではありません。誤解を恐れずに言えば、人間に代わって何かを行うため、データとそれを処理するアルゴリズムを含んだプログラムにより何らかをアウトプットする仕組みがAI。この何かとか何らかは、人間に代わってやらせる仕事によって変わってきます。

それでは、AIを構成する輩に順番に会って行きましょう。今回は、データと学習。ここでは便宜的に、コンピュータ上で作った人間に代わって何かをする仕組みをAIと呼んでおきます。

１．データと学習
人間は、オギャアと生まれてから様々なことを学習していきます。学校の勉強、暗記、スポーツなど何かのやり方に慣れたり、人間関係を経験したりします。AIにとって、経験に当たるものがデータなんです。例えば、唐突ですが、そこに犬がいたとします。あなたは、それは犬だ、と認識できます。それはどうしてできるのでしょう？多分、たぶんですが、生まれたての赤ん坊は、犬という認識はできないでしょうね。IQが200以上あるような天才になる赤ん坊でも無理だと思います。なぜなら、犬だと認識する為には、こういった姿かたちをしたものが犬だという記憶が必要だからです。頭の中に記憶している犬と目の前にいる存在を比較して、合致した場合に犬だと判断するわけですね。猫と犬は区別できるわけです。それを人間の脳は瞬時に行います。
赤ん坊の頃は、犬という認識はない。＝＞犬の写真やアニメを見たり、実際の犬に会う。それが犬という名前だと教えられるわけです。犬種が変わると最初は、同じ犬だという認識はできないかもしれませんが、その度に学習していきます。
これをAIにあてはめると、どうなるでしょうか？
データは犬の写真にしましょう。犬の写真を犬という名前で画像認識させます。これをコグニティブといいます。犬の写真を数千枚画像認識させると、犬の特徴を学習しますので、新たな犬の写真を見せるとそれは犬だと判断できるようになります。これを機械学習と言います。Machine Learning (ML) マシンラーニングです。犬の写真と犬という名前をセットにして学習させることを、教師つき機械学習と言います。Supervised MLですね。この他に、教師なし機械学習や深層学習（Deep Learning）というのもありますが、今のところは教師つきの機械学習を覚えておきましょう。
このように、AIを学習させるためには、まず機械学習をさせます。数億というデータを学習させるとかなり賢くなります。こんなふうにして、AIは多くのことを学習していきます。

このブログの目的と自己紹介などなど～AI（人工知能）ストラテジストとはどんな職業か？

2019-06-30T17:02:43+09:00

ビジネスデータ分析からAI（人工知能）の仕事をするようになって１０年以上になる。その前は長年外資系IT企業で、プロフェッショナルサービスとかテクニカルサポートなんかのシニアマネージメント。今は、AIビジネスストラテジストと自称している。AIビジネスストラテジストとはあまり聞きなれないワードだろう。誰も知りたくもないのかも知れないが、それでは私自身が悲しくなるので、説明することを許して欲しい。
ご存知にように、AI、人工知能というのは、いくつかの技術やアルゴリズムの総称になる。ビッグデータのハンドリング、MLと称されるMachine LearningやDLというDeep Learning、統計分析手法。NLPと呼ばれるNatural Langguage Processing（自然言語処理）。コグニティブなど色々ある。こうした技術を背景にして、コンサル先の企業がAIを使用したビジネスを開始・拡大することで事業収益性があがるようにサポートをしているのが私の主な仕事になる。もう少し言うと、AIをデジタルトランスフォーメーションを踏まえた~ビジネス戦略に落とし込み事業収益化をはかるという仕事。もそっとシンプルに言うと、ビジネスにどうAIを活用すれば儲けが出るのか、をサポートしている。
このブログでは、AIの個々の技術を掘るのではなく、ビジネスを通した社会や生活への影響を書いていきたいと思う。想定読者は、一応、AIやデータ分析に興味のある人達という設定なので、ITやAIのしろうとの方でも理解可能な、できる限り平易な説明を心掛けたいと考える。よろしくお願いいたします。

Masao Katoの投稿 - Crieit

ビジネスデータ分析を支える技術

ビジネスデータ分析手法基礎：課題 バス通勤

AI 人工知能とはどんな奴なのか？

このブログの目的と自己紹介などなど～AI（人工知能）ストラテジストとはどんな職業か？

ビジネスデータ分析手法基礎：課題バス通勤