「ビジネスデータ分析」の記事 - Crieit

ビジネスデータ分析を支える技術

2019-07-02T13:00:13+09:00

ビジネスデータ分析を支える技術について簡単に解説したいと思います。データ分析は割と広い世界になっていて、使われる技術は色々とあります。まず下記の図を見てください。

データ分析システムをフルに作ろうとすると、だいたいこの図のようなフローになると思います。左から右へ流れて行きます。まず、一番左のグループです。データが生成される場所ですね。
データは形式により大きく３つに分かれます。

 構造化データ
 非構造化データ
 半構造化データ

ここで必要な技術は何でしょう？データ理解です。これが実は案外難しい。習うより慣れろではないですが、経験がものを言うエリアです。分析をするプロセスに持ち込むデータの量、形式、質などを期待されるアウトプットを考えて、整理し、必要なら加工していかなけばならないのですね。欠損が無いか、もしあればどう補うのか。センサーデータなどのの場合は、採用するかどうかの基準値を決めなければなりません。非構造化データの場合も、どのデータを使うのかの基準値が必要になります。分析に使用するアルゴリズムによっては、必要とするデータ量が決まっているものもあります。後工程のことを考えつつ、データを理解し、必要なアクションを取って行くスキルが求められます。ここを安易に通過すると、期待する分析結果が得られないリスクがあります。

次に、データをためるDWH（データウエアハウス）とData Lake（データレイク）。構造化データ（典型的な構造化データは、RDBMS）はDWHにため込むことになります。ほとんどがCloud DWHになります。半構造化データと非構造化データは、Data Lakeに保存しておきます。従って、DWHとData Lakeの技術スキルが必要とされます。

次が、分析プロセス。データが保存されているDWHやData Lakeから分析に必要なデータを抽出して持っていく必要があるわけです。Data Martを作る場合もあります。レガシーシステムですとETLの知識が必要でしたがCloudでは、もう少し簡単になっています。DWHから分析に必要なデータを抽出する為には、SQLがわかっていなければなりません。Cloud Data Lakeの場合は、データカタログという機能が用意されており、抽出が容易になっています。

分析プロセスについては、下図を見て下さい。

分析プロセスで必要なスキルは、どのようなものでしょうか？
ここでは、データは使える状態になっているので、分析に使うアルゴリズムを決めます。データと期待されているアウトプットを考えて、アルゴリズムを決めるスキルが必要です。

処理プロセスとしては最後になる、データビジュアライゼーションです。具体的には、Microsoft Power BIやTableauといったセルフサービスBIのスキルですね。最近は、第二世代も出てきていますので、この分野の知識とスキルも大切です。

ビジュアライゼーションされた分析結果を読み取り、意思決定を支援できる知見を得ることがビジネスデータ分析の目的です。この知見発見というのが、ビジネスデータ分析の最大の難所です。ドメイン知識も必要ですし、おのれの知識や経験を総動員して考えなければなりません。クライアントやビジネスパートナーと知見発見ミーティングを持つ必要もありますが、それでもたたき台はコンサルタントが作成する必要があります。頑張りどころですし、ここで評価も決まってきます。

ビジネスデータ分析手法基礎：課題バス通勤

2019-07-01T14:59:41+09:00

課題対象者：受講者全員
課題：

１．状況：新入社員の鎌田君は、会社から30分程度のところにアパートを借りた。アパートと会社の間を毎日バスを利用して通勤している。利用できるバスは２社あって、一つは自治体が運行しているコミュニティバスで、もう一つは私鉄が運営しているめぐろ交通だ。所要時間も料金も同じ、ﾊﾞｽ停の位置もほとんど同じだ。
２．意思決定事項；どちらのバスの定期券を買うべきか？
３．調べたデータ：時刻表、定時運行しているかどうか。定刻に対して実際にバスが来た時間の差の平均値は以下の表のとおりとします。

ヒント：平均値、標準偏差

このブログの目的と自己紹介などなど～AI（人工知能）ストラテジストとはどんな職業か？

2019-06-30T17:02:43+09:00

ビジネスデータ分析からAI（人工知能）の仕事をするようになって１０年以上になる。その前は長年外資系IT企業で、プロフェッショナルサービスとかテクニカルサポートなんかのシニアマネージメント。今は、AIビジネスストラテジストと自称している。AIビジネスストラテジストとはあまり聞きなれないワードだろう。誰も知りたくもないのかも知れないが、それでは私自身が悲しくなるので、説明することを許して欲しい。
ご存知にように、AI、人工知能というのは、いくつかの技術やアルゴリズムの総称になる。ビッグデータのハンドリング、MLと称されるMachine LearningやDLというDeep Learning、統計分析手法。NLPと呼ばれるNatural Langguage Processing（自然言語処理）。コグニティブなど色々ある。こうした技術を背景にして、コンサル先の企業がAIを使用したビジネスを開始・拡大することで事業収益性があがるようにサポートをしているのが私の主な仕事になる。もう少し言うと、AIをデジタルトランスフォーメーションを踏まえた~ビジネス戦略に落とし込み事業収益化をはかるという仕事。もそっとシンプルに言うと、ビジネスにどうAIを活用すれば儲けが出るのか、をサポートしている。
このブログでは、AIの個々の技術を掘るのではなく、ビジネスを通した社会や生活への影響を書いていきたいと思う。想定読者は、一応、AIやデータ分析に興味のある人達という設定なので、ITやAIのしろうとの方でも理解可能な、できる限り平易な説明を心掛けたいと考える。よろしくお願いいたします。

「ビジネスデータ分析」の記事 - Crieit

ビジネスデータ分析を支える技術

ビジネスデータ分析手法基礎：課題 バス通勤

このブログの目的と自己紹介などなど～AI（人工知能）ストラテジストとはどんな職業か？

ビジネスデータ分析手法基礎：課題バス通勤