「データ」の記事 - Crieit

【初心者向け】ExcelとVBAでWebスクレイピング実戦！

2021-03-24T17:10:08+09:00

元記事：https://www.octoparse.jp/blog/intro-to-web-scraping-with-excel-vba/

スクレイピングとは、WebページのHTMLコードから、必要な情報やデータを抽出することです。言い換えれば、自動的にWebページ上のデータを収集する技術です。

現在、スクレイピングの一般的なプログラミング言語は、Python、Ruby、JAVA、PHPなどができますが、開発環境構築と環境設定は初心者に対しては非常に難しいです。

したがって、この記事で紹介するVBAは以下のメリットがあります。

・開発環境構築不要
・取得したデータをExcelシートに直接保存できる
・直接にExcelシートでセルを設定できる

それでは、ExcelとVBAを使って、Webサイトから情報やデータをExcelシートに取り込むというExcelマクロを実際に作成してみましょう。

一、Excelでスクレイピングライブラリを導入

ExcelでのWebスクレイピングを配置する前に、Excelのマクロに対してライブラリを導入しなければなりません。
手順は以下になります。

1.Excelを開いて、「空白のブック」を選択します。

2.リボン欄の「開発」をクリックします。

3.左側の「Visual Basic」ボタンを選択します。

4.「挿入」をクリックして、「標準モジュール」を選択します。

5.下記のコードを入力してください。

Sub test()

End sub

結果は以下になっております。

6.「ツール」をクリックして、「参照設定」をクリックします。
「Microsoft HTML Object Library」と「Microsoft Internet Controls」のチェックを入れます。

モジュールとは、プログラムにおいて特定の機能を持ったひとまとまりの構成要素です。選択されたのモジュールは、ブラウザ連動とHTMLコードを読み込むという機能が持っています。

それで、Webクローラーの開発が必要なものは設定完了です。

二、Webサイトにアクセスする

早速ですが、ExcelのVBAを使って、IEブラウザ経由でWebサイトにアクセスします。
これには、ナビゲート属性を使用します。この属性では、URLを二重引用符で囲んで渡す必要があります。詳しくは下記のコードに参照してください。

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.navigate"http://test-sites.octoparse.com/?page_id=192"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
End sub

F5を押して、マクロを実行します。そこで次のようなWebページが表示されます。

三、VBAでスクレイピングしましょう

今回はボタンを押すたびに、Webサイト上データが自動的にエクセルに取り込まれるように開発しましょう。
まず、Webサイトから、要素（HTMLドキュメント）を検証し、データがどのように構成されているかを分析する必要があります。HTML基礎知識はこちらのリンクで参照ください。今回はテーブルのデータを抽出するように試してみましょう。

1. Ctrl + Shift + I を押して、テーブルの要素を指定すると、HTMLのソースコードに表示されます。
したがって、テーブルの要素は「table」と分かっています。

2. VBAで要素「table」を抽出します。ソースコードでは以下のようになります。

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.navigate "http://test-sites.octoparse.com/?page_id=192"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

End Sub

Excelは、Excelシートの範囲属性を使って、またはExcelシートのセル属性を使って初期化することができます。VBAスクリプトの複雑さを軽減するために、収集データはワークブックに存在するシート1のExcelセル属性に初期化される。

3.実行ボタンを指定します。
マクロスクリプトの準備ができたら、サブルーチンをExcelボタンに渡して割り当て、VBAのモジュールを終了する。ボタンに適当な名前をつけておきます。この例では、ボタンは「データ抽出」として初期化されます。

手順は以下になります。

4.ボタンを押して、以下のような情報が出力します。

四、Octoparseでスクレイピングする方法

プログラミングが苦手、或いは英語のコードばかりなので苦手意識を持っている方は、スクレイピングツールのOctoparseはおすすめします。

Octoparseは「自動識別」機能があるので、ページのURLを入力するだけで、Webページ上各項目のデータ（テキストとリンクを含む）、「次のページ」ボタン、「もっと見る」ボタン、およびページのスクロールダウンを自動的に検出し、タスク（Webクローラー）を自動的に生成することができます。

早速ですが、Octoparseで自動化の魅力を体験してみましょう。

1.Octoparseを起動して、スクレイピングしたいWebページのURLを入力します。
「抽出開始」ボタンをクリックして進みます。

2.Octoparseでページが読み込みされたら、自動的にページ上の内容を識別します。
自動識別とは、自動的にページ上の必要なデータを検出して識別するという役立つ機能です。ポイント&クリックをする必要はなく、Octoparseは自動的に処理します。

3.識別が完了すると、データプレビューで識別したデータを表示され、確認してから「ワークフローの生成」ボタンを押します。

4.これで簡単にWebクローラーが作成しました！
上の「実行」ボタンをクリックして、すぐデータを抽出できます。簡単ではないでしょうか。

五、まとめ

VBAでスクレイピングは簡単にはできますが、複雑な構造を持つWebサイト（JavaScript、AJAX技術を使っている動的サイトなど）では、VBAの機能はちょっと足りないかもしれません。
それだけでなく、スクレイピングしようと思ったら、プログラミング言語とIT知識を勉強する必要があります。完璧に学ぶ時間がなく、効率的にスクレイピングがしたい、プログラミングが苦手、或いは英語のコードばかりなので苦手意識を持っている方はスクレイピングツールはおすすめです。

今から無料トライアル！

PHPで簡単なWebクローラーを作ってみた
 PythonによるWebスクレイピングを解説
 Python vs Octoparse！初心者向きのスクレイピング方法はどっち？
【完全初心者向け】求人情報を一括で自動的に取得する方法公開！

AI時代はアナログ人材を不要にするか問題

2019-12-10T22:37:42+09:00

はじめに　AIの未来とアナログ人材

普段、平日はRを使いごりごりと。最近、Pythonも勉強し始めました。（遅）

東大の松尾教授の研究室で公開されている演習コンテンツページとか見ると、ありがたいなぁと思いつつ…これを10代、20代前半でガシガシやってのける東大生ってやっぱすごいわと思うこの頃です。社会人でも応募できるDL4USとかも魅力的。

学生のときは文系の研究室にいて組織論研究に身をささげてきたこともあって、
データ分析を生業にしながら、「AIが人の仕事を奪う」とか「AI時代の人材教育」なんて聞くと色々考えてしまいます。

かつて日本が製造業のものづくりで、トップにたっていたのは1980年代くらいまででしょうか。
いまや海外から見た日本と言えば、テクノロジー分野の後発が多く、魅力的なイノベーションを生む土壌が弱いような。

アナログのものづくりできらりと光ってた国内人材スピリットはどこへやら…
デジタル、デジタルって言われて久しいけど、結局アナログ人材は要らんのか。

そんなことないよなぁと思いつつ、徒然にAI時代の人材活用論について備忘録を残したいと思います。

(引用：松尾研監修のディープラーニング無償講座(下図))

日本のAI実践活用　世界での立ち位置は

東京大学大学院教授兼日本ディープラーニング協会理事長の松尾豊氏は今や日本でAi投資、ビジネスを企てるソフトバンクグループ取締役でもあります。

近年、人工知能（AI）やディープラーニングのビジネス活用については聞かない日はないほどですが、企業における実践的な活用という点では日本は米国、中国と比較して大きく遅れをとっています。

そんななかで積極的なディープラーニング（深層学習）のビジネス活用を推進するソフトバンクグループに学術的権威の松尾氏が加わるというニュースは、いよいよ日本におけるディープラーニング活用が本気になってきたという希望を感じずにはいられません。

少し前になりますが2019年6月8日に開催された、Microsoft・Preferred Networks協同運営のディープラーニングコミュニティイベント「DEEP LEARNING LAB（DLLAB）」内での松尾氏の基調講演でも日本国内のAI導入 / ディープラーニング活用は世界的に見ても遅れをとっていることが強調されました。

その背景と今後の改善点として挙げられていた5つの観点は

小さな成功体験をすること
AIチーム編成の重要性
AIトレーニングの必要性
明確なAI戦略
内部・外部のコミュニケーション（IR / GR[Government Relations] / 顧客育成 / 人材獲得 / 社内コミュニケーション）の重要性

と明確に述べられており、まさしくと感じる観点ばかりです。

日本企業のディープラーニング活用　苦戦の背景は

上記の5つの課題点に加えて、外資系IT勤務時代にから聞いたリアルな声を総合してみると日本企業の実態は以下のようなのではないかと思います。

AIの導入効果を立証できない（小さな成功体験の不足）→投資を引き出せない・社内理解がない（内部コミュニケーション不足）→AIチーム編成/トレーニングは二の次 →目的設定のないまま「何か」からはじめようとする（AI戦略・外部コミュニケーション不足）→安価なトライアルから始める→検証段階で頓挫→AIの導入効果を立証できない…

この無限ループから抜けたもの勝ちでビジネスが成功していくように思います。これを眺めていると、戦略的AI / ディープラーニング活用のために最初に打つべき手としては
• 投資の確保と適切な投入
• 実践経験豊富なAI人材の獲得

がキーになりそうです。

一点目は、各企業の経営層の手腕だったり、まさしくソフトバンク社「ソフトバンク・ビジョン・ファンド」のようなファンド事業会社の取り組みだったりが問われるところです。

二点目のAI人材の獲得ですが、ここが国内企業の一番の課題と言えそうです。なぜなら優秀な人材獲得のためには、パフォーマンスを発揮するための環境、社内業務側との連携体制、顧客育成のためのブランディングなど戦略的かつ組織的な見直しを伴うためです。

近年増えているAI人材に「日本企業」を選んでもらうためには多くの課題が残っています。国内の優秀な人材からすると活躍の場は米国、中国、欧州といったテクノロジー先進国にも広がっているためです。海外ではAI人材獲得の前に「育成」という観点からすでに企業各社の戦略が光っています。

ここのところ特に、海外ではiSchoolが人気を集めていたり、「STEM教育」という言葉が注目されたりしているように、多くの学問でテクノロジー思考やデータ活用による論理的アプローチが重要視されており、AI時代に有用な人材を育てる気風があります。

対して、2020年からやっと小学校でプログラミング教育が始まる日本。

「AI=プログラミング」という短絡さもさることながら、数歩先を行く欧米、アジア諸国からAI時代の人材育成の根本を学ぶ必要さえ感じます。

「IoT / モジュール化」の時代に光るアナログ人材

STEM教育が注目される中で「アナログ人材」**もここへきてスポットライトを当てられるべき存在ではないかと思うのです。

ここでいうアナログ人材とはものづくりをハード面でかなえるスペシャリティのこと。
コーダーだってデータサイエンティストだってものづくりしてますから！！

クラウド化が進んで市場は圧倒的にソフト面に偏るように見えても、IoT、ウェアラブル端末によるデータ取得が増える今後、どれだけ小型なハードウェアを作れるかというのは腕の見せ所です。

しかし、近年のデジタル（ソフト）人材の需要の高まりによって市場では圧倒的にアナログ人材が不足しているとか。

結果、電子部品のハードウェア開発のトレンドも複数の機能をひとつにまとめる「モジュール化」が流行っています。

例えば、データや通信機器、産業機器、医療機器などの中核としていわば「脳ミソ」の役割をするプロセッサー。
これに電力供給をする降圧コンバータであるDC-DCコンバーターの例をとってみると、アナログ人材の不足が背景で、DCDCコンバータ回路を構成する抵抗器・コンデンサーなどをまるっとひとつにして時短で実装できるというかたちが流行っているといいます。

人材不足を受けて、より効率化の方向にものづくりのやり方自体がなびいてしまっているようにも思います。

かつて日本の製造業、ものづくりを支えた職人はもっと強いこだわりを見せていたのではないかと考えを巡らせてしまいます。

作りたいもの、が第一にあり、それを叶えるための組織と戦略がついてくる。

これからのAI時代における日本の返り咲きは「プログラミングがあーだ、こーだ」言う前にこんなこだわりの見直しが必要なのかもしれないですね。

まさにこれからが日本国内でのAI・ディープラーニングビジネスの正念場。
各社の投資、人材教育に向けた取り組みには、引き続き注目していきたいものです。

参考：　AI活用成功のための「打ち手」を探る

ビジネスデータ分析を支える技術

2019-07-02T13:00:13+09:00

ビジネスデータ分析を支える技術について簡単に解説したいと思います。データ分析は割と広い世界になっていて、使われる技術は色々とあります。まず下記の図を見てください。

データ分析システムをフルに作ろうとすると、だいたいこの図のようなフローになると思います。左から右へ流れて行きます。まず、一番左のグループです。データが生成される場所ですね。
データは形式により大きく３つに分かれます。

 構造化データ
 非構造化データ
 半構造化データ

ここで必要な技術は何でしょう？データ理解です。これが実は案外難しい。習うより慣れろではないですが、経験がものを言うエリアです。分析をするプロセスに持ち込むデータの量、形式、質などを期待されるアウトプットを考えて、整理し、必要なら加工していかなけばならないのですね。欠損が無いか、もしあればどう補うのか。センサーデータなどのの場合は、採用するかどうかの基準値を決めなければなりません。非構造化データの場合も、どのデータを使うのかの基準値が必要になります。分析に使用するアルゴリズムによっては、必要とするデータ量が決まっているものもあります。後工程のことを考えつつ、データを理解し、必要なアクションを取って行くスキルが求められます。ここを安易に通過すると、期待する分析結果が得られないリスクがあります。

次に、データをためるDWH（データウエアハウス）とData Lake（データレイク）。構造化データ（典型的な構造化データは、RDBMS）はDWHにため込むことになります。ほとんどがCloud DWHになります。半構造化データと非構造化データは、Data Lakeに保存しておきます。従って、DWHとData Lakeの技術スキルが必要とされます。

次が、分析プロセス。データが保存されているDWHやData Lakeから分析に必要なデータを抽出して持っていく必要があるわけです。Data Martを作る場合もあります。レガシーシステムですとETLの知識が必要でしたがCloudでは、もう少し簡単になっています。DWHから分析に必要なデータを抽出する為には、SQLがわかっていなければなりません。Cloud Data Lakeの場合は、データカタログという機能が用意されており、抽出が容易になっています。

分析プロセスについては、下図を見て下さい。

分析プロセスで必要なスキルは、どのようなものでしょうか？
ここでは、データは使える状態になっているので、分析に使うアルゴリズムを決めます。データと期待されているアウトプットを考えて、アルゴリズムを決めるスキルが必要です。

処理プロセスとしては最後になる、データビジュアライゼーションです。具体的には、Microsoft Power BIやTableauといったセルフサービスBIのスキルですね。最近は、第二世代も出てきていますので、この分野の知識とスキルも大切です。

ビジュアライゼーションされた分析結果を読み取り、意思決定を支援できる知見を得ることがビジネスデータ分析の目的です。この知見発見というのが、ビジネスデータ分析の最大の難所です。ドメイン知識も必要ですし、おのれの知識や経験を総動員して考えなければなりません。クライアントやビジネスパートナーと知見発見ミーティングを持つ必要もありますが、それでもたたき台はコンサルタントが作成する必要があります。頑張りどころですし、ここで評価も決まってきます。

AI 人工知能とはどんな奴なのか？

2019-07-01T14:27:44+09:00

AIが仕事を奪う。AIが人間を超える。数年前から言われています。でも安心して下さい。もう既に超えられてしまった分野もありますから、って古いギャグか。
AIは、Artificial Intelligenceの略で、人工知能の意味です。対するは、私たち人間になります。ある先生は、NI Natural Intelligence と言っています。日本語だと自然知能になるのかな。

    AI 人工知能 vs NI 自然知能

の構図になるんでしょうか。僕は、そうはならないと思うし、そうなって欲しくないですね。ただ、多くの仕事はかのビルゲイツも言っているように、「創造性のない仕事は全てテクノロジーに代行される」てしまう運命なのでしょう。

AIとは、どんな奴なのか、一度顔ぐらい見ておくのも良いでしょう。ところが、AIという奴は存在しないんですよ、いるのは、AIを構成する輩。後で説明しますが、データだとかアルゴリズムだとか機械学習なんかなんですね。これがたいていの場合、コンピュータで動いているわけです。AIというのは様々な技術の総称で、そのものズバリの技術があるわけではありません。誤解を恐れずに言えば、人間に代わって何かを行うため、データとそれを処理するアルゴリズムを含んだプログラムにより何らかをアウトプットする仕組みがAI。この何かとか何らかは、人間に代わってやらせる仕事によって変わってきます。

それでは、AIを構成する輩に順番に会って行きましょう。今回は、データと学習。ここでは便宜的に、コンピュータ上で作った人間に代わって何かをする仕組みをAIと呼んでおきます。

１．データと学習
人間は、オギャアと生まれてから様々なことを学習していきます。学校の勉強、暗記、スポーツなど何かのやり方に慣れたり、人間関係を経験したりします。AIにとって、経験に当たるものがデータなんです。例えば、唐突ですが、そこに犬がいたとします。あなたは、それは犬だ、と認識できます。それはどうしてできるのでしょう？多分、たぶんですが、生まれたての赤ん坊は、犬という認識はできないでしょうね。IQが200以上あるような天才になる赤ん坊でも無理だと思います。なぜなら、犬だと認識する為には、こういった姿かたちをしたものが犬だという記憶が必要だからです。頭の中に記憶している犬と目の前にいる存在を比較して、合致した場合に犬だと判断するわけですね。猫と犬は区別できるわけです。それを人間の脳は瞬時に行います。
赤ん坊の頃は、犬という認識はない。＝＞犬の写真やアニメを見たり、実際の犬に会う。それが犬という名前だと教えられるわけです。犬種が変わると最初は、同じ犬だという認識はできないかもしれませんが、その度に学習していきます。
これをAIにあてはめると、どうなるでしょうか？
データは犬の写真にしましょう。犬の写真を犬という名前で画像認識させます。これをコグニティブといいます。犬の写真を数千枚画像認識させると、犬の特徴を学習しますので、新たな犬の写真を見せるとそれは犬だと判断できるようになります。これを機械学習と言います。Machine Learning (ML) マシンラーニングです。犬の写真と犬という名前をセットにして学習させることを、教師つき機械学習と言います。Supervised MLですね。この他に、教師なし機械学習や深層学習（Deep Learning）というのもありますが、今のところは教師つきの機械学習を覚えておきましょう。
このように、AIを学習させるためには、まず機械学習をさせます。数億というデータを学習させるとかなり賢くなります。こんなふうにして、AIは多くのことを学習していきます。