「スクレイピングツール」の記事 - Crieit

Webページ上の画像を一括保存（ダウンロード）する方法4選

2021-03-16T19:33:09+09:00

元記事：https://www.octoparse.jp/blog/4-ways-to-scrape-images-from-web-pages-or-websites/

InstagramやPinterestなどの写真プラットフォームには非常に多くの素晴らしい写真があり、デザインの制作や商品の資料作成など画像素材を利用するシーンが様々です。

保存したい画像が少ない場合は「右クリック → 名前を付けてファイルを保存」でも問題ないですが、複数あった場合は時間も手間もかかってしまうと思います。

この記事では、Webサイトから画像を効率的に一括保存（ダウンロード）する4つの方法を紹介します。数回のクリックで欲しい画像を簡単に手に入れることができますので、早速試してみましょう！

ブラウザツールで画像を一括保存する方法

単一のWebページから画像をダウンロード場合は、ブラウザツールで十分です。
もし複数のWebページから画像をダウンロードしたいならば、Webスクレイピングツールはおすすめです。

1. Firefoxを利用する場合

以下の手順でサイトの画像を全てダウンロードすることができます。

Firefoxで画像を取得したいWebサイトを開きます。空白部分を右クリックすると、「ページの情報を表示」のオプションをクリックします。そうすると、ページ情報が表示されます。

上の「メディア」アイコンをクリックします。ダウンロードする画像のURLのリストが表示されます。「すべて選択 → 名前を付けて保存」をクリックします。指定したフォルダーに画像が保存されていれば完了です。

2. Chromeを利用する場合

この記事から紹介された一括ダウンロードツールを使って、全ての画像をダウンロードします。
今回はChromeの「Image downloader」という拡張機能を試してみましょう。

Chromeで画像を取得したいWebサイトを開きます。「Image downloader」というChromeの拡張機能を起動すると、このツールは自動的に小さな画像（例：サイトのアイコン、ロゴなど）を取り除き、通常サイズの写真だけを指定するという役立つフィルターを提供しています。

3. Webサイトの画像を一括でダウンロードするツール

以上紹介した方法では、単一のWebページであれば使いやすいです。画像以外のデータ、Webスクレイピングツールは画像に関連するそれぞれのデータ（例として、商品名、商品価格、画像のURLなど）を抽出する最適化ツールです。「IMAGE CYBORG」はおすすめです。

Webスクレイピングツールで画像を一括保存する方法

4. Webスクレイピングツールを挑戦してみましょう！

上記の単一のWebページの画像ダウンロードツールとは異なり、Webスクレイピングツール（ここではOctoparseを例として）は必要な画像のURLを取得することが役立ちます。そして、すべてのURLを取得したら、画像を一括ダウンロードすることができます。

Octoparseの利用シーンは？

・「複数Webページから画像をダウンロードしてほしい」

ページネーションを設定した上で、Octoparseは自動的に複数のページから画像のURLをスクレイピングします。作業自動化を通じて、Octoparseは操作の時間を節約できます。

・「無限にスクロールするWebサイトから画像をダウンロードしてほしい」

（Google 画像検索は無限スクロールを使用しています）

例として、無限スクロールを使用しており、新しいコンテンツの読み込みを有効にするために、下にスクロールする必要があります。Webスクレイピングツールは、すべての画像を読み込まれて取得できます。

この記事で紹介したOctoparseには、人間の操作をシミュレート技術が使用されています。したがって、下までスクロールするように設定することができます。

・「画像だけでなく、それに関連する他の情報もほしい」

例として、Eコマース業者は、ECサイトから抽出したいデータは商品画像だけではなく、価格やメーカー情報などの情報もほしいです。抽出したデータは見込み顧客育成、リスク管理、学術研究、市場分析にも使用できます。

（Octoparseで楽天市場から抽出したデータ）

Octoparseでは、Amazonや楽天市場、食べログ、Bookingなどのサイトから簡単にスクレイピングするというタスクテンプレートを提供しています。画像のURLだけでなく、商品やレストラン、ホテルなどの他の情報もスクレイピングすることができます。

（Octoparseの人気テンプレート）

これで、2つのデータセット（画像と関連する詳細情報）が手に入れたので、自作の商品データベースで市場調査を始めましょう。

初心者向けのチュートリアル

この記事は、Octoparseで楽天市場から画像を一括保存するのチュートリアルです。自動識別機能を通じて、ノーコード（プログラミング不要）で、数回のクリックだけで簡単にスクレイピングできます。さらに、6分間で2000枚以上の画像URLを抽出することが可能です。一度Octoparseのコツを掴めば、他のWebサイトでも簡単に抽出できます。

Webサイトから画像を一括ダウンロードする方法

2021-03-10T19:23:06+09:00

元記事：https://www.octoparse.jp/blog/how-to-scrape-and-bulk-download-images-from-any-website/

1. Webサイトから画像を取得する方法

Webサイトから全ての画像を一括で保存したいとき、1枚ずつ保存するのは非常に面倒です。これは非常に退屈なプロセスであり、仕事の効率を低下させます。

実際、Webスクレイピングツールは、この作業を自動化するの最適な選択肢です。Webページを無限にクリックする代わりに、5分以内にタスクを設定するだけで、クローラーがすべての画像URLを取得してくれます。画像を一括でダウンロードツールにコピーすると、わずか10分で完成させます。

2. Webスクレイピングツールをダウンロード

まずは「Webスクレイピングツールにオススメの10選」という記事から自分に合ったWebスクレイピングツールを探しましょう！今回は、上記の記事から紹介されたOctoparseを例として紹介します。

なお、これは簡単なガイドであり、プログラミングの経験は必要ありません。心配しないでください。

Octoparseをダウンロードする

注：Octoparseは無料プランを提供しています。このガイドに記載されている機能にお金を払う必要はありません。

3. 2つのステップだけで、すべての画像URLを取得

ステップ1: タスクを作成する

1）Octoparseを起動します。スクレイピングしたいWebページのURLを入力します。「抽出開始」ボタンをクリックして進みます。

もうすぐホワイトデーですので、今回は楽天市場上のチョコレートの画像を例にしてみましょう。

サンプルURL: https://search.rakuten.co.jp/search/mall/チョコレート/

（このリンクが無効になった場合は、楽天市場の別の検索結果のリンクを使ってください）

2）Octoparseでページが読み込みされたら、自動的にページ上の内容を識別します。もし自動識別機能をオフする場合は、右上の操作ヒントパネルで「Webページを自動識別する」、ページ上の内容を識別します。自動識別とは、自動的にページ上の必要なデータを検出して識別するという役立つ機能です。ポイント&クリックをする必要はなく、Octoparseは自動的に処理します。

3）識別が完了すると、データプレビューで識別したデータを表示され、どのようなデータが取得されているかを確認することができます。「識別結果を切り替える」をクリックすると、ページの異なる場所の識別結果を指定することができます。「ワークフローを生成」をクリックして確認し、タスクを作成します。

これで簡単に楽天市場のクローラーが作成しました！

ステップ2: タスクを実行する

上の「実行」ボタンをクリックして、すぐタスクを実行できます。たった数分で数千件のデータを取得することができます。これがOctoparseのスピードです。一度Octoparseのコツをつかめば、以前Webデータを取得するための手作業で時間を無駄にしていたことを後悔するに違いありません。

これは、たった5分で抽出したデータです。実際、それはすべての画像のURLだけでなく、製品の詳細ページのデータもスクレイピングできます。これは、競合調査やEC（Eコマース）分析をしている方には、非常に役立つツールです。

4. 数秒で画像を一括ダウンロード！

すべての画像URLをExcelファイルに保存した状態で、この動画から紹介された一括ダウンロードツールを使って、全ての画像をダウンロードします。今回はChromeの「Tab Save」という拡張機能を例として試していきましょう。

画像のURLをコピーしてタブ保存に貼り付け、ダウンロードをクリックすると、すべての画像が数秒でコンピュータにダウンロードされます。

全体のプロセスはわずか10分かかります。楽天市場から画像の数千（サイトに応じて具体的なデータ件数も変わります）をダウンロードできます。ぜひ試してみてください！

もしタスクは不具合な状況がある場合…

今回の例で自動識別による生成したタスクは問題なく実行できますが、もしタスクは不具合な状況がある場合は、どのように修正すればいいでしょうか？

1. ページネーションが無効の場合

このステップでは、ページネーションを確認し、必要に応じてXpathを修正していきます。ページネーションについてこちらでご参照ください。

具体的には、ステップ「ページネーション」をダブルクリックすると、設定画面が表示されます。その設定画面には、自動識別で作成されたXpathがあります。

・どのように修正すればいいでしょうか？
右側の小さな矢印をクリックして、右側の内蔵ブラウザで「次のページ」ボタンをクリックします。これはクローラーに「これが私がクリックしたいボタン」を指示しています。簡単でしょうね。

・もし上記の方法を修正してもダメな場合はどうすればいいでしょうか？

下記の画像の通りに、Xpathを入力してください。
(//a[@class="item -next nextPage"][contains(string(),"次のページ")][not(@disabled)])[1]

2. 画像が読み込まないの場合

ページが完全に読み込みされるため、スクロールダウンの設定が必要となります。このステップは、スクロールダウンを設定することです。Octoparseで数回のクリックするだけで設定できます！

ワークフローに戻って、「Webページを開く」をダブルクリックし、「Webページを読み込んだ後」で「スクロールダウン」にチェックを入れ、2秒間隔でスクロール1回、回数50回を設定します。

これでタスクの修正は完了です！

5. まとめ

Octoparseは、無料プランも提供しているWebスクレイピングツールです。ノーコード技術を使うため、非エンジニアでもスクレイピングすることができます。Webスクレイピングプロジェクトを1から始める最適なツールです。
Octoparseの自動識別機能を利用して、Webサイトから簡単にデータを取得することができます。これにより、他のツールでややこしいステップ設定から解放されます。
自動識別機能を利用して、Xpathを書く必要はありません！ポイント&クリックだけでテキストやボタンなどの内容を指定できます。これは最もやりやすい方法です。

参考記事：
画像を一括ダウンロードするのに超便利なツール5選
 注目のWebスクレイピングツール5選を徹底比較！
ECサイトからデータを抽出する3つの課題
 Webスクレイピングによる価格戦略・価格の決め方