「農家」の記事 - Crieit

[Python]農家のITマーケティング試行錯誤日記3.商品価格の集計と分析を行う

2020-09-23T18:54:15+09:00

はじめに

前回の続きです。今回がラストになります。
楽天市場から取得した商品データの価格分析をするための前処理をしたので、今回はいよいよ簡単な分析にトライします。

楽天市場で販売されている野菜（今回はメークイン）の価格相場はどのくらいなのか？
1kgあたりの金額はいくらが妥当なのか？

といったことを、初歩的な分析スキルを使って出してみたいと思います。

方針

目的を改めて整理すると「農産物を販売するにあたっての価格調査のため」です。
農産物価格についてkgごとに集計したりグラフ化してみたりすることで、「どのくらいの価格で販売するのが妥当なのか」をある程度の根拠を持って得たいな、というのが今回の目的でした。
そのためにまず調べやすそうな楽天市場での相場を調べることで、この根拠の一つにしてみよう、という考えです。

以下のような手順で見ていきます。

（１）集計してみる

まずは入数ごとの商品価格の要約統計量（平均値、中央値など）を集計し、表にして見てみます。
つまり、重さ（1kg, 2kg…）ごとの商品価格を具体的な数値で把握してみることで、今回の分析の第一歩とします。

（２）分布を確認してみる（可視化）

入数ごとのデータを使ってヒストグラムや散布図を描いてみて、入数と商品件数や、入数と商品価格の関係がどのような分布になるかを見てみることにします。
また、商品価格の中央値に絞って可視化を行ってみることで、次の（３）の分析に繋げます。

入数と価格の中央値の関係を１次関数（直線）と見立ててその式のパラメータを求めてみます。
先ほど入数ごとの価格の中央値に着目して可視化したことで「入数と商品価格は１次関数の関係（グラフ上で直線）になりそう」という推測が生まれます。これは実際に当てはめると、商品価格は「送料や箱代・作業代などのベースとなる金額」に「1kgあたりの金額」が加算されて商品代が決められる、と考えることができます。
関係式のパラメータを求めることで、その「ベースとなる金額」と「1kgあたりの金額」を算出してみます。

集計と分析

集計に入る前に、データの準備をしておきます。
前回の最後に保存した加工済みのデータをcsvファイルから読み込んでDataFrameに入れておきます。

df = pd.read_csv('20200914_rakuten_mayqueen_2.csv')

（１）集計してみる

準備ができたらまずは、入数ごとの商品価格の要約統計量を調べてみます。
入数ごとの表にするためにgroupby()関数を使います。
また、統計量の表示にはdescribe()メソッドを使います。

# 入数ごとの統計量をgroupbyで調べる
df_by_kg = df.groupby('入数').describe()['商品価格']
df_by_kg

この表のcount列を見てみると、1件〜2件しかデータがない行と、データ件数が多い行がそれぞれあるのがわかります。
例えば「じゃがいも1kgや2kgでの販売」はそもそも件数が少なく、「じゃがいも5kgや10kgでの販売」は件数が多い、ということがわかります。
箱の規格は大体決まっているので実際の現場からすると納得の数値なのですが、このようにデータからも確認することができました。

この表から、必要な行だけ抽出しておきます。今回は件数が多い行のみを活用することにします。
残す行の入数の数値を直接指定しても良いのですが、後々スクリプトを再利用する可能性も考えて、ここでは5件以上ある行（3kg, 5kg, 10kg, 20kgが該当）を抜き出してみることにします

# 必要な行だけ抜き出す（件数が5つ以上あるものだけ残す）
df_by_kg = df_by_kg.loc[df_by_weight[('商品価格', 'count')]>5, :]
df_by_kg

さらにここから、列も必要なものだけを残します。
今回は比較したい列として、「件数count」「平均値mean」「最小値min」「中央値50%」「最大値max」を残すことにしました。

# 必要な列だけ抜き出す
df_by_kg = df_by_kg.loc[:,  [ 'count', 'mean', 'min', '50%', 'max']]
df_by_kg

これで、スッキリした集計結果の表が得られました。
この表を元に、例として「じゃがいも10kg」の商品価格を見てみます。その統計量は、

最小値（min） 1,399円
最大値（max） 7,560円
平均値（mean） 3,820円
中央値（50%） 3,600円

というような金額（送料・税込）になっていました。
相場感を掴むためには平均値か中央値を参考にすれば良さそうですが、最小値と最大値の幅が大きいことから全体のバラつきが大きそうだと考えられます。そのため、参考にする数値としては平均値ではなく中央値を見ていこう、と考えます（このバラつきは次の項目で可視化して見てみます）。

ちなみに最安値のものが異様に安いので気になってみてみると、いわゆる「訳あり品」として超小玉のものが販売されているようでした。逆に最高値を見てみると特別高級なブランド品という訳でもなく一地域の商品だったのですが、2020年の6月〜8月上旬頃まではじゃがいもの相場が全国的に異様に高かったため、このような金額で出品されているのかなと思いました（あくまで推測です）。

（２）分布を確認してみる（可視化）

次は、データをもとにグラフを描いて可視化することで、よりデータを深くみていこうと思います。

まずは「ヒストグラム」を表示してみます。
ここでは入数（kg）と度数（いくつのデータがあるか）を図示します。

ヒストグラムを表示するには、matplotlibというライブラリのhist()関数を用います。
データとして集計前のDataFram(df)を指定します。
オプションにbinsを指定することで、ヒストグラムの帯の幅を変えています。ここでは1から30までの1刻みで件数を図示しています。

import matplotlib.pyplot as plt

# ヒストグラム（入数と件数の関係）
plt.hist(df['入数'], bins=np.arange(1, 30))
plt.xlabel('Quantity(kg)')
plt.ylabel('Count')
plt.grid(True)
plt.show()

先ほど数値で見たことの確認になりますが、入数kgによって件数に差がありますね。5kg、10kgあたりの商品が特に多く、3kgや20kgも比較的出ているというのがわかります。

次に、「散布図」を表示してみます。
散布図を表示するには、matplotlibのscatter()関数を用います。
これも集計前のDataFram(df)を指定してみます。

# 散布図（入数と商品価格の関係）
plt.scatter(df['入数'], df['商品価格'])
plt.xlabel('Quantity(kg)')
plt.ylabel('Pirce(yen)')
plt.grid(True)
plt.show()

何kgの商品がいくらで販売されているのかが点で表示されますが、ここで先ほど集計した時に触れた「価格のバラつき」が大きいことが目に見えてわかります。
この状態だと、バラつきが大きくて値決めの判断材料にはできなさそうです。

そこで、今度は商品価格の「中央値」に絞ってプロット図を描いてみます。
先ほどの散布図と違って、入数ごとに対応する商品価格の中央値となる１点がグラフ上にプロットされます。
ここでは集計後のDataFrame(df_by_kg)を使って図示します。

# 点をプロット（入数と商品価格（中央値）の関係）
plt.plot(df_by_kg.index, df_by_kg['50%'], 'o')
plt.xlabel('Quantity(kg)')
plt.ylabel('Pirce(yen)')
plt.grid(True)
plt.show()

プロットした点が、綺麗な直線上に並んでるように見えます。
なんだか入数と商品価格の関係を掴むことができそうです。

それぞれの点における数値（つまり中央値）は以下の通り。

野菜の販売金額を設定する際には、このぐらいの金額に設定することで、ネット販売における相場とのズレが少ない妥当な値決めができそうです。
　
　
このように、数値を見るだけでなく可視化すると直感的にわかりやすくなります。
また可視化するにしても、漠然と全体を見るだけだとバラつきが多くてどう見て良いのかよくわからなかったものが、「中央値」という１つの統計量に絞って見てみると規則性を見ることができました。

（３）線形近似してパラメータを求める

もう少し、先ほどの結果を深掘りしてみることにします。
先ほどプロットした入数kgに対する商品価格の中央値の値は、１次関数の関係に近い（グラフ上で点がほぼ直線上に並んでいる）と考えられます。
そこで「線形近似」というのを行ってみます。
近似した直線の式のパラメータ（傾きと切片）を求めることで、商品価格を詳細に見ることができそうです。
つまり、「1kgあたりの金額」はこの直線の傾きの値に該当し、「送料や箱代・作業代などのベースとなる金額」はこの直線の切片に該当します。

線形近似にはnumpyの機能を使います。

# 線形近似
linear = np.polyfit(df_by_kg.index, df_by_kg['50%'], 1) # 線形近似して切片と傾きを求める
func = np.poly1d(linear) # 切片と傾きから1次式を作る
x = df_by_kg.index
y = func(x)

# 線形近似したグラフ表示
plt.plot(x, y)

# 散布図も合わせて表示
plt.plot(df_by_kg.index, df_by_kg['50%'], 'o')
plt.xlabel('kg')
plt.ylabel('yen')

このように、プロットした点がだいたい直線に乗っていることが確認できるかと思います。
そしてこのlinear変数に、この直線の式のパラメータが入っています。

print('直線のパラメータ[傾き, 切片] = ', linear)
# -> 直線のパラメータ[傾き, 切片] =  [ 142.94797688 2071.99421965]

つまり、

ベースとなる金額（切片に該当）約 2072円
1kgあたり金額（傾きに該当）約143円

この数値を使うと、例えば4kgの商品を作るとしたら、2072円 + 4kg@143円 = 2,644円くらいで設定すると良いんじゃないか、と計算することができます。

商品価格の中央値が、ここまで綺麗に一次関数の式に近似できたのが面白かったです。
今回使用したデータ数は分析するには少なかったと思うのですが、それでも感覚的に納得できる数値を得ることができました。

おわりに

今回のような基礎的な分析でも、活用できそうな根拠のある数値を得ることができました。
このような分析結果をもとに意思決定に繫げるのが、仕事でデータ分析を活用するにあたっての肝になるのかな、と思います。
そしてそれは１回で終えるのではなく、トライ＆エラーを重ねて、より正しく説得力のある分析と意思決定を行うサイクルを回していくことが大事になってくるようにも思います。

ひとつ大事な観点として、分析結果の妥当性はもうちょっと検証する必要はありそうです。
例えばデータ数をもっと増やしたり、データの中身を精査する必要があります。今回の例では、品種によって細分化したらもっと性格なデータを出せるなあと思いました。

データ分析したこの後は実際の価格決めという意思決定のフェーズに入っていくのですが、それにはまた別の視点が必要です。
少なくとも以下のことは、自身の中で固めておく必要があるなあと思います。

商品の価値をどう設定するのか。相場より安く設定するのか高く設定するのか。
ターゲットは誰なのか。今回楽天市場のデータで分析したが、よりターゲットに近い市場での分析が必要かもしれない。

もうちょっとスピード感を持って意思決定できれば良いのでしょうけど、難しい。

ひとまず今回の数値を使って、近々ひとつアウトプットを出すようにしたいと思います！

さて、三回に渡ってデータ分析に関する記事を続けてきましたが、今回のテーマは一旦ここまでにします。
学んだ知識をもとに探り探りの分析だったため、もしかしたら考え方が間違っていたりよりスマートな記述の仕方があるかもしれません。
ここまで読んでいただいて、もし気になる点があればコメントいただけると大変嬉しいです！

（記事リンク）農家のITマーケティング試行錯誤日記

農家のITマーケティング試行錯誤日記1.楽天商品検索APIを使って商品情報をcsv出力する[Python]
農家のITマーケティング試行錯誤日記2.商品情報の収集とデータ加工を行う[Python]
農家のITマーケティング試行錯誤日記3.商品価格の集計と分析を行う[Python]

[Python]農家のITマーケティング試行錯誤日記2.商品情報の収集とデータ加工を行う

2020-09-15T20:15:55+09:00

はじめに

前回は「楽天商品検索API」を使って30件（1ページ分）のデータを抽出し、csvファイルに保存するまでを行いました。

今回はより実用的にするために、まず前回のスクリプトを発展させて取得するデータ件数を増やしたのちに、集計や分析の前段階として、商品データを商品重量ごと（5kg, 10kg...）に分類できるようなデータ加工まで行います。

方針

（１）商品情報を取得する

検索キーワード「メークイン」商品情報を300件（30件×10ページ）取得する（NGワードも指定する）
必要な商品情報のみを入れたdict型を作成する
PandasのDataFrameに格納し、列を整理する

前回と流れは同じですが、今回は取得件数とNGワードをここで指定しています。
これらはデータを集める目的や、必要な情報量と中身に応じて調整します。

NGワードは僕の場合は、自分の想定と合わず商品価格に影響してきそうなワードを指定しました。ここでは「有機栽培/オーガニック/減農薬/農薬不使用」「セット/詰め合わせ」「ふるさと納税」を除きます。
取得件数を300件としたのは特に深い意味はありませんが、今回のキーワード・NGワードで商品検索をかけたところ320件程度のヒット数だったため、キリの良い数字を選びました。

（２）データ加工の手順

収集したデータから必要なデータのみを抽出する
「商品名」から重さ（5kg, 10kg...）を抽出し、新たな「入数」列を作る

本来は野菜の品種ごとにまで分けた方が正確な金額が出せるのですが、今回はそこまではしないことにしました。あまり細分化しすぎるとデータ数が減ってしまうためです。

（1）商品情報を取得するスクリプト

1.必要なライブラリのインポートと入力パラメータの準備

ここは前回とほぼ変わりありませんが、APIでリクエストを送る入力パラメータのpageとNGKeyword、そしてpostageFlagの部分のみ変えています。

楽天商品検索APIの１回のリクエストで取得できるデータの上限は30件（入力パラメータのhitsの値）となっています。pageにページ数2を指定してやれば、31件目以降のデータが取得できます。
このpageの値をfor文で回すことを想定しています。

また、入力パラメータのpostageFlagは商品価格に送料を含むかどうかを指定しています（1で送料含むor送料無料）

import requests
import numpy as np
import pandas as pd

REQUEST_URL = "https://app.rakuten.co.jp/services/api/IchibaItem/Search/20170706"
APP_ID="<楽天APIのIDを入れる>"

# 入力パラメータ
serch_keyword = 'メークイン'
ng_keyword = 'ふるさと納税 有機 オーガニック 減農薬 農薬不使用 セット 詰め合わせ'
page = 1
serch_params={
    "format" : "json",
    "keyword" : serch_keyword,
    "NGKeyword":ng_keyword,
    "applicationId" : [APP_ID],
    "availability" : 0,
    "hits" : 30,
    "page" : page,
    "sort" : "standard",
    "postageFlag" : 1
}

2.必要な商品情報のみを入れたdict型を作成する

for文を使って複数にまたがるページの商品情報を取得していきます。

商品情報から必要な項目のみ抜き出してtmp_itemという名前のdictに格納し、それをitem_listという名前のリストに格納しているのは、前回と同様の流れになります。

# 商品情報をリストで取得
item_list = [] # 30件ずつ取得した辞書型の商品情報tmp_itemが10ページ分入る
max_page = 10
for page in range(1, max_page+1):
    serch_params['page'] = page
    # APIにリクエストを送り、結果として商品データresultを得る
    response = requests.get(REQUEST_URL, serch_params)
    result = response.json()

    # resultから必要な情報を抜き出したdictを作る
    item_key = ['itemName', 'itemPrice', 'itemCaption', 'shopName', 'shopUrl', 'itemUrl']

    for i in range(0, len(result['Items'])):
        tmp_item = {}
        item = result['Items'][i]['Item']
        for key, value in item.items():
            if key in item_key:
                tmp_item[key] = value
        item_list.append(tmp_item.copy())

ここで、仮に商品件数が10ページ分に満たないようなキーワードを入れた場合でも、特にエラーは出ずに取得することができました。ページ数は実際の商品数よりも大きく設定しても良さそうです（APIのリファレンスによるとpageの上限は100）。
ですがその分処理に時間がかかり、自分の環境だと稀にエラーが出てしまう現象が起きたので、必要最小限に留めた方が良いのかなと思います。

3.DataFrameを作成する

これも前回と同様に、先ほどの商品情報のdictが格納されたlistからPandasのDataFrameを作成します。
少し修正して、インデックスを0からではなく1から順番に振ってくれるようにしました。

# データフレーム作成
df = pd.DataFrame(item_list)
df = df.reindex(columns=['itemName', 'itemPrice', 'itemCaption', 'itemUrl', 'shopName', 'shopUrl'])
df.columns = ['商品名', '商品価格', '商品説明文', '商品URL', '店舗名', '店舗URL']
df.index = df.index + 1 # インデックスを1からに振り直す

df.count() で取得件数、df.head()で先頭５件のデータを確認。
想定どおりの300件のデータが入っていれば大丈夫そうです。

4.csv出力

毎回このスクリプトを走らせてデータを取得するのも面倒なので、使いたい時に使えるようにcsv出力しておきます。

df.to_csv('20200914_rakuten_mayqueen.csv')

(2)データ加工・集計のスクリプト

1.csv読み込み

データの件数を増やすことができたので、次はそのデータを加工して分析に適した形にしてみます。
このまま進めても良いですが、いったん先ほどのcsvフィルを読み込んでみてから進めます。

df = pd.read_csv('20200914_rakuten_mayqueen.csv')

2.必要なデータのみを抽出する

このDataFrameを加工していくのですが、まずはざっとデータの中身をspread sheetで眺めてみると、今回の価格調査の目的には当てはまらない、野菜以外の余計なデータが混じっていました。
今回必要なのは重量のデータなので「商品名に重量が入っている商品データのみを残す」という方針でやってみます。

Pandasで、指定した文字列を含む（部分一致）行を抽出してbool値で返すstr.contains()を使います。

# 商品名に「kg」が入っている商品データのみ残す
kg_flg = df['商品名'].str.contains('kg')
df = df[kg_flg]

kg_flgはbool値のSeriesとなっていて、「kg」が含まれている行にはTrue,そうでない行にはFalseが入ります。Trueになっている行が必要な残したいデータです。
これを用いてdf[kg_flg]とすることで、Trueの行だけデータの入ったDataFrameを抽出することができます。

df.count()で件数を確認すると、116件とだいぶ減ってしまいました。
よりデータ数を確保するなら、この辺りはもうちょっと検証する必要がありそうです。

3.商品名から重量を抽出して新たな列を作る

これで商品名にkgが含まれている行のみが残りましたが、さらにこの重量を別の列に切り出したいです。
商品名には「数字 + kg」という形で重量が入っているはずなので、これの数値を取り出して「入数」という列を新しく作ります。

ここでは正規表現を使ってみます（詳細な説明は省きますが、([0-9]+)kgとすることで「数字 + kg」を表現できます）
この正規表現をPandasのstr.extract()の引数に指定します。このメソッドは引数に正規表現を指定すると、それに最初にマッチした文字列を抽出して新たな列を作る、というものです。まさに今回やりたいことにぴったりな便利メソッドです。

# 商品名から重量を別カラムに切り出す
df['入数'] = df['商品名'].str.extract('([0-9]+)kg')
df =df.reindex(columns=['商品名', '入数', '商品価格', '商品説明文', '商品URL', '店舗名', '店舗URL'])

df.to_csv('20200914_rakuten_mayqueen_2.csv')

見やすいように列の入れ替えも行い、最後にcsv出力をしておきます。
こんな感じでDataFrameを作ることができました。

画像では、この後の分析のために入数を数値型に変換したのちに、商品価格を入数で割返したkg単価も付け加えてみました。ですが結構バラバラの数値が出ているので、ここは次回もうちょっと掘り下げてみます。

ともあれ、これで商品価格の分析のための下準備が終わったのではないでしょうか。

おわりに

分析のためには出来るだけ多いデータを集めた方が偏りが少ないと思うのですが、このやり方だと結構ざっくりと商品件数を削っており、もうちょっと上手いやり方がありそうだなと思いました。
また、残ったデータも完璧なものと言えるのか定かではないので、細かいデータ分析をするにはまだ検証しなければいけないことが多いと思います。

まあ今回は個人的にやっていることですし、まずはアウトプットできることを目指して、ある程度の納得感があれば良いなーくらいに思って、細かい部分にはこだわらず進めています。

次回、データを集計して商品価格の平均値などの統計量を算出してみたり、可視化や線形近似を行ってみてkg単価を算出してみたりと、簡単な分析を行ってみようと思います。

（記事リンク）農家のITマーケティング試行錯誤日記

[Python]農家のITマーケティング試行錯誤日記1.楽天商品検索APIを使って商品情報をcsv出力する

2020-09-01T22:20:21+09:00

はじめに

楽天市場のAPIを活用し、キーワードに当てはまる商品情報をcsvに出力してみました。

活用したのはこちらの「楽天商品検索API」というものです。
楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧

開発環境と使用するライブラリ

開発環境としてJupyter Notebookを利用しました。
大掛かりなツールや定期的に実行したいツール作成時にはまた別のテキストエディタで作っていく必要があるかもしれませんが、ちょっとした単発のツールを作る際には、Jupyter Notebookなら少しずつ試しながらスクリプトが書けるし、即座に実行できるのでとても便利です。

使用するライブラリはrequestとpandas。
APIを叩くためにrequestを使い、取得したデータ操作とcsv出力のためにpandasを利用しました。

目的

農産物を販売するための価格調査のために行いました。
取得した情報をもとに、さらに分析して意思決定するところまでを想定しています（今回は情報取得するところまで）。

色々な直販サイトはありますが、楽天市場は馴染みがあり商品数も多く、APIも提供されているので取得しやすいなと考えました。

楽天APIを扱う準備

APIを活用するためには、スクリプトを書き始める前にまずは楽天の開発者向けページからアプリを作成してIDを取得しなければいけません。

こちらのRakuten Developersのサイト
楽天ウェブサービス: API一覧

右上の「+アプリID発行」からアプリを作成しておきます。ここで取得したアプリIDを自分のスクリプトで実行する際に使うことで、楽天市場の情報にアクセスでき流ようになります。

楽天市場だけでなく、楽天の他のサービス（楽天トラベルや楽天レシピなど）のAPIもあるのが良いですね。機会があれば使ってみたいです。

商品情報を取得するスクリプト

(1)キーワードを入れて商品情報を取得してみる

今回は「メークイン」というじゃがいもの品種名をキーワードに含む商品情報を取得することにします。

まずは必要なライブラリのインポート。

import requests
import pandas as pd

次にAPIを叩いて情報を取得するスクリプト。

REQUEST_URL = "https://app.rakuten.co.jp/services/api/IchibaItem/Search/20170706"
APP_ID="<ここに楽天のサイトで取得したアプリIDを入れる>"

serch_keyword = 'メークイン'

serch_params={
    "format" : "json",
    "keyword" : serch_keyword,
    "applicationId" : [APP_ID],
    "availability" : 0,
    "hits" : 30,
    "page" : 1,
    "sort" : "-updateTimestamp"
}

response = requests.get(REQUEST_URL, serch_params)
result = response.json()

このスクリプトを実行したのち、result['Items']とすれば、情報がdict型のlistの形で取得できます。
今回は30商品が取得できています（serch_paramsの"hits":30で指定している数値がこの取得数に当たります）

先ほどのスクリプトをざっと見ておきます。

REQUEST_URLには楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧に載っているリクエストURLを指定。
APP_IDには先ほど楽天の開発者向けページから取得したアプリIDを記述しておきます。

serch_keywordで検索したい文字列を指定することで、そのキーワードにマッチする商品が検索されます。例えばここをPythonのinput()関数でユーザー入力を受け付けても使い勝手が良さそうですね。

次に、serch_paramsにはリクエストを送る際のパラメータをdict型で書いておきます。
楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧の「入力パラメーター」の項に詳細が載っていますので、詳細はそちらを参照してみてください。
注意点として、この入力パラメーターにはapplicationId（アプリID）は必須でこれには先ほど記述したAPP_IDを指定、またkeyword,shopCode, itemCode, genreIdのいずれかの指定が必須のようです。
今回は検索キーワードで商品情報を取得したいので、keywordに先ほど指定したserch_keywordを指定しました。

この入力パラメータの"hits":30というのが取得する商品の件数に当たり、最大値が30のようです（省略してもデフォルトで30が設定されているようですが、今回のスクリプトでは忘れないように明示しておきました）。
また"page":1というのが取得ページ番号になるので、この数値をfor文などでループを回せば複数ページに渡る大量の商品情報を簡単に取得できそうですね。

(2)必要な商品情報を入れたdict型を作成

さて、先ほどAPIを叩いて取得できたdictには楽天ウェブサービス: 楽天商品検索API(version:2017-07-06) | API一覧の「出力パラメーター」の項に載っている項目がdictのkeyとvalueとして入っています。

例えばresult['Items'][2]['Item']['itemName']という風にkeyを指定すると、商品名が取得できます。

現段階で取得した情報は、このままだと余計な情報も入っていて扱いが不便なので、必要な情報のみが入っているdictを作ることにします。以下の項目に絞りました。

「itemName」「itemPrice」「itemCaption」「shopName」「shopUrl」「itemUrl」
（後から、送料フラグ「postageFlag」も必要だなと思ったのですが、以下のスクリプトには反映されておりません）。

# for文を回してdictのlistを作る
item_key = ['itemName', 'itemPrice', 'itemCaption', 'shopName', 'shopUrl', 'itemUrl']
item_list = []
for i in range(0, len(result['Items'])):
    tmp_item = {}
    item = result['Items'][i]['Item']
    for key, value in item.items():
        if key in item_key:
            tmp_item[key] = value
    item_list.append(tmp_item)

これで、dict型の商品情報の入ったlistが取得できます。

ここで詰まったのが、item_list.append(tmp_item.copy())のところでcopy()メソッドを使う必要があることでした。
このメソッドを使わずitem_list.append(tmp_item)としてしまったら、１つの商品情報が複数入ったdictができてしまい、首をひねって日を跨ぐことに。

以下の記事に助けられました。

Pythonのリストにdict型の変数をappendすると変数がポインタ的に振る舞うので… · GitHub

この理屈は理解しておいた方が良さそうなので、また別途まとめたいですね。

(3)pandasでデータを整形

dict型のlistを作ることができたら、あとは難しいことはなくpandasの基本操作で事足ります。
データフレームを作り、また活用しやすくするために少し整形しておきます。

# データフレームを作成
item_df = pd.DataFrame(item_list)

# 列の順番を入れ替える
items_df = items_df.reindex(columns=['itemName', 'itemPrice', 'itemCaption', 'itemUrl', 'shopName', 'shopUrl'])

# 列名を日本語語に変更する
items_df.columns = ['商品名', '商品価格', '商品説明文', '商品URL', '店舗名', '店舗URL']

(4)csv出力

作成したデータフレームをcsvファイルに出力します。

items_df.to_csv('./rakuten_mayqueen.csv')

to_csv()メソッドの引数には、保存先のパス（ディレクトリとファイル名）を指定します。今回は相対パスで、このスクリプトがあるディレクトリ直下にcsvファイルを作成しました。

さて、出力されたデータをExcelなりSpreadSheetで開いてみましょう。

いい感じに取得することができました！

おわりに

ひとまず楽天市場から商品情報を取得して、csv出力まですることができました。
今後の方針としては、

(１)データの収集と整形
より目的にあったデータを必要な数だけ集めて、活用できる形に整形します。

取得する商品数を増やす
余計な商品を除外する
重量（例えば商品名に「10kg」「5kg」などが入っている）を別カラムに切り出す

単にデータ量を増やすだけでは意味がなくて、余計なデータや極端なデータを省いたデータを集める必要があります。商品情報取得時のソート順なども関係してきそうです。
例えば現状のデータだと、じゃがいもだけではなく包装資材やじゃがいもを使った別商品、謎に洋書まで取得してきている様子で、これらは除外するようにデータを加工しなければいけません。

(2)収集したデータの分析と意思決定

平均値、中央値、最小値、最大値などを算出してみる
妥当な値決めを行う（意思決定）

本当ならば別視点で「どの商品が売れ行きが良いのか」もデータを集めて分析できれば面白いのでしょうけど、今回はそこまでは考慮せず、現在の商品価格のみを見てみることにします。

より正確な意思決定にはまた別の学習（プログラミングスキル以外の）が必要になってきますね。
ただ、今回のデータを元に平均値などの統計量を見ることができれば、値決めの判断材料としては役に立つのかなーって思っています。
　
そんな訳で、次回は少し込み入ったデータ収集と加工をしてみたいと思います。