テキストファイル(SQL文) から MySQL にインポートする (Docker)

2021-12-08T23:55:01+09:00

大量のデータ(数十万レコード程度)を phpMyAdmin 経由で MySQL にインポートしようとしたらメモリ不足でコケたので、 CLI から直接インポートする方法を模索しました。

今回試したのは次の2つの方法

use DB_NAME; を SQL文のテキストファイルの先頭に記述した上で、 mysql -u root -p < FILE_PATH
MySQL にログインして use DB_NAME; した後に source FILE_PATH

方法1 (mysql -u root -p < FILE_PATH)

use DB_NAME; を SQL文のテキストファイルの先頭に記述した上で、 mysql -u root -p < FILE_PATH する方法です。

まず、 SQL文のテキストファイル (phpMyAdmin 等でエクスポートした、テーブル定義 CREATA TABLE やデータの INSERT を含むもの) に少し手を加えます。

-- MySQL dump XX.XX
--
-- Host: localhost    Database: DATABASE_NAME
-- ------------------------------------------------------
-- Server version   XX.XX.XX

USE DATABASE_NAME; /* 追記 */


/* 以下略 */

先頭に USE DATABASE_NAME; を記述して、どのデータベースにインポートするのか明記します。

この加工を施した上で、シェルに入り込み

> docker-compose exec db /bin/bash

※今回は MySQLサーバが Docker Compose 使用の Dockerコンテナなのでこれで入ります

# ls -al /home/MYSQL_DUMP.sql
-rw-r--r-- 1 root root XXXXX WWW dd hh:ii /home/MYSQL_DUMP.sql
# mysql -u root -p <  /home/MYSQL_DUMP.sql
Enter password: 
# exit

mysql -u root -p < /home/MYSQL_DUMP.sql でインポート。これで無事に入ったことを確認。

方法2 (use DB_NAME; && source FILE_PATH)

方法1だとお手軽ではあるのですが、実行する際に内容を確認せずに実行してしまうので若干怖い部分があります。

しかも今回は対象のファイルがかなり大きいのでエディタで開くのも一苦労なシロモノ。

そういった事情から、なるべくファイルの中身を編集することは避けたいと考えました。そこで2つ目の方法。

> docker-compose exec db /bin/bash

同じく入り込みます。

# mysql -u root -p
Enter password:
mysql>

今回は素直にログインします。

mysql> use DATABASE_NAME;
Database changed

違うのはまずここ。先程はファイル内で USE していましたが、今回はコマンドを直接叩きます。

mysql> source /home/MYSQL_DUMP.sql

# 略

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye

今回は source /home/MYSQL_DUMP.sql の形でインポートを実行します。クエリごとにログが出力される点も先程と異なりますね。

どちらの方法でも大量のデータを正常にインポートできることを確認しました。

余談: エクスポート

インポートするのが大変ならば、エクスポートするのも大変。同様に phpMyAdmin の画面からエクスポートさせようとすると固まってしまうので、エクスポートも CLI から行うことにします。

# mysqldump -u root -p -h localhost DATABASE_NAME > /home/MYSQL_DUMP.sql

mysqldumpコマンドでエクスポート。

参考

方法1, 方法2

方法2

【MySQL】 SQLをファイルから実行する方法 - Qiita

mysqldump によるエクスポート

mysqldumpまとめ - Qiita

Google Cloud Storage無料DBバックアップ

2018-06-18T08:33:07+09:00

サービスを運用していると、データベースのバックアップが必要になります。ただ、同じサーバー内にバックアップを保存すると、サーバーが壊れた際にまるごと紛失してしまいます。

そんな時、Google Cloud Storageだと無料でデータベースのバックアップを保存できるため非常に便利です。

無料枠の詳細

容量5GBまでは無料

Always Freeにより、下記はずっと無料になっています。

5 GB の Regional Storage（米国リージョンのみ）
5000 回のクラス A オペレーション（1 か月あたり）
50000 回のクラス B オペレーション（1 か月あたり）
1 GB の北米から全リージョン宛て下りネットワーク（1 か月あたり、中国およびオーストラリアを除く）

上記の通り、米国リージョンでGoogle Cloud Storageのバケットを作成しておくと、5GBまでは無料になります。DBのバックアップであれば速度は関係ないため、米国で良いと思います。

Google Cloud Storageにバックアップする総容量が5GBを超えると費用がかかってきてしまいます。

通信料も無料

上り（Google Cloud Storageへのアップロード）は基本的に無料です。バックアップする際は特に気にすることはありません。

下り（Google Cloud Storageからのダウンロード）は、前述の無料枠の通り、1GBまでは無料となっています。北米のリージョンにバケットを作って運用しましょう。

Google Compute Engineからだったら楽

Google Compute Engineからバックアップを行う場合、非常に楽です。

というのも、Google Compute Engineには最初からGoogle Cloud Storageへのアップロードに必要なgcloudやgsutilが元々入っており、しかも最初から認証済みになっています。そのため、ほとんど事前準備もなくコマンドを叩くだけでバックアップを行うことができます。

バケットなどは事前に作っておきましょう。（非公開にしましょう）

僕は下記のようなバックアップスクリプトを作成しました。
(gsutilのパスは適宜実際のものとあわせてください）

rm backup.sql.gz
mysqldump -u dbuser --password=hogehoge dbname > backup.sql
gzip backup.sql
/snap/bin/gsutil cp gs://backup-bucket/2.sql.gz gs://backup-bucket/3.sql.gz
/snap/bin/gsutil cp gs://backup-bucket/1.sql.gz gs://backup-bucket/2.sql.gz
/snap/bin/gsutil cp bakup.sql.gz gs://backup-bucket/1.sql.gz

3世代まで保存しています。容量に応じてこの辺は増やしたり減らしたりすれば良いと思います。

GCP以外からの場合はkey fileを使って認証が必要なようです。

まとめ

何にしろAmazon S3等と違い、Google Cloud Storageは年間クレジットだけでなく永久無料枠があるのが大きな魅力です。さらに、GCPとの連携であれば初期設定も省くことができるのですぐに使えて便利です。ぜひ一度Google Cloud Storageの利用を試してみてください。

※料金についてはその都度実際に確認を行ってください。

「mysqldump」の記事 - Crieit

テキストファイル(SQL文) から MySQL にインポートする (Docker)

Google Cloud Storage無料DBバックアップ