「MySQL」の記事 - Crieit

サーバやPC上のプログラムでModbus機器からデータを取得 (2)

2022-07-30T15:43:22+09:00

サーバやPC上のプログラムでModbus機器からデータを取得、その第二回です。
第一回では、Android上のModbusシミュレータからデータを取得するための、Perlスクリプトのサンプルを紹介しました。Perlでは問題があるという方は、他の言語で記述しても原理は変わらないはずなので、他の言語で実装してみてください。

サーバやPC上のプログラムでModbus機器からデータを取得 (1)

今回は、取得したデータをデータベースに保存します。

データベース

以前の記事で使用した、MySQLとテーブル"from_plc"
を使います。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)

C:\Users\hoge\Downloads>mysql -u hoge -p
Enter password: *******
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 60
Server version: 8.0.29 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use hoge
Database changed
mysql> desc from_plc;
+-------------+-----------+------+-----+-------------------+-------------------+
| Field       | Type      | Null | Key | Default           | Extra             |
+-------------+-----------+------+-----+-------------------+-------------------+
| body        | json      | YES  |     | NULL              |                   |
| time_insert | timestamp | YES  |     | CURRENT_TIMESTAMP | DEFAULT_GENERATED |
+-------------+-----------+------+-----+-------------------+-------------------+
2 rows in set (0.02 sec)

mysql>

テスト

Windows上ということで、再び MOD-RSsim に登場いただきます。MOD-RSsimを起動しておきます。

Perlスクリプトを実行します。

C:\Users\hoge\Downloads>perl sample.pl
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 00
{"ts":"2022-07-30T15:05:59.916895","value":0}

Holding Register 40001 の0を取得しデータベースに保存されます。

MOD-RSsim で 40001 に任意の数値を入力します。

40001 のデータが変わる都度、データベースに値が保存されます。

C:\Users\hoge\Downloads>perl sample.pl
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 00
{"ts":"2022-07-30T15:05:59.916895","value":0}
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 01
{"ts":"2022-07-30T15:06:04.10446","value":1}
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 02
{"ts":"2022-07-30T15:06:07.41537","value":2}
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 03
{"value":3,"ts":"2022-07-30T15:06:10.72655"}
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 04
{"value":4,"ts":"2022-07-30T15:06:12.150828"}
sent data:
length = 12
02 00 00 00 00 06 01 03 00 00 00 01
received response:
length = 11
02 00 00 00 00 05 01 03 02 00 05
{"ts":"2022-07-30T15:06:14.213053","value":5}
Terminating on signal SIGINT(2)

C:\Users\hoge\Downloads>

データベースのテーブル"from_plc"を確認してみます。

C:\Users\hoge\Downloads>mysql -u hoge -p
Enter password: *******
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 75
Server version: 8.0.29 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use hoge
Database changed
mysql> select * from from_plc;
+----------------------------------------------------+---------------------+
| body                                               | time_insert         |
+----------------------------------------------------+---------------------+
| {"ts": "2022-07-30T15:05:59.916895", "value": 0}   | 2022-07-30 15:05:59 |
| {"ts": "2022-07-30T15:06:04.10446", "value": 1}    | 2022-07-30 15:06:04 |
| {"ts": "2022-07-30T15:06:07.41537", "value": 2}    | 2022-07-30 15:06:07 |
| {"ts": "2022-07-30T15:06:10.72655", "value": 3}    | 2022-07-30 15:06:10 |
| {"ts": "2022-07-30T15:06:12.150828", "value": 4}   | 2022-07-30 15:06:12 |
| {"ts": "2022-07-30T15:06:14.213053", "value": 5}   | 2022-07-30 15:06:14 |
+----------------------------------------------------+---------------------+
6 rows in set (0.00 sec)

mysql>

このように、Modbus機器からのデータ取得は、専用の機器や商用のソフトウェアがなくても可能です。今回はModbus/TCPでしたが、RTUでも原理は同じです。
データ取得だけではなく、Modbus機器にデータを書き込むことも難しくはありません。Modbusの仕様を理解すれば、データの取得も書き込みも簡単です。
Modbusに限らず、各メーカのPLCの仕様もほとんどがオープンになっているので、それぞれの仕様を理解しさえすれば、Modbusと同じように自分で書いたプログラムでの読み書きが可能です。
様々な種類のPLCやリモートIOなどをアクセスする場合には、ゲートウェイなどを利用したほうが良いかもしれません。一方で、限られた種類のPLCやリモートIOをアクセスする場合は、自分で書いたプログラムを使用するという選択もあると思います。

「作らない」のではなく「作れない」んです。なぜ「作れない」のか？「作らない」からです。

サーバやPC上のプログラムでModbus機器からデータを取得 (1)

旅先でサーバ上のデータベースをメンテナンスする

2022-07-29T07:33:22+09:00

以前に投稿した記事「旅先でクラウド上のWindowsサーバにRDP接続」は、Androidセルフォンのアプリケーションで、SSHのポートフォワードを介して
WindowsサーバにRDP接続するというものでした。

旅先でクラウド上のWindowsサーバにRDP接続

この記事で紹介した、僕を助けてくれるアプリケーションのうちの1つがこれなんです。

これのポートフォワード設定を追加してあげると、セルフォンのアプリケーションから、サーバのデータベースのデータを参照したり更新したりすることができます。
皆さんもご存知のとおり、あたりまえのことなんですけどね。

ポートフォワード

ConnectBotのSSHに下図にようなポートフォワードを追加してあげます。この例は、SSHサーバのローカルで稼働するMySQLに接続する設定です。

RDPは以前に設定したものです。

データベースのデータを操作するアプリケーション

データベースのデータを操作するのに便利なアプリケーションがあります。僕の好みです。皆さんの評価など受け付けません。

MySQLへの接続はこんなふうにしてあげます。

デフォルトでSQLiteへの接続が見えますが、ここにSQLiteがいれば、おそらくつながるのでしょう。

MySQLをクリックすると、こんなふうにオブジェクトが見えるようになります。

MySQLでDBサーバ構築してレプリケーションさせる

2022-07-28T02:01:52+09:00

参考
① https://videohub.oracle.com/media/MySQL%208.0%20入門セミナー%20～インストール編%20for%20Linux%20&%20アーキテクチャ編～%20%282022年6月16日%29/1_ph7s6hxj
②MySQL公式ドキュメント：https://dev.mysql.com/doc/refman/8.0/ja/linux-installation.html

1. MySQLを開始

1.1. リポジトリをダウンロード

この記事では、Oracle Linuxを使用している。

[opc@mysql-master1 ~]$ cat /etc/oracle-release
Oracle Linux Server release 8.6

yumリポジトリを利用する。
https://dev.mysql.com/
から、MySQLサーバのOSバージョンと合致したリポジトリをネットに接続可能な端末にダウンロードし、MySQLサーバに配置する。

画面左部の「Downloads」タブをクリックし切り替わった画面のMySQL Yum Repositoryをクリック。
すると、複数種類のリポジトリが表示されるので、利用するMySQLサーバのOSバージョンと合致したリポジトリを選択する必要がある。

[opc@mysql-master1 ~]$ cat /etc/oracle-release
Oracle Linux Server release 8.6

ダウンロードしたら、利用予定のMySQLサーバに転送する。

[root@mysql-master1 tmp]# ll
total 16
-rw-r--r--. 1 kiban kiban 14432 Jul 23 15:12 mysql80-community-release-el8-4.noarch.rpm
drwx------. 3 root  root     17 Jul 23 15:05 systemd-private-e967423d4c9e455a88d0cd2ee0f307be-chronyd.service-2MooXe
drwx------. 3 root  root     17 Jul 23 15:05 systemd-private-e967423d4c9e455a88d0cd2ee0f307be-unified-monitoring-agent.service-RX6Cai
drwxr-xr-x. 2 root  root      6 Jul 21 17:08 unified-monitoring-agent

以上

1.2. MySQLのインストール

先述の1.1節で配置したインストーラーを用いてインストール開始する。

まずはインストーラを解凍し、解凍が無事に完了したらちゃんと解凍されていることを確認も行う。

[root@mysql-master1 tmp]# rpm -Uvh mysql80-community-release-el8-4.noarch.rpm
warning: mysql80-community-release-el8-4.noarch.rpm: Header V4 RSA/SHA256 Signature, key ID 3a79bd29: NOKEY
Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...
   1:mysql80-community-release-el8-4  ################################# [100%]

[root@mysql-master1 tmp]# yum repolist enabled |grep 'mysql'
mysql-connectors-community       MySQL Connectors Community
mysql-tools-community            MySQL Tools Community
mysql80-community                MySQL 8.0 Community Server

RHEL8などLinux8ベースのOSの場合のみ同梱されているMySQLの無効化を行う。

[root@mysql-master1 tmp]# yum module disable mysql
MySQL 8.0 Community Server                                                            70 MB/s | 2.3 MB     00:00
MySQL Connectors Community                                                           5.8 MB/s |  74 kB     00:00
MySQL Tools Community                                                                 26 MB/s | 459 kB     00:00
Dependencies resolved.
=====================================================================================================================
 Package                    Architecture              Version                       Repository                  Size
=====================================================================================================================
Disabling modules:
 mysql

Transaction Summary
=====================================================================================================================

Is this ok [y/N]: y
Complete!

MySQLのインストールを実施。

[root@mysql-master1 tmp]# yum install mysql-community-server
Last metadata expiration check: 0:02:03 ago on Sat 23 Jul 2022 03:22:37 PM GMT.
Dependencies resolved.
=====================================================================================================================
 Package                                  Architecture     Version                 Repository                   Size
=====================================================================================================================
Installing:
 mysql-community-server                   x86_64           8.0.29-1.el8            mysql80-community            53 M
Installing dependencies:
 mysql-community-client                   x86_64           8.0.29-1.el8            mysql80-community            14 M
 mysql-community-client-plugins           x86_64           8.0.29-1.el8            mysql80-community           2.4 M
 mysql-community-common                   x86_64           8.0.29-1.el8            mysql80-community           636 k
 mysql-community-icu-data-files           x86_64           8.0.29-1.el8            mysql80-community           2.1 M
 mysql-community-libs                     x86_64           8.0.29-1.el8            mysql80-community           1.5 M

Transaction Summary
=====================================================================================================================
Install  6 Packages

Total download size: 74 M
Installed size: 347 M
Is this ok [y/N]: y
Downloading Packages:
(1/6): mysql-community-common-8.0.29-1.el8.x86_64.rpm                                 25 MB/s | 636 kB     00:00
(2/6): mysql-community-client-plugins-8.0.29-1.el8.x86_64.rpm                         62 MB/s | 2.4 MB     00:00
(3/6): mysql-community-icu-data-files-8.0.29-1.el8.x86_64.rpm                         76 MB/s | 2.1 MB     00:00
(4/6): mysql-community-libs-8.0.29-1.el8.x86_64.rpm                                   64 MB/s | 1.5 MB     00:00
(5/6): mysql-community-client-8.0.29-1.el8.x86_64.rpm                                 95 MB/s |  14 MB     00:00
(6/6): mysql-community-server-8.0.29-1.el8.x86_64.rpm                                 98 MB/s |  53 MB     00:00
---------------------------------------------------------------------------------------------------------------------
Total                                                                                123 MB/s |  74 MB     00:00
MySQL 8.0 Community Server                                                           3.0 MB/s | 3.1 kB     00:00
Importing GPG key 0x3A79BD29:
 Userid     : "MySQL Release Engineering <[email protected]>"
 Fingerprint: 859B E8D7 C586 F538 430B 19C2 467B 942D 3A79 BD29
 From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
Is this ok [y/N]: y
Key imported successfully
MySQL 8.0 Community Server                                                           1.9 MB/s | 1.9 kB     00:00
Importing GPG key 0x5072E1F5:
 Userid     : "MySQL Release Engineering <[email protected]>"
 Fingerprint: A4A9 4068 76FC BD3C 4567 70C8 8C71 8D3B 5072 E1F5
 From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
Is this ok [y/N]: y
Key imported successfully
Running transaction check
Transaction check succeeded.
Running transaction test
Transaction test succeeded.
Running transaction
  Preparing        :                                                                                             1/1
  Installing       : mysql-community-common-8.0.29-1.el8.x86_64                                                  1/6
  Installing       : mysql-community-client-plugins-8.0.29-1.el8.x86_64                                          2/6
  Installing       : mysql-community-libs-8.0.29-1.el8.x86_64                                                    3/6
  Running scriptlet: mysql-community-libs-8.0.29-1.el8.x86_64                                                    3/6
  Installing       : mysql-community-client-8.0.29-1.el8.x86_64                                                  4/6
  Installing       : mysql-community-icu-data-files-8.0.29-1.el8.x86_64                                          5/6
  Running scriptlet: mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6
  Installing       : mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6
  Running scriptlet: mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6
  Verifying        : mysql-community-client-8.0.29-1.el8.x86_64                                                  1/6
  Verifying        : mysql-community-client-plugins-8.0.29-1.el8.x86_64                                          2/6
  Verifying        : mysql-community-common-8.0.29-1.el8.x86_64                                                  3/6
  Verifying        : mysql-community-icu-data-files-8.0.29-1.el8.x86_64                                          4/6
  Verifying        : mysql-community-libs-8.0.29-1.el8.x86_64                                                    5/6
  Verifying        : mysql-community-server-8.0.29-1.el8.x86_64                                                  6/6

Installed:
  mysql-community-client-8.0.29-1.el8.x86_64            mysql-community-client-plugins-8.0.29-1.el8.x86_64
  mysql-community-common-8.0.29-1.el8.x86_64            mysql-community-icu-data-files-8.0.29-1.el8.x86_64
  mysql-community-libs-8.0.29-1.el8.x86_64              mysql-community-server-8.0.29-1.el8.x86_64

Complete!

最後まで進んでインストール完了したら、MySQLを起動させる。
まずはステータスの確認から。

[root@mysql-master1 tmp]# systemctl status mysqld
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: inactive (dead)
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html

インストールされており、サービスとしてenableとなっていることがわかる。
それでは起動させる。

[root@mysql-master1 tmp]# systemctl start mysqld

[root@mysql-master1 tmp]# systemctl status mysqld
● mysqld.service - MySQL Server
   Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2022-07-23 15:45:02 GMT; 1min 29s ago
     Docs: man:mysqld(8)
           http://dev.mysql.com/doc/refman/en/using-systemd.html
  Process: 11752 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
 Main PID: 11834 (mysqld)
   Status: "Server is operational"
    Tasks: 37 (limit: 22765)
   Memory: 495.4M
   CGroup: /system.slice/mysqld.service
           mq11834 /usr/sbin/mysqld

Jul 23 15:44:56 mysql-master1 systemd[1]: Starting MySQL Server...
Jul 23 15:45:02 mysql-master1 systemd[1]: Started MySQL Server.

スタートさせた後は必ずステータスを確認して、起動していることを確認すること。

1.3 ログインしてパスワードを変更

rootユーザの初期パスワードはログに記載されているのでそこで確認し、自分の覚えやすいパスワードに変更していく。その後、他のユーザを作成してパスワード設定、権限設定を順次行う。

まずはrootユーザのパスワードを変更する。/var/log/mysql.logに記載されていることを確認。

[root@mysql-master1 log]# cat /var/log/mysqld.log
～
2022-07-23T15:44:59.597480Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: xCkVmf#Yd2ci
～

上記をみると、xCkVmf#Yd2ciが初期パスワードとして設定されていることがわかる。
ではログインして変更する。

[root@mysql-master1 log]# mysql -u root -p
Enter password:　　←ここにxCkVmf#Yd2ciを入力。表示はされないよ
～
mysql> alter user root@localhost identified by 'MyNewPass1!';
Query OK, 0 rows affected (0.00 sec)
mysql> exit
Bye

これでrootユーザのパスワードがMyNewPass4!に変更された。
再ログインしてみて、パスワード変更されたかを確認しておこう。
パスワード変更コマンドはいくつかあるので紹介する。

> set password for ユーザ名@ホスト名='任意password`;
現在ログインしてるユーザのパスワードを変更するには
> set password='任意passwword`;

ちなみに、パスワードポリシーはパスワード検証コンポーネントによって定義されている。これはデフォルトで有効になってる。内容は

mysql> SHOW VARIABLES LIKE 'validate_password%';
+--------------------------------------+--------+
| Variable_name                        | Value  |
+--------------------------------------+--------+
| validate_password.check_user_name    | ON     |
| validate_password.dictionary_file    |        |
| validate_password.length             | 8      |
| validate_password.mixed_case_count   | 1      |
| validate_password.number_count       | 1      |
| validate_password.policy             | MEDIUM |
| validate_password.special_char_count | 1      |
+--------------------------------------+--------+
7 rows in set (0.01 sec)

パスワード検証コンポーネントを無効化させるには

mysql> uninstall component 'file://component_validate_password';
Query OK, 0 rows affected (0.00 sec)

逆に有効化させるにはinstall component 'file://component_validate_password';を入力する。

2. MySQLアーキテクチャ

2.1 sampleデータ

サンプルデータをインストールする。
https://dev.mysql.com/doc/index-other.html
今回はworld databaseのzipファイルをローカルにダウンロードし、DBサーバに転送。zipファイルを解凍してからmysqlへインポートした。

$ unzip world-db.zip
$ cd world-db/
$ mysql -uroot -proomysqld < world.sql

これでインポート完了したので中身の確認をしてみる。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              |
+--------------------+
5 rows in set (0.00 sec)

mysql> use world
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+-----------------+
| Tables_in_world |
+-----------------+
| city            |
| country         |
| countrylanguage |
+-----------------+
3 rows in set (0.01 sec)

そのほかにも自分でテーブルを作成してみる。

mysql> create table `sample1` (
    -> `code` char(3) not null default '', `population` int(11) not null default '0', primary key (`code`))
    -> engine=InnoDB;
Query OK, 0 rows affected, 1 warning (0.02 sec)

インポートしたデータはデフォルトでは/var/lib/mysqlに配置される。

[root@mysql-master1 mysql]# ll
total 189584
-rw-r-----. 1 mysql mysql       56 Jul 23 15:44  auto.cnf
-rw-r-----. 1 mysql mysql   736313 Jul 27 15:29  binlog.000001
-rw-r-----. 1 mysql mysql       16 Jul 23 15:45  binlog.index
-rw-------. 1 mysql mysql     1680 Jul 23 15:44  ca-key.pem
-rw-r--r--. 1 mysql mysql     1112 Jul 23 15:44  ca.pem
-rw-r--r--. 1 mysql mysql     1112 Jul 23 15:44  client-cert.pem
-rw-------. 1 mysql mysql     1676 Jul 23 15:44  client-key.pem
-rw-r-----. 1 mysql mysql   196608 Jul 27 15:31 '#ib_16384_0.dblwr'
-rw-r-----. 1 mysql mysql  8585216 Jul 23 15:44 '#ib_16384_1.dblwr'
-rw-r-----. 1 mysql mysql     5942 Jul 23 15:45  ib_buffer_pool
-rw-r-----. 1 mysql mysql 12582912 Jul 27 15:29  ibdata1　←システムtableスペース
-rw-r-----. 1 mysql mysql 50331648 Jul 27 15:31  ib_logfile0　←REDOログデータ
-rw-r-----. 1 mysql mysql 50331648 Jul 23 15:44  ib_logfile1　←REDOログデータ
-rw-r-----. 1 mysql mysql 12582912 Jul 23 15:45  ibtmp1
drwxr-x---. 2 mysql mysql      187 Jul 23 15:45 '#innodb_temp'
drwxr-x---. 2 mysql mysql      143 Jul 23 15:44  mysql 　←この配下に一般ログやslowログがある
-rw-r-----. 1 mysql mysql 25165824 Jul 27 15:29  mysql.ibd
srwxrwxrwx. 1 mysql mysql        0 Jul 23 15:45  mysql.sock
-rw-------. 1 mysql mysql        6 Jul 23 15:45  mysql.sock.lock
drwxr-x---. 2 mysql mysql     8192 Jul 23 15:44  performance_schema
-rw-------. 1 mysql mysql     1680 Jul 23 15:44  private_key.pem
-rw-r--r--. 1 mysql mysql      452 Jul 23 15:44  public_key.pem
-rw-r--r--. 1 mysql mysql     1112 Jul 23 15:44  server-cert.pem
-rw-------. 1 mysql mysql     1676 Jul 23 15:44  server-key.pem
drwxr-x---. 2 mysql mysql       28 Jul 23 15:45  sys
-rw-r-----. 1 mysql mysql 16777216 Jul 27 15:29  undo_001
-rw-r-----. 1 mysql mysql 16777216 Jul 27 15:31  undo_002
drwxr-x---. 2 mysql mysql       87 Jul 27 15:29  world　　←インポートしたデータ

2.2 システム変数設定

MySQLサーバの設定はシステム変数で設定する。設定方法は、①my.cnfで設定した後に再起動を行う、②一時的な設定を行う（一部の変数しか設定変更できない）。

2.2.1 my.cnfで設定

設定ファイルは/etc/my.cnfが読み込まれることになっている。デフォルト設定を変更して任意のディレクトリに配置したmy.cnfを読み込ませたかったら以下を実施。複数ファイルを読み込んだら後勝ちになる。

$ mysqld --verbose --help
$ mysqld --defaults-file=/usr/local/mysql/date/my.cnf &

設定ファイルを変更したら基本的にはmysqlの再起動を行う。

2.2.2 一時的な設定

参考：https://dev.mysql.com/doc/refman/8.0/ja/server-system-variables.html

MySQLを再起動かけられないときなどは、my.cnfの編集なしに設定値を変更できる変数がある。ただし、一時的に設定変更しても、再起動やmy.cnfのリロードを行うと一時的な設定が元に戻る点に注意。

設定方法は以下で行える。設定はセッション単位(LOCAL)、サーバ全体(GLOBAL)での変更が可能。

> set [global|sesison] <変数> =<値>;

設定した値の確認方法は以下。

show [global|session] variables like '%<システム変数名>%';

実際に設定されてるシステム変数を一括で確認するには

$ mysqld --verbose --help

で確認できる。

一時的な設定変更を永続化させることができる。その場合は設定する際にpersistを付け加えればよい。

> set persist max_connections = 500;

システム変数を永続化オプションをつけて設定した場合はmy.cnfとの設定に差異がでる。そういった場合に設定変更履歴を確認するにはperformance_schemaを参照すること。

mysql> select * from performance_schema.variables_info where variable_source='persisted';
Empty set (0.00 sec)

2.2.3 システム変数例

nnodb_buffer_pool_sizeInno：DBバッファプールサイズ
innodb_log_buffer_sizeInno：DBログバッファのサイズ（メモリ上）
innodb_log_file_size：ログファイルのサイズ（ディスク上）
innodb_log_files_in_groups：ログファイルの数（デフォルト2）
binlog_expire_logs_seconds：バイナリログを削除するまでの期間を秒単位で指定。デフォルトは30日。

3. レプリケーション設定

レプリケーションの設定は4手順ある。
①レプリケーション用のパラメータを設定、
②マスター側にレプリケーションユーザ作成、
③マスター側のバックアップを取得し、スレーブ側にリストアする。そして、
④スレーブ側でレプリケーションのためにマスター情報やポジション情報を設定しレプリケーションをスタートさせる。

3.1 レプリケーション用のパラメータ設定

マスター側で設定するパラメータ

server-id
log_bin
datedir
gtid-mode
enforce-gtid-consistency = on
log-slave-updates

3.2 ソースサーバにレプリケーションユーザ作成

https://dev.mysql.com/doc/refman/8.0/ja/replication-howto-repuser.html
ソースサーバにレプリケーション用のユーザを作成して、そのユーザにレプリケーションスレーブ権限を付与させる。

mysql> create user repl@'10.1.%' identified by 'password';
Query OK, 0 rows affected (0.01 sec)

mysql> grant replication slave on *.* to repl@'10.1.%';
Query OK, 0 rows affected (0.00 sec)

replユーザがどこから接続可能にしたいのかによって、repl@'10.1.%'の書き方は変わってくる。localhostにするとほかのサーバがreplユーザでアクセスできないので注意。ユーザを作成したらパスワードの設定も忘れずに。
設定が完了したら、想定通りの挙動になっているかの確認を行う。
まずはマスター側でユーザの確認。

mysql> SELECT user, host, plugin FROM mysql.user;
+------------------+-----------+-----------------------+
| user             | host      | plugin                |
+------------------+-----------+-----------------------+
| repl             | 10.1.%    | caching_sha2_password |
| mysql.infoschema | localhost | caching_sha2_password |
| mysql.session    | localhost | caching_sha2_password |
| mysql.sys        | localhost | caching_sha2_password |
| root             | localhost | caching_sha2_password |
+------------------+-----------+-----------------------+
5 rows in set (0.00 sec)

replユーザのhostが10.1.%になっていることを確認。つまり、localhostに設定されていないので、①マスター側で接続を試みてもログインできないが②スレーブサーバからはログインできるということになる。確認しよう。
①

[kiban@mysql-master1 ~]$ mysql -urepl -p
Enter password:
ERROR 1045 (28000): Access denied for user 'repl'@'localhost' (using password: YES)

②

mysql -h10.1.2.148 -urepl -p
Enter password:
mysql>

①②を通じて、想定通りの設定が行われたことが確認できた。

3.3 dump出力

元から入ってるデータベース（システムデータベース）はレプリケーションされないので、それ以外（今回でいえばworld）だけエクスポートする。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              | 　　←これが出力対象
+--------------------+

以下でエクスポートする。

mysqldump -uroot -p<パスワード入力> --master-data=2 --socket=/var/lib/mysql/mysql.sock --hex-blob --flush-logs --default-character-set=utf8mb4 --databases world --single-transaction --triggers --routines --events > mysql_bkup_dump_20220807.sql

出力されたダンプをレプリカサーバに転送して、インポートさせる。

mysql -hlocalhost -uroot -roomysqld < mysql_bkup_dump_20220807.sql

インポート完了したらｍ、mysqlサーバにログインしてworldデータベースが存在することを確認する。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              |
+--------------------+
5 rows in set (0.00 sec)

あることがわかった。

【重要】
レプリカサーバ側で。datedir配下にあるauto.cnfを削除する。

3.4 レプリケーション情報のセット

レプリカサーバ側でレプリケーションを行うための情報として、ソースサーバの情報をセットする。

まずはマスター側の情報を取得する。

mysql> show master status;
+-------------------------+----------+--------------+------------------+-------------------+
| File                    | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+-------------------------+----------+--------------+------------------+-------------------+
| master-mysql-bin.000006 |      157 |              |                  |                   |
+-------------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

続いて、上記の情報をもとにスレーブ側で情報をセット。

mysql> change master to master_host='<マスターサーバのIPアドレス>',
    -> master_user='repl',
    -> master_password='',
    -> master_log_file='master-mysql-bin.000006',
    -> master_log_pos=157;
Query OK, 0 rows affected, 8 warnings (0.02 sec)

セットが完了したら、想定通りの設定がされているかをスレーブ側で確認。

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State:
                  Master_Host: <マスターサーバのIPアドレス>
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-mysql-bin.000006
          Read_Master_Log_Pos: 157
               Relay_Log_File: mysql-slave1-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: master-mysql-bin.000006
             Slave_IO_Running: No
            Slave_SQL_Running: No
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 157
              Relay_Log_Space: 157
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 0
                  Master_UUID:
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State:
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

設定が想定通りになっていることが確認できたので、いよいよレプリケーションを始める。

mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.01 sec)

レプリケーションを開始すると、slaveのステータスを再度確認する。

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Connecting to source
                  Master_Host: 10.1.2.148
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-mysql-bin.000006
          Read_Master_Log_Pos: 157
               Relay_Log_File: mysql-slave1-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: master-mysql-bin.000006
             Slave_IO_Running: Connecting
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 157
              Relay_Log_Space: 157
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 2003
                Last_IO_Error: error connecting to master '[email protected]:3306' - retry-time: 60 retries: 1 message: Can't connect to MySQL server on '10.1.2.148:3306' (110)
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 0
                  Master_UUID:
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Replica has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp: 220806 21:33:27
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

本来なら、マスターサーバのバイナリログを取り込んでリレーログにするSlave_IO_Runningと、取り込まれたリレーログからイベントを取り出してデータベースに反映させるSlave_SQL_RunningのステータスがともにYESになるはずである。しかし、Slave_IO_RunningがConnectingになっている。

そこで、スレーブサーバからマスターサーバの3306番ポートへ接続できるか確認するためにnc -vz マスターのIP 3306を実行したところ、接続できなかった。

$ nc -vz 10.1.2.58 3306
Ncat: Version 7.70 ( https://nmap.org/ncat )
Ncat: No route to host.

ネットワーク設定に問題がないことは確認済みなので、サーバのfierwall設定を行う。

# firewall-cmd --zone=public --add-port=3306/tcp --permanet
# firewall-cmd --reload

# nc -vz 10.1.2.58 3306
Ncat: Version 7.70 ( https://nmap.org/ncat )
Ncat: Connected to 10.1.2.58:3306.
Ncat: 0 bytes sent, 0 bytes received in 0.01 seconds.

3306番ポートへ接続できることを確認。

スレーブのステータスを確認すると、

Slave_IO_Running: Yes

となってた。
レプリケーションされてることが確認できたので、マスター側で変更したデータがスレーブ側に連携されるかテストする。
まずはマスター側でスキーマ作成。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| world              |
+--------------------+
5 rows in set (0.01 sec)

mysql> create database test1;
Query OK, 1 row affected (0.00 sec)

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
| world              |
+--------------------+
6 rows in set (0.00 sec)

続いて、スレーブ側でtest1スキーマが作成されていることを確認。

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test1              |
| world              |
+--------------------+
6 rows in set (0.00 sec)

ちゃんと作成されていた。
これでレプリケーションが正常にされていることがわかった。

4.MySQLチューニング

4.1

innodb_log_file_sizeログファイルのサイズ（ディスク上）。innodb_buffer_pool_sizeの25～100%ぐらい。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (6)

2022-07-23T23:14:58+09:00

PLCからゲートウェイでデータを取得し、データベースにJSONで保存します。複数回に分けて、サンプルを用いて解説します。
前回は、PLCから取得したデータをデータベースに保存しました。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)

タイトルに書かれたテーマは前回で完了しています。完了していますが、これでは何か物足りないと感じ、今回はデータベースに次々と書かれるPLCからのデータをブラウザに表示してみます。

WEBアプリケーション

データベースのデータをWEBブラウザに表示するために、WEBアプリケーションをサーバ上に作成します。このサンプルでは、WEBアプリケーションはPHPスクリプトで実装します。

いよいよ図が窮屈になってきました。これ以上に窮屈な図は、もはや理解容易性の面で逆効果です。正確さと理解容易性は、ある時点以後、反比例します。

PHPである必要はありません。では、このサンプルを何故にPHPスクリプトで実装するのか？それは、そこ（私の開発環境）にPHPが稼働していたから。

PHPの準備についてはここでは解説しません。PHPの準備についての解説は、他の記事にお任せします。PHPスクリプトでのMySQLアクセスについても、他の記事にお任せします。

HTMLとPHPスクリプト、そしてJavaScript

結果的には、サーバ・サイドはPHPスクリプトのみではなく、以下の3つのファイルで構成してみました。

HTML
PHPスクリプト
JavaScript

3つめの JavaScript は jQuery です。jQuery は一般に配布されているとても便利なライブラリです。jQuery を利用することにより、とても高機能なWEBアプリケーションを短期間で実装することができます。jQuery の解説も他の記事にお任せします。

以下がサンプルです。

index.htm



  
  
  Sample
  
  


  count: count

index.php

getMessage() . "\n";
    exit();
  }

  $sql = "SELECT JSON_EXTRACT(body, '$.value') AS count FROM from_plc ORDER BY time_insert DESC";
  $res= $dbh->query($sql);
  foreach($res as $value) {
    echo $value['count'];
    break;
  }
?>

jQuery は、HTML中で参照されている、jquery-3.6.0.min.js です。
HTML中には、jQueryを呼び出すオリジナルのJavaScriptスクリプトを書いています。
いずれもコードの解説はいたしません。

WEBブラウザでアクセスしてみる

WEBブラウザで上記の index.htm を参照すると以下ようになります。

数字は、データベース上のテーブルが更新される都度変化してます。（正確には、JSONの要素"value"の値が変化してから1秒以内に、ブラウザの表示も変化します）

最後に

ここまでサンプルとして実装したシステムを応用すると、工場の機器により製造される製品の生産数を、ほぼリアルタイムに画面表示する、といったシステムを構築することができます。
勘違いしていただきたくないのは、この記事で示したサンプルはあくまでもサンプルであって、基盤となるミドルウェアやプロトコル、プログラム言語は、この記事のサンプルで使用したものである必要はありません。もし、この記事で取り上げたような、PLCからデータを取得し、これを処理するようなシステムを設計・構築する場合は、この記事の内容にとらわれず、それぞれの環境、条件、実現したい機能などに応じて、最適なハードウェア、ミドルウェア、プロトコル、プログラム言語、そしてアーキテクチャを想像し選択してください。

実はこのアーキテクチャを想像する、というのが設計者にとって最も楽しく重要な工程なのです。実装のテクニックなどは、アーキテクチャの上に成立する技術であって、アーキテクチャがイマイチなシステムは、おそらく実装もへんてこりんになってしまったり、どこかアンバランスなものになってしまうものです。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (3)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)

2022-07-22T18:43:07+09:00

PLCからゲートウェイでデータを取得し、データベースにJSONで保存します。複数回に分けて、サンプルを用いて解説します。
前回は、データを保存するデータベースとテーブルを準備しました。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)

今回は、MQTTブローカーからデータを受信するサブスクライバーを実装します。少々駆け足になりますが、サブスクライバーには、データを受信しつつデータベースに書き込むまでを実装します。

プログラミング

Pythonを使用して実装します。Pythonでなければならない合理的な理由はありませんが、私の環境では、Pythonではだめだという理由もありません。

PythonでMQTTをハンドリングには、paho-mqttというライブラリを使うと、新規コーディング量を減らすことができます。paho-mqttの導入については、このサイトをおすすめします。
Python で MQTT (Paho)

同様に、PythonからMySQLをアクセスするには、mysql-connector-python-rfというライブラリを使うと、新規コーディング量を減らすことができます。mysql-connector-python-rfの導入については、このサイトをおすすめします。
Python 3 から MySQL を触る

最低限の機能を実装してみました。

import paho.mqtt.client as mqtt
import json
import mysql.connector

#-----------------------------
#    mqtt
host = '127.0.0.1'
port = 1883
topic = 'sample'

def on_connect(client, userdata, flags, respons_code):
    print('status {0}'.format(respons_code))
    client.subscribe(topic)

def on_message(client, userdata, msg):
    json_text = json.dumps(json.loads(msg.payload))
    print(json_text)
    try:
        #-----------------------------
        #    database
        conn = mysql.connector.connect(
            host='127.0.0.1',
            port=3306,
            user='hoge',
            password='hoge001',
            database='hoge'
        )
        cur = conn.cursor()
        sql = "insert into from_plc (body) values (%s);"
        cur.execute(sql, (json_text,))
        conn.commit()
        cur.close()
        conn.close()
    except Exception as e:
        print(e)
        print("Debug: Error at Database access.")
        return

if __name__ == '__main__':
    client = mqtt.Client(protocol=mqtt.MQTTv311)
    client.on_connect = on_connect
    client.on_message = on_message
    client.connect(host, port=port, keepalive=60)
    client.loop_forever()

サンプル・プログラムは、MQTTブローカー（=mosquitto）に届く、Topic = sample のメッセージを待ち受けます。メッセージが届くと、メッセージ中のデータをJSON文字列に変換し、これをMySQLのテーブル"from_plc"に追加します。この動作をひたすら繰り返します。

テスト

Pythonスクリプトを起動しておきます。

c:\Users\hoge>py sample.py
status 0

これまでと同様に、PLCには、本物の代わりにModbus/TCPシミュレーターを使用します。
Modbus/TCPシミュレーター"mod_RSsim.exe"を起動します。

ゲートウェイのシミュレーターを起動するために、EasyBuilderのメニュー[プロジェクト]-[オンラインシミュレーション]をクリックします。

シミュレーターの起動を確認します。

Modbus/TCPシミュレータの、アドレス40001（注意: +0です）をクリックし、Valueに任意の数値を入力し値を変更します。[OK]ボタンで閉じます。

Modbus/TCPシミュレータの、アドレス40001の値を変更する都度、Pythonスクリプトがこの情報をJSONで受け取り、コンソールに表示します。
Pythonスクリプトを止めるには、キーボードからCtrl+Cを押してください。

c:\Users\hoge>py sample.py
status 0
{"value": 0, "ts": "2022-07-21T15:27:43.676079"}
{"value": 1, "ts": "2022-07-21T15:27:49.704662"}
{"value": 2, "ts": "2022-07-21T15:27:57.641088"}
{"value": 3, "ts": "2022-07-21T15:28:07.644020"}
{"value": 4, "ts": "2022-07-21T15:28:11.627588"}
{"value": 5, "ts": "2022-07-21T15:28:14.659965"}
Traceback (most recent call last):
  File "c:\Users\hoge\sample.py", line 44, in 
    client.loop_forever()
  File "C:\Users\hoge\AppData\Local\Programs\Python\Python310\lib\site-packages\paho\mqtt\client.py", line 1756, in loop_forever
    rc = self._loop(timeout)
  File "C:\Users\hoge\AppData\Local\Programs\Python\Python310\lib\site-packages\paho\mqtt\client.py", line 1150, in _loop
    socklist = select.select(rlist, wlist, [], timeout)
KeyboardInterrupt
^C
c:\Users\hoge>py sample.py

MySQLのテーブル"from_plc"を確認すると、ゲートウェイからのJSONデータが保存されているのはわかります。

c:\Users\hoge>mysql -u hoge -p
Enter password: *******
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 24
Server version: 8.0.29 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use hoge
Database changed
mysql> select * from from_plc;
+--------------------------------------------------+---------------------+
| body                                             | time_insert         |
+--------------------------------------------------+---------------------+
| {"ts": "2022-07-21T15:27:43.676079", "value": 0} | 2022-07-21 23:27:43 |
| {"ts": "2022-07-21T15:27:49.704662", "value": 1} | 2022-07-21 23:27:49 |
| {"ts": "2022-07-21T15:27:57.641088", "value": 2} | 2022-07-21 23:27:57 |
| {"ts": "2022-07-21T15:28:07.644020", "value": 3} | 2022-07-21 23:28:07 |
| {"ts": "2022-07-21T15:28:11.627588", "value": 4} | 2022-07-21 23:28:11 |
| {"ts": "2022-07-21T15:28:14.659965", "value": 5} | 2022-07-21 23:28:14 |
+--------------------------------------------------+---------------------+
6 rows in set (0.00 sec)

mysql>

次回

PLCのデータをデータベースにJSONで書きました。もう次回は不要かもしれませんが、せっかくデータベースに書いたので、次回はこれをブラウザに表示させます。くどいなあ。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)

2022-07-21T09:17:30+09:00

PLCからゲートウェイでデータを取得し、データベースにJSONで保存します。複数回に分けて、サンプルを用いて解説します。
初回から前回にかけては、ゲートウェイを使って、PLCから取得したデータをMQTTでブローカーに送信するまでを実装しました。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (3)

今回はデータベースを準備します。

データベース

このサンプルではMySQLを使用します。MySQLでなければいけない理由はまったくありません。MySQLを選択した理由は、そこ（私の開発環境、作業場ですね）で動いていたからです。
テーマを「JSONで保存」とした以上は、JSON型をサポートしているDBMSである必要はあるのですが、MySQL以外にもJSON型をサポートしているDBMSはあります。

ユーザとデータベースは事前に作成されていたものを使います。これらの作成については解説はいたしません。

MySQLにおける、データベースとユーザの作成については、こちらを参照ください。
データベースの作成
 ユーザーの作成

テーブルを作成する

任意のユーザとデータベースでテーブルを作成します。

hoge@localhost C:\Users\hoge>mysql -u hoge -p
Enter password: *******
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 9
Server version: 8.0.29 MySQL Community Server - GPL

Copyright (c) 2000, 2022, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use hoge
Database changed
mysql>

データを保存するためのテーブルをひとつだけ作成します。

mysql> create table from_plc (
    -> body json,
    -> time_insert timestamp default current_timestamp
    -> );
Query OK, 0 rows affected (0.17 sec)

mysql> show full columns from from_plc;
+-------------+-----------+-----------+------+-----+-------------------+-------------------+---------------------------------+---------+
| Field       | Type      | Collation | Null | Key | Default           | Extra             | Privileges                      | Comment |
+-------------+-----------+-----------+------+-----+-------------------+-------------------+---------------------------------+---------+
| body        | json      | NULL      | YES  |     | NULL              |                   | select,insert,update,references |         |
| time_insert | timestamp | NULL      | YES  |     | CURRENT_TIMESTAMP | DEFAULT_GENERATED | select,insert,update,references |         |
+-------------+-----------+-----------+------+-----+-------------------+-------------------+---------------------------------+---------+
2 rows in set (0.07 sec)

mysql>

次回

続きは次回とさせていただきます。
MySQLのセットアップを行われた方がいるとすれば、その方にとっては、この記事の中で最も時間を要した回であったはずです。そういった方に配慮し、今回は短めとし続きは次回とさせていただきます。
私の記事は先を急ぎませんので。
次回は、いよいよデータをデータベースに書き込みます。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (3)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (6)

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (3)

2022-07-20T08:40:18+09:00

PLCからゲートウェイでデータを取得し、データベースにJSONで保存します。複数回に分けて、サンプルを用いて解説します。
前回は、ゲートウェイを用いてPLCからデータを取得し、ゲートウェイのメモリに保存しました。
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)

今回はこのデータをサーバに送信します。

サンプルで使用するゲートウェイは、引き続きWEINTEK製ゲートウェイの開発環境であるEasyBuilderのシミュレーターです。WEINTEK製ゲートウェイはサーバへのデータ送信に2種類のインタフェースを持っており、そのひとつがMQTTです。サンプルではMQTTを使用してサーバにデータを送信します。

IT技術より生産現場の技術に強い方は、"MQTT"とか登場した時点で「もういやだな」となるかもしれません。そういった方はロガーの類が欲しくなりますよね。わかります。この記事ではロガーの類はまったく登場しません。この先を読み進めるかどうか、ご自由にご判断ください。

サーバ側にはMQTTのブローカーが必要となります。サンプルでは、MQTTブローカーとしてMosquittoを使用します。

Mosquittoはテストの場面で必要となります。サンプルの実装に加えて、テストをしてみたいという方は、自己責任でMosquitto、あるいは他のMQTTブローカーを準備してください。Mosquittoの準備については以下を参照してください。
【MQTT】MQTTの導入 mosquittoのインストール/動作確認まで

ゲートウェイのMQTT送信設定

データをサーバに送信するために、前回まで作成したプロジェクトに設定を加えます。

EasyBuilderのメニュー[IIoT/エネルギー]-[MQTT]をクリックすます。

[有効にする]をクリックします。

[一般的な属性]はデフォルトのままです。サンプルでは、ゲートウェイのシミュレーターと同じWindowsでMosquittoを動作させるので、IPアドレスは127.0.0.1のままです。[OK]ボタンをクリックします。

[トピック発行者]タブで[新規作成]ボタンをクリックします。

[一般的な属性]タブで以下のように設定します。
中ほどの設定、[アドレス]のLBと0は、LB0がONになったらMQTTでサーバにデータを送信する、という意図です。

[アドレス]タブに移り、[新規作成]ボタンをクリックします。

ダイアログに以下のように設定し、[OK]ボタンをクリックします。
[アドレス]の設定LWと0は、LW0にあるデータを送信する、という意図です。LW0には、PLCから取得したデータが置かれています。

[MQTTトピック発行者オブジェクト属性]ウィンドウの[OK]ボタンをクリックします。

[MQTT]ウィンドウの[終了]ボタンをクリックします。

以上で、ゲートウェイのMQTT設定は完了です。

ゲートウェイのプログラミング

前回作成したゲートウェイのプログラムに、若干のステップを追加します。

EasyBuilderのメニュー[プロジェクト]-[マクロ]をクリックします。

[ID : 001]をダブル・クリックします。

以下のように、ステップを追加します。

6〜10行目では、今回取得したデータと前回取得したデータを比較して、同じデータであったら何もしない、と書いています。業務上、連続する同じデータは不要という場合に、サーバに無駄なデータを送信しません。
13〜14行目は、MQTT送信をキックするために、ゲートウェイのLB0をオンにします。LB0はMQTT送信後に自動でオフになります（そのようにMQTTを設定しました）。

コピーしたい方はこちらからどうぞ。

macro_command main()
        unsigned short        x40001 = 0
        GetData(x40001, "MODBUS TCP/IP (32-Bit)", 4x, 1, 1)
        
        unsigned short        LW0 = 0
        GetData(LW0, "Local HMI", LW, 0, 1)
        if x40001 == LW0 then
                return
        end if

        SetData(x40001, "Local HMI", LW, 0, 1)
        bool        LB0 = 1        
        SetData(LB0, "Local HMI", LB, 0, 1)

end macro_command

エディタの[閉じる]ボタンをクリックします。

[コンパイルが成功]に[ID : 000]があることを確認します。

連続する同じデータは不要

連続する同じデータは不要という仕様は、よくある仕様です。例えば、工場の生産マシンで生産される製品の数をPLCで数えている場合、そのカウンタがこれに該当します。変化のないカウント値は不要なはずです。この不要なデータをネットワークやサーバに垂れ流すと、ネットワークやサーバにとって無駄な負荷となります。データベースのサイズも無駄に膨れ上がります。「IoTのデータは無駄なデータばかりだけど、そういうものだ」という誤った悟りを持った設計者を多く見かけますが、実は、設計次第でエレガントなシステムになります。想像が足りないだけなのです。
時系列データベースが提供する重複排除機能などは、あったほうが便利、という程度です。排除する前に発生させなければ良いのです。ただし、ロガーなどを使って無秩序に記録したデータをデータベースにロードする、というような場合は、不要なデータの排除に苦労します。
連続する同じデータをサーバ側で捨てるテクニックもあります。これについては機会があれば、別途解説をさせていただきます。

テスト

テストには、MQTTブローカーと、一時的にテストで使用するMQTTの汎用サブスクライバーが必要となります。
これらは、Mosquittoが提供してくれます。Mosquittoの準備については以下を参照してください。
【MQTT】MQTTの導入 mosquittoのインストール/動作確認まで

私の開発・テスト環境では、MosquittoブローカーはWindowsの設定で自動起動にしてあり、常に実行中です。

注意: 他のサーバ上のMosquittoへ送信する場合には注意が必要です。Mosquittoは、標準の設定では外部からのメッセージを受け付けません。この場合は、外部からのメッセージを受け付けるよう、Mosquittoの設定を変更する必要があります。

受信側となるMQTTサブスクライバーを起動しておきます。
Mosquittoにはコマンド起動可能な簡単なサブスクライバーが付属しています。Windowsでは、このコマンドはMosquittoのインストール・フォルダにあります。
以下のように起動しておきます。

c:\Program Files\mosquitto>mosquitto_sub -h localhost -t sample

オプション -h localhost は、localhost上のブローカーから受信することを示しています。-t sample はトピック名を示しており、ゲートウェイのMQTT設定で設定したトピック名と同じである必要があります。mosquitto_sub はトピックsampleのメッセージをひたすら待ち続けます。

前回のテストと同様に、Modbus/TCPシミュレーター"mod_RSsim.exe"を起動します。

注意: "mod_RSsim.exe"は連続起動に時間制限がある点に注意してください。制限を超えた場合は再起動させます。

EasyBuilderのメニュー[プロジェクト]-[オンラインシミュレーション]をクリックします。

シミュレーターが起動したことを確認します。

前回のテストと同様に、Mdobus/TCPシミュレーターのアドレス40001のデータを任意の数値に書き換えます。

Mosquittoのサブスクライバーが、受信したデータをコンソールに出力します。

ゲートウェイのプログラムで、データに変化があった場合にのみ送信、としているため同じデータが次々と送られてくることはありません。ゲートウェイを単なるプロトコル変換器だと考えているなら、それは誤りです。

ゲートウェイのMQTT設定にて、タイムスタンプを付与するよう設定したため、tsという名前でゲートウェイの時刻が送られてきます。

このゲートウェイの時刻はサーバの時刻と必ずしも一致しない、という点を設計上留意してください。時刻の取扱いについては別途、解説をさせていただきます。

以上でテストは終了です。

次回

続きは次回とさせていただきます。
次回は、データベースを準備します。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (6)

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)

2022-07-19T16:02:44+09:00

PLCからゲートウェイでデータを取得し、データベースにJSONで保存します。複数回に分けて、サンプルを用いて解説します。
今回はその2回目、ゲートウェイによるPLCからのデータ取得です。

サンプルの環境については第一回で解説しています。必ず第一回を参照し、前提となる環境を理解した上で以下の解説を参照してください。
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)

想定: PLC上のデータ

サンプルでは、取得するPLC上のデータを以下のように想定しています。

Modbus/TCP

Modbus/TCPについては、このドキュメントが理解しやすいドキュメントです。M・SYSTEM技研さまに感謝です。
M・SYSTEM技研さま Modbusプロトコル概説書

間違っていただきたくないのは、"Modbus/TCP"とは、PLCが自身のメモリを後悔するためのインタフェースのひとつにすぎない、ということです。"Modbus/TCP"が貴重なプロトコルである理由を述べます。PLCが自身のメモリを公開するためのプロトコルは他にもたくさんあります。そして、それらの多くは各PLCメーカー固有のものです。Modbus/TCPの特徴は、複数のPLCメーカー間で横断で採用されているプロトコルという点です。複数のメーカーのPLCは、標準ではModbus/TCPが使用できずオプションとして提供され、標準では当該メーカー固有のプロトコルがサポートされます。

Holding Registers

"Holding Registers"とは、Modbus/TCPが定める複数のメモリ領域のうちのひとつです。主に、数値や文字を記憶するために用いられます。アドレスは40001〜です。サンプルでは、40001上のデータをターゲットにします。
今回、PLCの代わりに活躍してくれる"mod_RSsim.exe"では、このような画面で眺めることが出来ます。

ゲートウェイの設定とプログラミング

前回は、ゲートウェイを設定し、PLCに見立てたModbus/TCPシミュレーターに接続しました。
今回は、ゲートウェイを使って、PLCに見立てたModbus/TCPシミュレーターからデータを取得します。サンプルでは前回と同様に、ゲートウェイの代わりにWEINTEK製ゲートウェイのソフトウェア開発ツールであるEasyBuilderのシミュレーターを使用します。

前回作成したEasyBuilderのプロジェクトを開き、メニュー[プロジェクト]-[マクロ]をクリックします。

[マクロ]ウィンドウから[新規作成]をクリックします。

[マクロエディター]に以下のようにコードを記述します。
[周期的に実行する]オプションをオンにし、時間間隔を10にします。

コピーしたい方はこちらからどうぞ。

macro_command main()
        unsigned short        x40001 = 0
        GetData(x40001, "MODBUS TCP/IP (32-Bit)", 4x, 1, 1)
        SetData(x40001, "Local HMI", LW, 0, 1)

end macro_command

[マクロエディター]の下にある[閉じる]をクリックします。

[マクロ]ウィンドウの[コンパイルが成功]に新たなマクロが追加されたら、ひとまずプログラミングは終了です。

マクロ=プログラムの意図

Modbus/TCPが定める"Holding Register"（アドレス: 40001〜）は、EasyBuilderでは"4x"で解釈されます。
EasyBuilderでは、対象装置（今回はModbus/TCPシミュレーター）のメモリ・マップを参照することができます。EasyBuilderの[アドレス]ペイン（ウィンドウ）にて、装置名、ステーション番号、アドレスタイプを以下のように設定すると、ひとつめのアドレスが赤になっているはずです。これは、作成したマクロがこのアドレスを参照している、という証です。

今回作成したコードでは、行4で、対象装置の"4x"のひとつめのアドレスから1ワードだけデータを取得しています。対象装置は”MODBUS TCP/IP (32-Bit)”です。これは、前回、システムパラメータで設定した対象装置の「装置名」です。
行4で取得したデータを、行5で自らのメモリ"LW"のひとつめのアドレスにコピーしています。EasyBuilder（=WEINTEK製ゲートウェイ）も複数のメモリ領域をもっており、LWはそのうちのひとつです。LWは16bitワードであり、Modbus/TCPのHolding Registerと同じワード・サイズです。

[周期的に実行する]オプションのオンはこのプログラムを周期的に実行することを意味します。そしてその周期を今回は1000m秒（=１秒）としています。
このプログラムで、PLCからデータを取得する、という今回の目的は達成されるはずです。

周期的に実行する

とても残念なことに、PLCからデータを取得するゲートウェイは、PLC側のデータ変更等のイベントをもって振る舞いを起こすということが出来ません。これは、完全にPLC側の都合によるものです。このため、ゲートウェイがPLC上のデータを参照するとき、ゲートウェイは空振りすることを承知でPLCのメモリを周期的に参照します。いまどきのシステムとしては実に残念です。"Factory Automation"の技術者は、ITの世界ではとっくに古典となった"Message Passing"や"Data Driven"といった考え方すら学んでいないのです。こういった問題は当面は放置され続けるでしょう。

テスト

前回と同様に、PLCには、本物の代わりにModbus/TCPシミュレーターを使用します。

Modbus/TCPシミュレーター"mod_RSsim.exe"を起動しておきます。

EasyBuilderのメニュー[プロジェクト]-[オンラインシミュレーション]をクリックします。

シミュレーターが起動したら、メニュー[Object]を選択し、右側にある[＋]をクリックします。

ダイアログにて以下のように入力し[OK]ボタンをクリックします。

Modbus/TCPシミュレータの、アドレス40001（注意: +0です）をクリックし、Valueに任意の数値を入力、[OK]ボタンで閉じます。

アドレス40001の表示が変わります。

EasyBuilderのシミュレータ上で、LW-0も変更されることを確認します。

これでテストは終わりです。数行のプログラムのテストとしては十分でしょう。

次回

続きは次回とさせていただきます。
今回は、初心者には少しだけ難解であったかもしれません。慌てずじっくり、しっかり理解して進んでください。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (3)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (6)

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (1)

2022-07-18T11:42:52+09:00

PLCからゲートウェイでデータを取得し、データベースにJSONで保存します。複数回に分けて、サンプルを用いて解説します。

初回は、ゲートウェイでPLCのデータを取得します。

サンプルは、Windowsがあれば環境の準備と動作が可能です。よろしければ、自己責任のもとで環境を準備し、サンプルを動作させてみてください。

PLC

この解説でのサンプルでは、PLCの代わりにModbus/TCPシミュレーターを使用します。これにより、PLCの本物がなくても、実装の学習とテストが可能となります。
今回使用したModbus/TCPシミュレーターは、貴重なmod_RSsim.exeです。もちろん、他のシミュレータでも構いません。

Modbus/TCPシミュレーター: MOD-RSsim Version 8.20

ゲートウェイ

この解説のサンプルでは、WEINTEK製ゲートウェイを想定します。WEINTEK製ゲートウェイのソフトウェア開発ツールは、Windows上でソフトウェアを書くことができることに加え、ゲートウェイの動きをシミュレートすることが出来ます。これにより、ゲートウェイの本物がなくても、実装の学習とテストが可能となります。

WEINTEK製ゲートウェイのソフトウェア開発環境: EasyBuilder Pro

EasyBuilderはWEINTEKのサイトからダウンロードすることが出来ます。
https://www.weintek.com/globalw/Download/Download.aspx

ゲートウェイの設定とプログラミング

ゲートウェイは各社、各モデルで実装のスタイルが大きく異なります。しかし、この解説では、多くのゲートウェイでの機能実装が可能となるよう勘案し、よりシンプルな手順になるよう考慮しています。
前述のとおり、この解説では、ゲートウェイの本物を使用しません。代わりにEasyBuilderという、WEINTEK製ゲートウェイの開発環境を使用します。

EasyBuilder Pro を起動します。

プロジェクトを新たに作成します。
これから行う設定が、どのゲートウェイの設定であるかをゲートウェイのモデルの一覧から選択します。このサンプルでは、最もシンプルなモデル"cMT-G01"を選択します。

"cMT-G01"とはこのようなハードウェアです。
cMT-G01

このゲートウェイが対象にするPLCを設定します。メニュー[ホーム]-[システムパラメータ]を選択します。

[装置]タブを選択します。

[装置/サーバを新規追加]をクリックします。

以下のように設定します。

PLCに相当するModbus/TCPシミュレータは、EasyBuilderと同じWindowsマシン上で稼働させる予定です。このため装置（=PLC=Modbus/TCPシミュレータ）のIPアドレスを127.0.0.1にしています。
装置のポートはModbus/TCPの標準である502を選択しています。

上記設定は、この解説におけるサンプルのための設定です。現実は、対象とするPLCやリモートIOなどに応じた設定が必要となります。
例えば、対象の装置が三菱電機のMELSECであれば、該当のモデルを選択します。下は、Mitsubishi QJ71E71の例です。

テスト

ここまでで、PLC（=Modbus/TCPシミュレータ）に接続する設定が終わりました。接続のテストをします。

mod_RSsim.exeを起動しておきます。

次はEasyBuilderです。
もちろん、これまでの設定をゲートウェイ（cTM-G01）にロードしてゲートウェイを動かすことも可能ですが、今回はシミュレーターを使います。
メニュー[プロジェクト]-[オンラインシミュレーション]をクリックします。

シミュレーターが起動します。"MODBUS TCP/IP (32-Bit)"に接続済みであるように見えますが、これはあてにはなりません。

Modbus/TCPシミュレーターのウィンドウの左上にある"Connected"の表示を確認します。ゲートウェイからの接続が行われていれば、[1/10]となります。

次回へ

続きは次回とさせていただきます。
初心者の方々のために、ゆっくりとマッタリと進めさせていただきます。
次回は、ゲートウェイによるPLCからのデータ取得です。

PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (2)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (3)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (4)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (5)
PLCからゲートウェイでデータを取得しデータベースにJSONで保存 (6)

MySQL8.0 の再帰クエリを単独の Eloquent で使ってみる

2022-07-12T23:45:36+09:00

ちょうどやりたいことができそうだったので、 MySQL8.0 で新しく追加された再帰クエリを使ってみました。なお、単独インストールした Eloquent での使用を想定しているので、リレーションの機能をそのまま使うのは難しそうなケースでした。

経緯

内容としてはありがちな部署マスタのようなもので、親子関係まで見たいと考えたためでした。

id	parent	name
1	0	営業部
2	1	営業1課
3	1	営業2課
4	0	システム部
5	4	開発課
6	4	運用保守課
7	5	フロントエンドグループ
8	5	バックエンドグループ

イメージとしてはこんなイメージのテーブルがあったとして、例えば「システム部」と指定した場合、「開発課」「運用保守課」「フロントエンドグループ」「バックエンドグループ」のIDを子部署として参照したい、というようなケースです。

コード

$hogeObjectsArray = $this->dbConnect->connection('hogera')
                                ->select("
                                    WITH recursive child(
                                        depth,
                                        id,
                                        parent,
                                        name
                                      ) AS (
                                        SELECT 0,
                                               id,
                                               parent,
                                               name
                                          FROM hoge
                                         WHERE id = {$foo}
                                         UNION ALL
                                        SELECT child.depth + 1,
                                               hoge.id,
                                               hoge.parent,
                                               hoge.name
                                          FROM hoge, child
                                         WHERE hoge.parent = child.id
                                      )
                                      SELECT depth,
                                             id,
                                             parent,
                                             name
                                        FROM child
                                       ORDER BY
                                             depth
                                ");

最終的には上述の形で取得できました。

->table($this->table) 等でテーブルを指定せず、いきなり ->select() しているのがミソです。

参考

with recursive

単独の Eloquent 内で with recursive を使用したい

メソッド確認

Illuminate\Database\Capsule\Manager | Laravel API
query(): Illuminate\Database\Connection | Laravel API
Builder: Illuminate\Database\Query\Builder | Laravel API
selectRaw(): Illuminate\Database\Query\Builder | Laravel API
select(): Illuminate\Database\Query\Builder | Laravel API
raw(): Illuminate\Database\Connection | Laravel API

unionAll

(PHP) Phoenix でデータ関係が依存しているDBをマイグレーションする

2022-05-19T23:55:46+09:00

lulco/phoenix でデータ関係が依存しているDBをマイグレーションする方法をメモ。

ドキュメントが全然ないので地道にやっていきます……。

コード

早速コードを。

phoenix.php

return [
    'migration_dirs' => [
        'first'  => __DIR__ . '/migrations/first',
        'second'  => __DIR__ . '/migrations/second',
    ],
    'environments' => [
        'local'      => [
            'adapter'  => 'mysql',
            'host'     => $_ENV['MYSQL_HOST'],
            'port'     => (int)$_ENV['MYSQL_PORT'], // optional
            'username' => $_ENV['MYSQL_USER'],
            'password' => $_ENV['MYSQL_PASSWORD'],
            'db_name'  => $_ENV['MYSQL_DBNAME'],
            'charset'  => 'utf8mb4',
        ],
        'production' => [
            'adapter'  => 'mysql',
            'host'     => $_ENV['MYSQL_HOST'],
            'port'     => (int)$_ENV['MYSQL_PORT'], // optional
            'username' => $_ENV['MYSQL_USER'],
            'password' => $_ENV['MYSQL_PASSWORD'],
            'db_name'  => $_ENV['MYSQL_DBNAME'],
            'charset'  => 'utf8mb4',
        ],
    ],
    'default_environment' => 'local',
    'log_table_name'      => 'phoenix_log',
];

肝は migration_dirs で first と second でそれぞれ対応するディレクトリを指定しているところ。

/migrations/first/hoge.php

table('hoge')
             ->addColumn('create_date', 'datetime')
             ->addColumn('name', 'string')
             ->create();

        // insert
        $hogeData = [
            [
                'name' => 'foo'
            ],
            [
                'name' => 'bar'
            ],
            [
                'name' => 'buz'
            ],
            // 略
        ];
        $rows = [];
        foreach ($hogeData as $key => $val) {
            $rows[] = [
                'create_date' => date('Y-m-d H:i:s'),
                'name' => $val['name'],
            ];
        }
        $this->insert('hoge', $rows);
    }

    protected function down(): void
    {
        $this->table('hoge')
             ->drop();
    }
}

まずは最初に hoge というDBを作成し、そこにデータを流し込みます。

/migrations/second/fuga.php

table('fuga')
             ->addColumn('create_date', 'datetime')
             ->addColumn('name', 'string')
             ->addColumn('hoge_id', 'integer')
             ->create();

        // select hoge data
        $hogeRows = $this->select('SELECT id, name FROM hoge');
        // insert
        $fugaData = [
            [
                'name' => 'un'
            ],
            [
                'name' => 'deux'
            ],
            [
                'name' => 'trois'
            ],
            // 略
        ];
        $rows = [];
        foreach ($fugaData as $key => $val) {
            $id = 0;
            // hoge の name と fuga の name が一致する要素を array_filter() で抽出し、 array_values() で番号を詰める
            $hogeArray = array_values(
                array_filter(
                    $hogeRows,
                    function($hogeRow) use ($val) {
                        $needle = mb_strlen(mb_strtolower($val[0])) > 0 ? mb_strtolower($val[0]) : 'NOTHING';
                        return mb_strpos(mb_strtolower($hogeRow['name']), $needle) !== false;
                    }
                )
            );
            // $hogeArray の要素が1つ (一意に定まる) 場合はその値を、そうでない場合はデフォルト値をセット
            $id = count($hogeArray) === 1 ? (int)$hogeArray[0]['id'] : 0;
            $rows[] = [
                'create_date' => date('Y-m-d H:i:s'),
                'name' => $val[0],
                'hoge_id' => $id, // 上述でセットした id を使用
            ];
        }
        $this->insert('fuga', $rows);
    }

    protected function down(): void
    {
        $this->table('fuga')
             ->drop();
    }
}

次に fuga を作成し、そこに徐に $this->select() で SQL文を発行、先程流し込んだデータを抽出します。

その抽出したデータと fuga に流し込みたいデータを突き合わせて初期データを生成し、それを fuga に流し込む……という算段。

これで意図したデータをマイグレーションすることができました。

参考

GitHub - lulco\/phoenix: Framework agnostic database migrations for PHP.
- phoenix\/PdoAdapter.php at master · lulco\/phoenix · GitHub

ドキュメントがないのでコードを読んで普通に select とか使えそう、と思って試したりしていました。

Docker の php:7-alpine イメージで Composer と Xdebug を使えるようにする

2022-05-10T22:39:48+09:00

経緯

slimphp/Slim-Skeleton を利用したいと考えました。

手元の端末で開発しようとしたところ、 XAMPP に Xdebug を入れ忘れていたことに気付きました。しかも、 XAMPP の PHP のバージョンで Xdebug のインストールが止まってしまいました。

そこで、スケルトンプロジェクトに付随している Docker Compose での開発を試みましたが、この Docker Compose 内で pull してくるイメージは Composer も Xdebug もないので入れることにしました。

コード

ディレクトリ構造

root/
    ├ _docker/                               // Dockerに関する設定置き場
    │    ├ dockerfiles/
    │    │    ├ settings/
    │    │    │    └ php.ini                 // PHPの設定 (Xdebug 有効化)
    │    │    │
    │    │    └ Dockerfile
    │    │
    │    ├ mysql/                            // MariaDB 用ディレクトリ
    │    │    └ .gitkeep
    │    │
    │    └ phpmyadmin/
    │         ├ conf/
    │         │    └ phpmyadmin-misc.ini     // phpMyAdmin の設定 (メモリ上限など)
    │         │
    │         └ sessions/
    │              └ .gitkeep
    │
    └ docker-compose.yml

Docker に関する部分のみ列挙。

docker-compose.yml

version: '3.7'

volumes:
    logs:
        driver: local

services:
    slim:
        build:
            context: ./_docker/dockerfiles/
            dockerfile: Dockerfile
        working_dir: /var/www
        command: php -S 0.0.0.0:8080 -t public
        environment:
            docker: "true"
        ports:
            - 8080:8080
        volumes:
            - .:/var/www
            - ./logs:/var/www/logs
    db:
        image: mariadb
        restart: always
        ports:
            - 3306:3306
        volumes:
            - ./_docker/mysql/mysql:/var/lib/mysql
            - ./_docker/mysql/initdb.d:/docker-entrypoint-initdb.d
        environment:
            - MYSQL_ROOT_PASSWORD=pwd
            - MYSQL_DATABASE=test
            - MYSQL_USER=user
            - MYSQL_PASSWORD=pwd
    phpmyadmin:
        image: phpmyadmin/phpmyadmin
        volumes:
            - ./_docker/phpmyadmin/sessions:/sessions
            - ./_docker/phpmyadmin/conf/phpmyadmin-misc.ini:/usr/local/etc/php/conf.d/phpmyadmin-misc.ini
        environment:
            - PMA_ARBITRARY=1
            - PMA_HOST=db
            - PMA_USER=user
            - PMA_PASSWORD=pwd
        ports:
            - 8081:80

変更点は以下。

PHP 用環境: Dockerfile を使ったイメージにカスタマイズ
DB: MariaDB のイメージをそのまま利用
- environment のパラメータはそのまま使用。アプリケーションや phpMyAdmin 側と動機は取れていないですがひとまずはこれで……
phpMyAdmin: これも phpMyAdmin 公式イメージを流用

_docker/dockerfiles/Dockerfile

FROM php:7-alpine
RUN apk --update add curl
RUN set -ex \
  && apk --no-cache add \
  autoconf build-base
RUN pecl install xdebug
RUN docker-php-ext-enable xdebug
RUN docker-php-ext-install pdo_mysql
COPY settings/php.ini /usr/local/etc/php/conf.d
RUN curl -sS https://getcomposer.org/installer | php -- --install-dir=/usr/bin --filename=composer

php:7-alpine をベースに Xdebug と Composer を追加。

_docker/dockerfiles/settings/php.ini

xdebug.mode=coverage

Xdebug でカバレッジを有効化するための設定を追加するため。なお、 Dockerfile で COPY する際のホストマシンでのパスは Dockerfile の存在するディレクトリから下でないと参照できない という地味な制約があるので dockerfiles ディレクトリをわざわざ掘りました。

_docker/phpmyadmin/conf/phpmyadmin-misc.ini

allow_url_fopen = Off
max_execution_time = 600
memory_limit = 64M
post_max_size = 64M
upload_max_filesize = 64M

メモリ上限等のカスタマイズ。

これで今回はカバレッジ出力まで動作することを確認しました。

参考

Xdebug

PHPUnitでHTMLコードカバレッジを出すまで(Docker使用) - Qiita

Warning: XDEBUG_MODE=coverage or xdebug.mode=coverage has to be set

が出たので step3 について実施。

なお、今回のケースでは

extension=xdebug.so

は不要だった。

Dockerfile

Dockerで作るNginx + PHP7 + Xdebug環境 | Crudzoo

ほぼこれでOK.

php-alpineコンテナにxdebugをインストールする時にハマったメモ - Qiita

こちらも参照。 php -v で with Xdebug と付いていればOK。

Dockerfile の COPY

【Docker】COPYで指定されたファイルは、Dockerfileが存在するディレクトリからの相対パスで、親ディレクトリを見れない - タカの技術ノート

Mariadb

could not find driver

普通に考えたら確かにドライバがないので追加して解決。

シェル

dockerでalpine linux ベースのcontainerに入って、shellを使いたいとき。 - Qiita

bash ではなく ash 。 bin/ash 指定。

sr -c

docker-compose.ymlのcommandプロパティに複数コマンドを設定する方法 | ゲンゾウ用ポストイット

最終的には使わずに済みましたが念のためメモ。

PHP と MySQL のタイムゾーンや時刻の確認メモ

2022-02-23T00:13:45+09:00

PHP や MySQL でタイムゾーンや時刻を確認したくなったのでメモ。

PHP

# php -r 'echo date_default_timezone_get() . PHP_EOL; echo date("y-m-d H:i:s") . PHP_EOL;'
Asia/Tokyo       
22-02-13 19:16:50

コマンドライン実行でサクッと確認。

MySQL

mysql> show variables like '%time_zone%';
+------------------+--------+
| Variable_name    | Value  |
+------------------+--------+
| system_time_zone | JST    |
| time_zone        | SYSTEM |
+------------------+--------+
2 rows in set (0.00 sec)

mysql> SELECT NOW();
+---------------------+
| NOW()               |
+---------------------+
| 2022-02-13 19:46:19 |
+---------------------+
1 row in set (0.00 sec)

こちらはSQL文で確認。

参考

PHP

MySQL

Docker で MySQL の community版をインストールしようとした際に Failing package is: ... エラー

2022-02-23T00:12:52+09:00

Docker の MySQL コンテナを構築する Dockerfile を走らせようとしたところ、

The GPG keys listed for the "MySQL 8.0 Community Server" repository are already installed but they are not correct for this package.

や

Public key for mysql-community-client-8.0.28-1.el8.x86_64.rpm is not installed. Failing package is: mysql-community-client-8.0.28-1.el8.x86_64

というエラーが発生してしまったので対処。

改修前の Dockerfile

RUN dnf -y localinstall https://dev.mysql.com/get/mysql80-community-release-el8-2.noarch.rpm

コミュニティ版の MySQL8 をインストールしようとしています。

改修後の Dockerfile

RUN rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 && dnf -y localinstall https://dev.mysql.com/get/mysql80-community-release-el8-2.noarch.rpm

エラー文で検索したところ、

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

を追加すると良い、という記事を見かけたので追加したところ、エラーが発生しなくなったのでこれで対処。

参考

URLは異なりますがどちらも同じ内容の模様。

サーバーレスMySQLのPlanetScaleをNext.js+Prismaで使ってみた

2022-01-23T20:41:17+09:00

PlanetScaleというのはMySQL互換のサーバーレスデータベース。つまりどこからでもMySQL接続してデータベースとして利用できるサービス。

接続方法は普通によくあるようなパスワードを使ったデータベースURLで接続可能。そのためだいたいどんなフレームワークでも利用できる。

https://planetscale.com/

無料枠がでかい

すごく気に入った理由の一つとして、無料枠がかなり大きいことがあげられる。2022/1時点で容量10GB、書き込み回数は月100万回、読み込み回数も月1000万回と小さいアプリケーションであれば気にするレベルでないほど十分にある。ちょっとしたアプリをたくさん作っているという人にとってはとても嬉しい無料枠。

というのも同じく無料で使えるHerokuのJawsDBも容量5MB、最大接続数10と、むちゃくちゃ少なく、集客下手だから…と思いつつもちょっと心配になってしまう制限のため、なんかこう、微妙だなぁ、とずっと感じていた。

しかもPlanetScaleは東京リージョンまであるのでびっくり。

コンソールもある

サービス内にコンソールもあるためちょっとした調査とか、個人サービスのデータ調整とかはこれで簡単にできそう。

あとは現在のスキーマも見れる。

実際に試してみた

ということで実際に使ってみた。Next.jsからPrismaで利用。かんたんな書き込み、取得処理だけで試してみた。

接続方法

PlanetScaleのConnect設定のところでパスワードを設定できる。それにより普通に接続が可能。ここはいろんなライブラリでの接続方法も表示してくれる。Prismaの設定もそのままコピペでできるように教えてくれる。

開発

Prismaを使う場合、開発は普通にローカルのデータベースを使ってやると良さそう。というのもPrismaはShadow databaseというものを用いている。開発時はなんかそれで色々いい感じにしているらしい。ということでそのためにデータベースのCreate, Drop権限が必要。その関係でマイグレーションの作成を行うタイミングでPlanetScaleとの接続ではエラーになってしまう。そのため開発時はローカルだけで完結させておくとスムーズ。

本番に反映させたいときだけPlanetScaleへの接続に変え、 npx prisma db push を実行することでマイグレーションを反映できる。

PlanetScaleはドキュメントも結構しっかり書かれているようで、このあたりの解説もちゃんと書かれている。
https://docs.planetscale.com/tutorials/prisma-quickstart

速さ

クラウドということで速さがちょっと気になったていたが、一つ作ったデータ取得用のAPIでだいたいTTFBが300msくらいだったので十分そうだった。

気をつける点として、Vercelの場合は無料枠だとリージョンがUSAのEASTと決まっているのでPlanetScale側もそれに合わせておく必要がある。一旦東京で作ってみていた時は1.5sかかっていた。遅くて使えないな～と思った場合はこのあたりの設定が間違っている可能性があるかもしれないので気をつけよう。

追記

実際に別途使ってみるとエラーが色々出たので対処法

PrismaでPlanetScaleを使う時のエラーあれこれ

まとめ

実際に作ってみたテストサイトはこちら。
https://simple-planetscale-test.vercel.app/

試したソースコードはこちら
https://github.com/dala00/simple-planetscale-test

まだ実運用したことがないのでどうなるかはわからないが、今のところとても気に入っているのでFirestoreで作っているちょっと大きめのサービスを移行してみようか悩み中…。今後もちょっとしたちいちゃいネタサービスを作るときにも使ってみたい。

(Docker) Almalinux を見据えて CentOS8 での環境構築を試験してみる

2021-12-29T00:16:11+09:00

手前味噌で恐縮ですが、自作の LAMP環境を検証する Docker Compose について。

GitHub - arm-band/docker_compose_ambergrease

イメージを CentOS7 ベースで構築しているので、いずれは AlmaLinux なり Rocky Linux なりに移行しなければならないことは分かっていました。

そこで、その以降を見据えて残り数日の命の CentOS8 で試験してみることにしました。なぜ AlmaLinux や Rocky Linux ではなくわざわざ CentOS8 かというと、いきなりそれらのOSに飛びついて何らかの不具合が発生したときに原因の切り分けで苦労するならば、まだ同じシリーズで差分が少ない (と想定される) CentOS8 で試験して、問題なければ次に進もう、という段階的な試験を想定したためです。

検証

docker run --name php7_cent8 -it centos:centos8 /bin/bash

まずはイメージを取得し、 bash に入ります。

Apache + PHP

最初は Apache + PHP 。こちらについては、以前 CentOS8 をインストールして遊んだときにremiリポジトリの入り方が CentOS7 とは異なることが分かっていたので、多少手を加える必要があるだろう、と踏んでいました。

# \cp -pf /usr/share/zoneinfo/Japan /etc/localtime
#

これは問題なし。

# dnf -y update && yum -y install  epel-release sudo less iproute httpd-devel zip unzip openssl mod_ssl

## 略

Installed:
  apr-1.6.3-12.el8.x86_64                                     apr-devel-1.6.3-12.el8.x86_64
  apr-util-1.6.1-6.el8.x86_64                                 apr-util-bdb-1.6.1-6.el8.x86_64
  apr-util-devel-1.6.1-6.el8.x86_64                           apr-util-openssl-1.6.1-6.el8.x86_64
  brotli-1.0.6-3.el8.x86_64                                   centos-logos-httpd-85.8-2.el8.noarch
  cyrus-sasl-2.1.27-5.el8.x86_64                              cyrus-sasl-devel-2.1.27-5.el8.x86_64
  epel-release-8-11.el8.noarch                                expat-devel-2.2.5-4.el8.x86_64
  groff-base-1.22.3-18.el8.x86_64                             httpd-2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64
  httpd-devel-2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64   httpd-filesystem-2.4.37-43.module_el8.5.0+1022+b541f3b1.noarch   
  httpd-tools-2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64   libdb-devel-5.3.28-42.el8_4.x86_64
  libpath_utils-0.2.1-39.el8.x86_64                           libpkgconf-1.4.2-1.el8.x86_64
  libtalloc-2.3.2-1.el8.x86_64                                mailcap-2.1.48-3.el8.noarch
  mod_http2-1.15.7-3.module_el8.4.0+778+c970deab.x86_64       mod_ssl-1:2.4.37-43.module_el8.5.0+1022+b541f3b1.x86_64
  ncurses-6.1-9.20180224.el8.x86_64                           openldap-devel-2.4.46-18.el8.x86_64
  perl-Carp-1.42-396.el8.noarch                               perl-Data-Dumper-2.167-399.el8.x86_64
  perl-Digest-1.17-395.el8.noarch                             perl-Digest-MD5-2.55-396.el8.x86_64
  perl-Encode-4:2.97-3.el8.x86_64                             perl-Errno-1.28-420.el8.x86_64
  perl-Exporter-5.72-396.el8.noarch                           perl-File-Path-2.15-2.el8.noarch
  perl-File-Temp-0.230.600-1.el8.noarch                       perl-Getopt-Long-1:2.50-4.el8.noarch
  perl-HTTP-Tiny-0.074-1.el8.noarch                           perl-IO-1.38-420.el8.x86_64
  perl-IO-Socket-IP-0.39-5.el8.noarch                         perl-IO-Socket-SSL-2.066-4.module_el8.3.0+410+ff426aa3.noarch    
  perl-MIME-Base64-3.15-396.el8.x86_64                        perl-Mozilla-CA-20160104-7.module_el8.3.0+416+dee7bcef.noarch    
  perl-Net-SSLeay-1.88-1.module_el8.3.0+410+ff426aa3.x86_64   perl-PathTools-3.74-1.el8.x86_64
  perl-Pod-Escapes-1:1.07-395.el8.noarch                      perl-Pod-Perldoc-3.28-396.el8.noarch
  perl-Pod-Simple-1:3.35-395.el8.noarch                       perl-Pod-Usage-4:1.69-395.el8.noarch
  perl-Scalar-List-Utils-3:1.49-2.el8.x86_64                  perl-Socket-4:2.027-3.el8.x86_64
  perl-Storable-1:3.11-3.el8.x86_64                           perl-Term-ANSIColor-4.06-396.el8.noarch
  perl-Term-Cap-1.17-395.el8.noarch                           perl-Text-ParseWords-3.30-395.el8.noarch
  perl-Text-Tabs+Wrap-2013.0523-395.el8.noarch                perl-Time-Local-1:1.280-1.el8.noarch
  perl-URI-1.73-3.el8.noarch                                  perl-Unicode-Normalize-1.25-396.el8.x86_64
  perl-constant-1.33-396.el8.noarch                           perl-interpreter-4:5.26.3-420.el8.x86_64
  perl-libnet-3.11-3.el8.noarch                               perl-libs-4:5.26.3-420.el8.x86_64
  perl-macros-4:5.26.3-420.el8.x86_64                         perl-parent-1:0.237-1.el8.noarch
  perl-podlators-4.11-1.el8.noarch                            perl-threads-1:2.21-2.el8.x86_64
  perl-threads-shared-1.58-2.el8.x86_64                       pkgconf-1.4.2-1.el8.x86_64
  pkgconf-m4-1.4.2-1.el8.noarch                               pkgconf-pkg-config-1.4.2-1.el8.x86_64
  sscg-2.3.3-14.el8.x86_64                                    sudo-1.8.29-7.el8_4.1.x86_64
  unzip-6.0-45.el8_4.x86_64                                   zip-3.0-23.el8.x86_64

Complete!

OK。

# dnf -y upgrade

## 略

Upgraded:
  epel-release-8-13.el8.noarch

Complete!

特に大きな差分もなさそうです。OK。

remiリポジトリ

# rpm -ivh http://rpms.famillecollet.com/enterprise/remi-release-8.rpm
Retrieving http://rpms.famillecollet.com/enterprise/remi-release-8.rpm
warning: /var/tmp/rpm-tmp.hlvLxe: Header V4 RSA/SHA256 Signature, key ID 5f11735a: NOKEY
Verifying...                          ################################# [100%]
Preparing...                          ################################# [100%]
Updating / installing...
   1:remi-release-8.5-2.el8.remi      ################################# [100%]
# rpm --import http://rpms.famillecollet.com/RPM-GPG-KEY-remi2021
#

OK。 CentOS8 用のリポジトリに切り替えました。鍵についてはすぐ RPM-GPG-KEY-remi2022 にしなければならないでしょうけど。

dnf

# dnf config-manager --enable remi && dnf config-manager --enable remi-php74
No such command: config-manager. Please use /usr/bin/dnf --help
It could be a DNF plugin command, try: "dnf install 'dnf-command(config-manager)'"

remi-php74 に指定で躓くかと思いきや、そもそも config-manager がない、と？

元々は yum-config-manager だったのですが、 CentOS8 であれば dnf ベースの方が良いだろう、ということで置き換えてはみましたが、ダメですか……。

Almalinuxにterraformコマンドをyumで導入するの巻 - TrippyBoyの愉快な日々

こちらより dnf install -y dnf-plugins-core してみます。

# dnf install dnf-plugins-core

## 略

Installed:
  dbus-glib-0.110-2.el8.x86_64        dnf-plugins-core-4.0.21-3.el8.noarch            python3-dateutil-1:2.6.1-6.el8.noarch    
  python3-dbus-1.2.4-15.el8.x86_64    python3-dnf-plugins-core-4.0.21-3.el8.noarch    python3-six-1.11.0-8.el8.noarch

Complete!

OK。

remi + PHP

# dnf config-manager --enable remi && dnf config-manager --enable remi-php74
Error: No matching repo to modify: remi-php74.

……やはり remi-php74 で引っかかりましたか。

CentOs8 php7.4をインストールする | mebee

……想定していたものとは少し違うやり方ですが、試してみましょう。

# dnf module reset php

## 略

Remi's RPM repository for Enterprise Linux 8 - x86_64                                          598 kB/s | 3.9 MB     00:06    
Last metadata expiration check: 0:00:03 ago on DDD dd mmm yyyy hh:ii:ss AM UTC.
Dependencies resolved.
Nothing to do.
Complete!

OK。

# dnf module install -y php:remi-7.4

## 略

Installed:
  libedit-3.1-23.20170329cvs.el8.x86_64                                     libxslt-1.1.32-6.el8.x86_64
  nginx-filesystem-1:1.14.1-9.module_el8.0.0+184+e34fea82.noarch            oniguruma5php-6.9.7.1-1.el8.remi.x86_64
  php-cli-7.4.27-1.el8.remi.x86_64                                          php-common-7.4.27-1.el8.remi.x86_64
  php-fpm-7.4.27-1.el8.remi.x86_64                                          php-json-7.4.27-1.el8.remi.x86_64
  php-mbstring-7.4.27-1.el8.remi.x86_64                                     php-xml-7.4.27-1.el8.remi.x86_64

Complete!

# php --version
PHP 7.4.27 (cli) (built: Dec 14 2021 17:17:06) ( NTS )
Copyright (c) The PHP Group
Zend Engine v3.4.0, Copyright (c) Zend Technologies

OK。入りましたね。これに従い該当箇所を書き換えます。

# enable repository remi & remi-php74
#RUN dnf config-manager --enable remi && dnf config-manager --enable remi-php74
# disable default module
RUN dnf module reset -y php
RUN dnf module install -y php:remi-7.4

## 略

# disable repository remi & remi-php74
#RUN dnf config-manager --disable remi && dnf config-manager --disable remi-php74

config-manager によるリポジトリ使用のオン・オフの切り替えを削除しました。

# dnf -y install php php-devel php-pdo php-mysqlnd php-mbstring php-gd php-pear php-pecl-apc-devel zlib-devel php-xml php-mcrypt php-pecl-xdebug

## 略

Installed:
  autoconf-2.69-29.el8.noarch                                     automake-1.16.1-7.el8.noarch
  cmake-filesystem-3.20.2-4.el8.x86_64                            cpp-8.5.0-4.el8_5.x86_64
  dejavu-fonts-common-2.35-7.el8.noarch                           dejavu-sans-fonts-2.35-7.el8.noarch
  emacs-filesystem-1:26.1-7.el8.noarch                            fontconfig-2.13.1-4.el8.x86_64
  fontpackages-filesystem-1.44-22.el8.noarch                      freetype-2.9.1-4.el8_3.1.x86_64
  fribidi-1.0.4-8.el8.x86_64                                      gcc-8.5.0-4.el8_5.x86_64
  gcc-c++-8.5.0-4.el8_5.x86_64                                    gd3php-2.3.3-4.el8.remi.x86_64
  glibc-devel-2.28-164.el8.x86_64                                 glibc-headers-2.28-164.el8.x86_64
  graphite2-1.3.10-10.el8.x86_64                                  harfbuzz-1.7.5-3.el8.x86_64
  isl-0.16.1-6.el8.x86_64                                         jbigkit-libs-2.1-14.el8.x86_64
  kernel-headers-4.18.0-348.2.1.el8_5.x86_64                      keyutils-libs-devel-1.5.10-9.el8.x86_64
  krb5-devel-1.18.2-14.el8.x86_64                                 libX11-1.6.8-5.el8.x86_64
  libX11-common-1.6.8-5.el8.noarch                                libXau-1.0.9-3.el8.x86_64
  libXpm-3.5.12-8.el8.x86_64                                      libcom_err-devel-1.45.6-2.el8.x86_64
  libimagequant-2.12.5-1.el8.x86_64                               libjpeg-turbo-1.5.3-12.el8.x86_64
  libkadm5-1.18.2-14.el8.x86_64                                   libmcrypt-2.5.8-26.el8.x86_64
  libmpc-1.1.0-9.1.el8.x86_64                                     libpng-2:1.6.34-5.el8.x86_64
  libraqm-0.7.0-4.el8.x86_64                                      libselinux-devel-2.9-5.el8.x86_64
  libsepol-devel-2.9-3.el8.x86_64                                 libsodium-1.0.18-2.el8.x86_64
  libstdc++-devel-8.5.0-4.el8_5.x86_64                            libtiff-4.0.9-20.el8.x86_64
  libtool-2.4.6-25.el8.x86_64                                     libverto-devel-0.3.0-5.el8.x86_64
  libwebp-1.0.0-5.el8.x86_64                                      libxcb-1.13.1-1.el8.x86_64
  libxcrypt-devel-4.1.1-6.el8.x86_64                              libxml2-devel-2.9.7-9.el8_4.2.x86_64
  m4-1.4.18-7.el8.x86_64                                          make-1:4.2.1-10.el8.x86_64
  openssl-devel-1:1.1.1k-5.el8_5.x86_64                           pcre2-devel-10.32-2.el8.x86_64
  pcre2-utf16-10.32-2.el8.x86_64                                  pcre2-utf32-10.32-2.el8.x86_64
  perl-Thread-Queue-3.13-1.el8.noarch                             php-7.4.27-1.el8.remi.x86_64
  php-devel-7.4.27-1.el8.remi.x86_64                              php-fedora-autoloader-1.0.1-2.el8.remi.noarch
  php-gd-7.4.27-1.el8.remi.x86_64                                 php-mysqlnd-7.4.27-1.el8.remi.x86_64
  php-opcache-7.4.27-1.el8.remi.x86_64                            php-pdo-7.4.27-1.el8.remi.x86_64
  php-pear-1:1.10.13-1.el8.remi.noarch                            php-pecl-apcu-5.1.21-1.el8.remi.7.4.x86_64
  php-pecl-apcu-devel-5.1.21-1.el8.remi.7.4.x86_64                php-pecl-mcrypt-1.0.4-1.el8.remi.7.4.x86_64
  php-pecl-xdebug-2.9.8-1.el8.remi.7.4.x86_64                     php-process-7.4.27-1.el8.remi.x86_64
  php-sodium-7.4.27-1.el8.remi.x86_64                             xz-devel-5.2.4-3.el8.x86_64
  zlib-devel-1.2.11-17.el8.x86_64

Complete!

OK。

# php -r "copy('https://getcomposer.org/installer', 'composer-setup.php');"   && php composer-setup.php   && php -r "unlink('composer-setup.php');"   && mv composer.phar /usr/local/bin/composer
All settings correct for using Composer
Downloading...

Composer (version 2.2.1) successfully installed to: /etc/yum.repos.d/composer.phar
Use it: php composer.phar

# composer --version
Composer version 2.2.1 2021-12-22 22:21:31

Composer も入りました。

# mkdir /var/log/php
# chown apache /var/log/php
# chmod 755 /var/log/php
# mkdir -p /etc/ssl/private

まあこの辺りは普通に。

SSL

# openssl req -new -newkey rsa:2048 -nodes -out /etc/ssl/private/server.csr -keyout /etc/ssl/private/server.key -subj "/C=/ST=/L=/O=/OU=/CN=*.lvh.me"

## 略

# openssl x509 -days 365 -req -signkey /etc/ssl/private/server.key -in /etc/ssl/private/server.csr -out /etc/ssl/private/server.crt
Signature ok
subject=CN = *.lvh.me
Getting Private key

OK。

Apache の設定ファイル

ssl.conf

# cat /etc/httpd/conf.d/ssl.conf 

## 略

表示させたSSL用の設定を現行のものと差し替えます。ただし、現行の設定をなるべく引き継ぐように。これは他の設定ファイルも同様です。

- SSLRandomSeed startup file:/dev/urandom  256
- SSLRandomSeed connect builtin

- SSLCipherSuite HIGH:3DES:!aNULL:!MD5:!SEED:!IDEA

現行にあったこれらの行は削除。

+ SSLHonorCipherOrder on

これは新しく追加されていました。

SSLProtocol all -SSLv2 -SSLv3 -TLSv1 -TLSv1.1

プロトコルについては念のため現行の設定を引き継ぎ。流石にもう SSLv2 なんて存在しないでしょうけど……。

- 
+ 
      SSLOptions +StdEnvVars
- 
+

微妙にディレクティブの表現が変わっていますが、影響はなさそうなので変更を受け入れます。

php.conf

# cat /etc/httpd/conf.d/php.conf

## 略

# Redirect to local php-fpm if mod_php (5 or 7) is not available

  
    # Enable http authorization headers
    SetEnvIfNoCase ^Authorization$ "(.+)" HTTP_AUTHORIZATION=$1

    
        SetHandler "proxy:unix:/run/php-fpm/www.sock|fcgi://localhost"

こちらは最後の部分に追記がありますね。これはそのまま受け入れ。

php.ini

# cat /etc/php.ini

## 略

こちらも設定を引き継ぎ、といっても現行の設定と変更点はなく(自前の設定を引き継いだ) 差分としてはコメントの文字列くらい。

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message

Apache を起動しようとしたところ、

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message

のエラーメッセージがログに記録されて起動してこない現象に遭遇。

[Docker]AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using ***.***.*.*. Set the 'ServerName' directive globally to suppress this message - Qiita

そういえば元々の Dockerfile には記述していましたが、 httpd.conf への追記をしていませんでした。

echo ServerName www.example.com:80 >> /etc/httpd/conf/httpd.conf

これでOK。

# httpd -v
Server version: Apache/2.4.37 (centos)
Server built:   Nov 12 2021 04:57:27

バージョンも拾えました。

(2)No such file or directory: AH02454: FCGI: attempt to connect to Unix domain socket /run/php-fpm/www.sock (*) failed

これで Apache も起動してきたのでブラウザで表示確認、ということで phpinfo() でも表示させようかとファイルを用意して curl してみると……

Service Unavailable

The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

503エラーが出てしまいました。

(2)No such file or directory: AH02454: FCGI: attempt to connect to Unix domain socket /run/php-fpm/www.sock (*) failed

Apache のエラーログには上述のログが記録されていました。

今までとは異なる方法で PHP をインストールしたら、どうやら php-fpm (CGIモード) で動作しようとしてしまっているようです。

今回の環境ではCGI版かモジュール版かはあまり考慮しておらず、Webサーバも Apache のためモジュール版でも良いと判断。

動作を切り替えます。

# less /etc/httpd/conf/httpd.conf

## 略

Include conf.modules.d/*.conf

念のためモジュール読み込みの記述があることを確認。

# ls /etc/httpd/conf.modules.d/
00-base.conf      00-lua.conf       00-optional.conf  00-ssl.conf       01-cgi.conf       10-proxy_h2.conf  README
00-dav.conf       00-mpm.conf       00-proxy.conf     00-systemd.conf   10-h2.conf        15-php.conf

関係しそうなのは 00-mpm.conf, 01-cgi.conf, 15-php.conf 辺りでしょうか。

# less /etc/httpd/conf.modules.d/15-php.conf

# Cannot load both php5 and php7 modules

  
    LoadModule php7_module modules/libphp7.so

ここはそのまま。

# less /etc/httpd/conf.modules.d/01-cgi.conf 

# This configuration file loads a CGI module appropriate to the MPM
# which has been configured in 00-mpm.conf.  mod_cgid should be used
# with a threaded MPM; mod_cgi with the prefork MPM.


   LoadModule cgid_module modules/mod_cgid.so


   LoadModule cgid_module modules/mod_cgid.so


   LoadModule cgi_module modules/mod_cgi.so

ここもそのまま。

# less /etc/httpd/conf.modules.d/00-mpm.conf

# Select the MPM module which should be used by uncommenting exactly
# one of the following LoadModule lines.  See the httpd.conf(5) man
# page for more information on changing the MPM.

# prefork MPM: Implements a non-threaded, pre-forking web server
# See: http://httpd.apache.org/docs/2.4/mod/prefork.html
#
# NOTE: If enabling prefork, the httpd_graceful_shutdown SELinux
# boolean should be enabled, to allow graceful stop/shutdown.
#
#LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

# worker MPM: Multi-Processing Module implementing a hybrid
# multi-threaded multi-process web server
# See: http://httpd.apache.org/docs/2.4/mod/worker.html
#
#LoadModule mpm_worker_module modules/mod_mpm_worker.so

# event MPM: A variant of the worker MPM with the goal of consuming
# threads only for connections with active processing
# See: http://httpd.apache.org/docs/2.4/mod/event.html
#
LoadModule mpm_event_module modules/mod_mpm_event.so

変更するのはここ。

- #LoadModule mpm_prefork_module modules/mod_mpm_prefork.so
+ LoadModule mpm_prefork_module modules/mod_mpm_prefork.so

- LoadModule mpm_event_module modules/mod_mpm_event.so
# LoadModule mpm_event_module modules/mod_mpm_event.so

上述のうち2ヶ所を反転させます。

CentOSにApacheとPHP入れてPHPファイルを表示しようとしたら503エラー Output48

これでOK。起動も確認できました。

テンプレートとして上述を反転させた 00-mpm.conf を用意し、エントリポイントでファイルコピーして設定を上書きすることで対処しました。

最終的に AlmaLinux の Docker Compose を作成して起動し、ブラウザで該当の PHPファイルにアクセスし、 phpinfo() の画面が表示されることを確認できました。OK。

SSLCertificateFile: file '/etc/pki/tls/certs/localhost.crt' does not exist or is empty

上述のエラーの他に

SSLCertificateFile: file '/etc/pki/tls/certs/localhost.crt' does not exist or is empty

localhost のSSL証明書がない、というエラーにも遭遇しました。

なければ作れば良いだけ、上述で

echo ServerName www.example.com:80 >> /etc/httpd/conf/httpd.conf

としているので、このダミードメインを使います。

# openssl req -new -newkey rsa:2048 -nodes -out /etc/pki/tls/certs/localhost.csr -keyout /etc/pki/tls/private/localhost.key -subj "/C=/ST=/L=/O=/OU=/CN=www.example.com"

## 略

# openssl x509 -days 365 -req -signkey /etc/pki/tls/private/localhost.key -in /etc/pki/tls/certs/localhost.csr -out /etc/pki/tls/certs/localhost.crt
Signature ok
subject=CN = www.example.com
Getting Private key

これでOK。 ssl.conf には記述はあるのですが……。

MySQL

次に MySQL 側を。こちらはほぼ手を加える必要はないという想定です。

# dnf localinstall https://dev.mysql.com/get/mysql80-community-release-el8-2.noarch.rpm

## 略

Package mysql80-community-release-el8-2.noarch is already installed.
Dependencies resolved.
Nothing to do.
Complete!

CentOS8 用ということでリポジトリの入れ方を少し変更。

# ls /etc/yum.repo.d/
CentOS-Linux-AppStream.repo          CentOS-Linux-Media.repo       epel-testing.repo
CentOS-Linux-BaseOS.repo             CentOS-Linux-Plus.repo        mysql-community.repo
CentOS-Linux-ContinuousRelease.repo  CentOS-Linux-PowerTools.repo  mysql-community-source.repo
CentOS-Linux-Debuginfo.repo          CentOS-Linux-Sources.repo     remi-modular.repo
CentOS-Linux-Devel.repo              epel-modular.repo             remi.repo
CentOS-Linux-Extras.repo             epel-playground.repo          remi-safe.repo
CentOS-Linux-FastTrack.repo          epel.repo
CentOS-Linux-HighAvailability.repo   epel-testing-modular.repo

mysql-community.repo, mysql-community-source.repo の2つが追加されたことを確認。

# dnf module disable mysql

## 略

Complete!

デフォルトの MySQL がいると邪魔になるので無効化して

# dnf -y install mysql-community-devel mysql-community-server

## 略

Installed:
  mysql-community-client-8.0.27-1.el8.x86_64                 mysql-community-client-plugins-8.0.27-1.el8.x86_64
  mysql-community-common-8.0.27-1.el8.x86_64                 mysql-community-devel-8.0.27-1.el8.x86_64
  mysql-community-libs-8.0.27-1.el8.x86_64                   mysql-community-server-8.0.27-1.el8.x86_64
  net-tools-2.0-0.52.20160912git.el8.x86_64

Complete!

インストール完了。

# mysqld --version
/usr/sbin/mysqld  Ver 8.0.27 for Linux on x86_64 (MySQL Community Server - GPL)

デフォルトでは 8.0.26 だったバージョンが地味に 8.0.27 に上がりました。

# grep 'temporary password' /var/log/mysqld.log       
yyyy-mm-ddThh:ii:ss.zzzzzzZ 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: XXXXXXXXXXXX

初期パスワードの出現位置が半角スペース区切りで13番目であることを確認。これはエントリポイントで awk を使って抽出、初期パスワードを環境変数の値で書き換える処理で使用するため個人的には重要ポイント。ここは変更しなくて良さそうです。

# cat /etc/my.cnf

[mysqld]

## 略

datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

デフォルトで4つパラメータが指定されています。うち3つはテンプレートの設定ファイルに記述がされているので不要、 pid-file だけ現時点では指定がないため、これだけ base.cnf に移植します。

/etc/my.cnf には上述4つを削除した代わりに !includedir /etc/my.cnf.d を末尾に追加したものを現行の my.cnf と差し替え。

これで MySQL 側は良さそうです。

なお、 phpMyAdmin は公式イメージをそのまま使っているので変更なし。

以上で一通り動作検証できたので、これをベースに AlmaLinux 用に書き換えれば良さそうです。

参考

Docker

AlmaLinux

dnf

remi

Remi's RPM repository

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message

[Docker]AH00558: apache2: Could not reliably determine the server's fully qualified domain name, using ***.***.*.*. Set the 'ServerName' directive globally to suppress this message - Qiita

PHP

CentOs8 php7.4をインストールする | mebee

(2)No such file or directory: AH02454: FCGI: attempt to connect to Unix domain socket /run/php-fpm/www.sock (*) failed

php-fpm

nginx と PHP-FPM の仕組みをちゃんと理解しながら PHP の実行環境を構築する - Qiita

SSLCertificateFile: file '/etc/pki/tls/certs/localhost.crt' does not exist or is empty

MySQL

MySQL 8.0 を CentOS 8.1 にインストールする手順 - Qiita

awk で条件に合致する最後の行のみ処理する

2021-12-13T23:56:29+09:00

経緯

次のようなシチュエーションを考えます。

Docker 環境で MySQL の初期パスワードを変更するシェルスクリプトをエントリポイントで実行
MySQL のログ (特に mysql-error.log) をボリュームマウントしてファイルの永続化を実施している
このプロジェクトでディレクトリを使い回して1回目の MySQL のログを削除せずに2回目のビルドを実行する

このとき、 mysql-error.log 内に初期パスワードが2回記録されることになります。

すると、条件に合致する最初の行(1回目の初期パスワード)を処理しようとした際に(2回目のパスワードが設定されているため)パスワードが合致せず、処理が失敗してしまう遭遇したので対処しました。

対処

-    DB_INIT_PASSWORD=$(sudo grep 'temporary password' /var/log/mysql/mysql-error.log | sudo awk '{print $13}')
+    DB_INIT_PASSWORD=$(sudo grep 'temporary password' /var/log/mysql/mysql-error.log | sudo awk 'END{print $13}')

エントリポイントのシェルスクリプトで、 awk に END を付け加えました。処置としてはこれだけ。

検証

試しに、中身のシェルスクリプトを該当環境で手動で実行してみます。

変更前

# sudo grep 'temporary password' /var/log/mysql/mysql-error.log | sudo awk '{print $13}'
XXXXXXXXXXXX
YYYYYYYYYYYY

変更前では複数マッチしていることが確認できます。このうち、最初のパスワード XXXXXXXXXXXX で認証をくぐって理しようとすると冒頭のようにパスワードが合致せず失敗します。

変更後

# sudo grep 'temporary password' /var/log/mysql/mysql-error.log | sudo awk 'END{print $13}'
YYYYYYYYYYYY

そこで変更後。今度は1回目のパスワード XXXXXXXXXXXX がヒットせず、2回目のパスワード YYYYYYYYYYYY のみがヒットするようになりました。

これで Docker Compose 全体のビルドもコケなくなりました。

参考

awkで最後の行(最終行)のみ処理を行わせる | 俺的備忘録 -なんかいろいろ-

テキストファイル(SQL文) から MySQL にインポートする (Docker)

2021-12-08T23:55:01+09:00

大量のデータ(数十万レコード程度)を phpMyAdmin 経由で MySQL にインポートしようとしたらメモリ不足でコケたので、 CLI から直接インポートする方法を模索しました。

今回試したのは次の2つの方法

use DB_NAME; を SQL文のテキストファイルの先頭に記述した上で、 mysql -u root -p < FILE_PATH
MySQL にログインして use DB_NAME; した後に source FILE_PATH

方法1 (mysql -u root -p < FILE_PATH)

use DB_NAME; を SQL文のテキストファイルの先頭に記述した上で、 mysql -u root -p < FILE_PATH する方法です。

まず、 SQL文のテキストファイル (phpMyAdmin 等でエクスポートした、テーブル定義 CREATA TABLE やデータの INSERT を含むもの) に少し手を加えます。

-- MySQL dump XX.XX
--
-- Host: localhost    Database: DATABASE_NAME
-- ------------------------------------------------------
-- Server version   XX.XX.XX

USE DATABASE_NAME; /* 追記 */


/* 以下略 */

先頭に USE DATABASE_NAME; を記述して、どのデータベースにインポートするのか明記します。

この加工を施した上で、シェルに入り込み

> docker-compose exec db /bin/bash

※今回は MySQLサーバが Docker Compose 使用の Dockerコンテナなのでこれで入ります

# ls -al /home/MYSQL_DUMP.sql
-rw-r--r-- 1 root root XXXXX WWW dd hh:ii /home/MYSQL_DUMP.sql
# mysql -u root -p <  /home/MYSQL_DUMP.sql
Enter password: 
# exit

mysql -u root -p < /home/MYSQL_DUMP.sql でインポート。これで無事に入ったことを確認。

方法2 (use DB_NAME; && source FILE_PATH)

方法1だとお手軽ではあるのですが、実行する際に内容を確認せずに実行してしまうので若干怖い部分があります。

しかも今回は対象のファイルがかなり大きいのでエディタで開くのも一苦労なシロモノ。

そういった事情から、なるべくファイルの中身を編集することは避けたいと考えました。そこで2つ目の方法。

> docker-compose exec db /bin/bash

同じく入り込みます。

# mysql -u root -p
Enter password:
mysql>

今回は素直にログインします。

mysql> use DATABASE_NAME;
Database changed

違うのはまずここ。先程はファイル内で USE していましたが、今回はコマンドを直接叩きます。

mysql> source /home/MYSQL_DUMP.sql

# 略

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)

mysql> exit
Bye

今回は source /home/MYSQL_DUMP.sql の形でインポートを実行します。クエリごとにログが出力される点も先程と異なりますね。

どちらの方法でも大量のデータを正常にインポートできることを確認しました。

余談: エクスポート

インポートするのが大変ならば、エクスポートするのも大変。同様に phpMyAdmin の画面からエクスポートさせようとすると固まってしまうので、エクスポートも CLI から行うことにします。

# mysqldump -u root -p -h localhost DATABASE_NAME > /home/MYSQL_DUMP.sql

mysqldumpコマンドでエクスポート。

参考

方法1, 方法2

方法2

【MySQL】 SQLをファイルから実行する方法 - Qiita

mysqldump によるエクスポート

mysqldumpまとめ - Qiita

Docker から MySQL 用のコンテナで初期化・起動しようとしたら The server option 'lower_case_table_names' is configured ... エラーで失敗する

2021-11-20T17:13:30+09:00

現象

Docker から自作の MySQL 用のコンテナで初期化・起動しようとしたら MySQL が起動しておらず、手動で初期化コマンドを実行したら以下のエラーで失敗する現象に遭遇しました。

[ERROR] The server option 'lower_case_table_names' is configured to use case sensitive table names but the data directory is on a case-insensitive file system which is an unsupported combination. Please consider either

using a case sensitive file system for your data directory or switching to a case-insensitive table name mode.

環境

環境としては以下の自作の LAMP環境作成用の Docker Compose を使用しました。

GitHub - arm-band/docker_compose_ambergrease

MySQL5.7系で、 entrypoint で

設定ファイルをテンプレートからコピーして配置
/usr/sbin/mysqld --user=mysql --initialize & で初期化コマンド実行
/usr/sbin/mysqld --user=mysql & で MySQL 起動
MySQL のログから初期パスワードを見つけ出し、環境変数で設定された値に管理者パスワードを変更

をしています。

このうち、2つ目の /usr/sbin/mysqld --user=mysql --initialize & で上述のエラーが発生していました。

対処

エラー文は「 MySQL の設定では大文字小文字を区別する設定になっているが、 dataディレクトリのファイルシステムは大文字小文字を区別しない環境になっていて不一致を起こしているので、どちらかに統一してね」ということのようです。

今回は Docker for Windows 利用で、 dataディレクトリはホスト側の Windows のフォルダにボリュームをマウントしています。また、データはコンテナを落としても保持していてほしいので Windows とのボリュームマウントを解除する方向性はなし。

そのため、ファイルシステムは Windows 依存になるので、大文字小文字を区別するファイルシステムに寄せるのは厳しい。したがって、 MySQL 側の設定を調整することにします。

[mysqld]

## 略

# not only lowercase characters in tablename
# lower_case_table_names = 0
lower_case_table_names = 1

該当の設定は lower_case_table_names 。この値0だと大文字小文字を区別する、1だと小文字に変換、2だと大文字小文字を区別してディスクに保存するが MySQL からのルックアップ時に小文字に変換、という挙動になるようです。

今回はシンプルに全て小文字変換で1とすることにしました。

これで問題が解決されたことを確認。

参考

Docker で MySQL に入ろうとしたら「Can't connect to local MySQL server through socket ...」で怒られたので起動する

2021-05-19T23:31:42+09:00

Docker で CentOS + MySQL 環境を構築する過程で、 mysql -u root -p で MSQL に入ろうとしたら以下のエラーで怒られました。

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

検索すると MySQL が起動していないとこのエラーになるとのこと。

CentOS そのものならば systemctl で一発なのですが、 Docker 上では systemctl をすぐに使うことはできません。

そのため、 /usr/sbin/mysqld --user=mysql & で起動させました。