「PostgreSQL」の記事 - Crieit

【Ubuntu】apt updateでKey is stored in legacy trusted.gpg keyringと注意されたので対応する

2023-05-07T08:47:15+09:00

こんにちは、しきゆらです。
今回は公式のドキュメントを見ながら対応したのに、apt updateで怒られるようになったので
なぜなのか調べつつ、対応方法を見つけて対応したのでメモしておきます。

はじめに

今回起こったのはPostgreSQLのインストール時のこと。
PostgreSQLをインストールするためにリポジトリ追加を行った。手順はこれ。
PostgreSQL: Linux downloads (Ubuntu)

該当箇所は以下の通り。

# Create the file repository configuration:
$ sudo sh -c 'echo "deb  $(lsb_release -cs)-pgdg main" > /etc/apt/sources.list.d/pgdg.list'

# Import the repository signing key:
$ wget --quiet -O -  | sudo apt-key add -

# Update the package lists:
$ sudo apt-get update # <= ここでWarningが出た
...
Key is stored in legacy trusted.gpg keyring

ということで、記載されているが、そもそも何を怒っているのかを調べてみました。

何が起きているのか

apt-keyはなぜ廃止予定となったのか
 Fully deprecate apt-key, schedule removal for Q2/2022 (ee284d59) · Commits · APT Developers / apt · GitLab

apt-keyコマンドがだいぶ前の2020年8月ころから廃止予定で、2022年Q2に廃止となっていたようです。
手元の環境はWSL2上のUbuntu 22.10でしたが、まだ残っているようでした。
今後はなくなるんでしょう。

セキュリティ上の懸念点からくるもので、簡単にまとめると次の2点が理由です。

apt-key addは単一ファイル（/etc/apt/trusted.gpg）に鍵を追加していくため、複数のリスクの異なるリポジトリの鍵を同じ権限で管理しなくてはならない。

リポジトリ鍵として追加した鍵は、すべてのリポジトリに対して適用される。

引用元: https://gihyo.jp/admin/serial/01/ubuntu-recipe/0675

ということで、リポジトリごとにリスクが異なるカギを全体で使うのよくいないよね、ということでこれをやめた、という感じなのかなと。
やめたはいいが、この記事時点では代替となるものが用意されていないようです。今後は、各リポジトリで利用するカギを/usr/share/keyrings/配下に設置して個別に指定する運用が良いだろう、として締めています。

対応方法

大きく分けると以下の通り。

既存のカギを削除する
別途カギを取得し設定しなおす
リポジトリとカギを紐づける

1. 既存のカギを削除する

$ apt-key list
Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead (see apt-key(8)).
/etc/apt/trusted.gpg.d/apt.postgresql.org.gpg # <= これを削除する
---------------------------------------------
pub   rsa4096 2011-10-13 [SC]
      B97B 0AFC AA1A 47F0 44F2  44A0 7FCC 7D46 ACCC 4CF8
uid           [ unknown] PostgreSQL Debian Repository
...

# 鍵の削除はfinger printの最後の8文字のようです
$ sudo apt-key del ACCC4CF8
Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead (see apt-key(8)).
OK

# 消えたことを確認
$ apt-key list
Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d instead (see apt-key(8)).
...

2. 別途カギを取得し設定しなおす

カギについては、ここに記載されているので取得して入れなおします。

PostgreSQL: Linux downloads (Ubuntu)

# カギの取得
$ wget 

# カギをgpgコマンドを使って変換
$ gpg --no-default-keyring -o postgresql-keyring.gpg --dearmor ACCC4CF8.asc

# カギを確認
$ file postgres-keyring.gpg
postgres-keyring.gpg: GPG keybox database version 1 ...

# 変換したカギを/usr/share/keyrings/へ設置する
# 手元ではフォルダがなかったので手動で作成
$ sudo mkdir -p /usr/share/keyrings
$ sudo cp postgres-keyring.gpg /usr/local/share/keyrings

3. リポジトリとカギを紐づける

リポジトリは/etc/apt/sources.list.d/pgdg.listに作成しているので、このファイルを以下のように変更。

# deb [signed-by=/path/to/gpg_key] URLの形式でカギの場所を記載
deb [signed-by=/usr/local/share/keyrings/postgresql-keyring.gpg]  kinetic-pgdg main

これにて対応完了です。
Warningが出ないことを確認しましょう。

# warningが出ないことを確認
$ sudo apt update
...
Hit:7  kinetic-pgdg InRelease

まとめ

今回は、apt-keyコマンドが廃止となっているために、ドキュメント通りに対応してもWarningが出てしまっていたので、諸々調べつつ対応してみました。そもそもの廃止から知らなかったので勉強になりました。

なお、DockerやGithub CLIでは /etc/apt/keyrings 配下に設置しているようです。
Install Docker Engine on Ubuntu | Docker Documentation
Linux installation instructions recommend storing GPG keyring in the wrong location · Issue #5122 · cli/cli · GitHub

管理をユーザ側でやる、という形であれば1か所にまとめたほうが良いのでどこか1か所を決めて、リポジトリ追加時にそこへ追加していく方法をとったほうが良いかもしれません。
DebianのWikiにも /etc/apt/keyrings 配下に設置しよう、となっているのでこっちに合わせたほうが良いかもしれません。
DebianRepository/UseThirdParty - Debian Wiki

今回はここまで。
おわり

MySQLやPostgreSQLにおけるNULLは、不明な値であり計算に使うと結果がNULLになってしまうことがある

2020-03-09T00:34:26+09:00

私はプログラミング言語におけるNULLは、「何もない値」または「何も示していない値」という定義で理解しています。
ところがSQLにおけるNULLでは、この単純な理解が通用しないことを知りました。

先に結論を言ってしまうと、「NULLとは不明な値のことである」という解釈で落ち着いたのですが。
これの何が問題なのか、解説します。

MySQLにおけるNULLとは、「存在しない不明な値」のことである

MySQLのリファレンスを読むと、NULLとは不明な値であることがわかります。

NULL値に慣れるまでは驚くかもしれません。
概念的には、NULLは「存在しない不明な値」を意味し、ほかの値とは多少異なる方法で扱われます。
https://dev.mysql.com/doc/refman/5.6/ja/working-with-null.html より

不明な値を直訳で解釈すると、「何が入っているのか分からない値」という意味になります。

NULLを算術（計算）で使うとNULLになる

一般的なプログラミング言語では、NULLを使った計算では警告や例外が発生するか、もしくは「0」という値に自動変換されて計算されます。



ところがMySQLでは「10」にもならないし、エラーにもなりません。

mysql> SELECT 10 - NULL;
+-----------+
| 10 - NULL |
+-----------+
|      NULL |
+-----------+
1 row in set (0.00 sec)


この挙動はPostgreSQLでも同様で、「10 - NULL」はNULLになります。

postgres=# \pset null '(null)'
Null display is "(null)".
postgres=# SELECT 10 - NULL;
 ?column?
----------
   (null)
(1 row)


NULLは算術比較できない

MySQLのリファレンスを読み進めていくと、算術比較はできませんと書いてあります。


  =、

  https://dev.mysql.com/doc/refman/5.6/ja/working-with-null.html より


つまりNULLは不明な値なので、算術比較の結果もまた、不明になってしまうのだろうと私は解釈しました。

NULLとなりえる値を、計算で使うのはやめよう

MySQLやPostgreSQLにおけるNULLの挙動を総括すると、たとえテーブル定義の型が整数型（INT型）であったとしても、「NOT NULL」制約のないカラムをSQLでそのまま計算に使わないほうが良いと言えます。

ただ計算に使えない数値というのも困りますので、対処法を考えてみます。

私が思いつく限り、対処法は大きく分けて2つあります。

テーブル定義（DDL）にNOT NULLを追加する

SQL上で計算に使う値であれば、テーブル定義を「NOT NULL DEFAULT 0」にして、必ず数値がある状態にします。

値が「0」であれば算術に使うことができるため、想定外の計算トラブルは抑制できます。

IFNULL()などのSQL関数を使って、NULL値を回避する

MySQLにはIFNULL()という、SQL関数があります。

IFNULLとは、「もしNULLであれば」を判定する関数です。

これを使って、NULLであれば「0」に変換して計算します。

mysql> SELECT 10 - IFNULL(NULL, 0);
+----------------------+
| 10 - IFNULL(NULL, 0) |
+----------------------+
|                   10 |
+----------------------+


テーブル定義で「NOT NULL」制約を使えないのであれば、NULL判定をしてデフォルト値を与えましょう。

NULLを回避することによって、計算結果がNULLになってしまう問題を防げます。

さいごに

MySQLやPostgreSQLにおけるNULLとは、特異な値であることを学びました。

だからMySQLのリファレンスにも、「NULL値に慣れるまでは驚くかもしれません。」と、あえて書いてあるのだと推測します。

なおデータベースにおけるNULLの扱い多くのRDBMSで共通ですが、Oracleだけは特別みたいです。


  以上の NULL に関する事柄のほとんどは、PostgreSQL に限らず、多くの RDBMS で共通ですが、重要な例外が1つあります。

  Oracleでは、NULL を含む文字列結合において NULL を返しません。

  つまり select 'abc' || null from dual; の結果は abc になります。

  https://oss-db.jp/dojo/dojo_08 より


本記事ではデータベースにおけるNULLを取り上げましたが、NULL値の挙動や扱い方は、プログラミング言語によっても変わります。

プログラム内でNULLを使うときは、「各プログラミング言語の参考書やリファレンスで、NULLの挙動を確認しておくのが良さそう」です。



PostgreSQL： とにかく簡単にトレンドやホットランキングを出したい
2019-12-08T18:59:22+09:00
CGMなどを作っていると、現在人気の投稿をトレンドとしてランキング表示したいときがある

これをSQLだけで実装する

パフォーマンスも何も考えていないしテーブル構成にも依存しているし、さらには手動で調整するマジックナンバーさえある

だが、簡単なのでとりあえずそれっぽい機能を付けたいとなったときに役立つかもしれない

環境

PostgreSQL

テーブル構成1

ランク付けの対象として投稿を表すPOSTテーブルがあり、閲覧数を表すVIEWテーブルと一対多のリレーションになっているとする（閲覧されるたびにVIEWテーブルのレコードが増えるパターン）

また、各テーブルには作成日時created_atと更新日時updated_atがあるとする



SQL

SELECT "post".*, (COUNT(DISTINCT view))  as rank_point
FROM "post"
LEFT OUTER JOIN "view" ON "view"."post_id" = "post"."id" AND "view"."created_at" >= now() - interval '1 hour'
GROUP BY post.id
ORDER BY rank_point DESC;


説明

LEFT OUTER JOINで結合する時にVIEWテーブルの条件を調整している

"view"."created_at" >= now() - interval '1 hour'は現在時刻から1時間前までの間に作成されたVIEWのレコードのみ結合するという条件で、これをカウントしてrank_pointとし、post.idでグルーピングしたものを降順に並べれば1時間のうちで閲覧が多い投稿が順に並ぶはずである

interval '1 hour'の部分は好きなように調整できる

テーブル構成2

他の指標を使いたくなったらいくらでも追加できる

例えば投稿には一対多でコメントがあって、コメントの多さでも人気なことを表したいとする



SQL

SELECT "post".*, ( (COUNT(DISTINCT view) * 10) + (COUNT(DISTINCT comment) * 1000 ) ) / 2  as rank_point
FROM "post"
LEFT OUTER JOIN "view" ON "view"."post_id" = "post"."id" AND "view"."created_at" >= now() - interval '1 hour'
LEFT OUTER JOIN "comment" ON "comment"."post_id" = "post"."id" AND "comment"."created_at" >= now() - interval '1 hour'
GROUP BY post.id
ORDER BY rank_point DESC;


説明

VIEWに加えてCOMMENTも同じように結合する

あとは適当に掛け算して桁を合わせてから指標の数で割ったものをrank_pointとするだけだ

桁を合わせるとは書いたが、重視したい指標に多めの数値を掛けるなりすれば重み付けもできる

蛇足

最初はちゃんと移動平均を出そうと思ってWindow関数とか調べたが、複数テーブルが絡むと面倒な記述になりそうでやめてしまった

参考

9.9. 日付/時刻関数と演算子


AWX をインストールした後の Server Error を解決したかった話
2019-11-01T02:12:38+09:00
この記事は、 Ansible AWX をインストールしたときに、 Server Error に なったりならなかったりする 問題に対処したときのポエムだ。



はじめに断っておくが、最終的に AWX 8.0.0 で解消しているっぽいものの、 原因や正確な条件などは不明なままである。

また後述するが、 （タイトルに反して）おそらく Ansible AWX の問題ではなく、 postgres:9.6 の docker イメージの問題ではないかと思われる。

発生した問題の状況

まず、 問題が起きている状況をまとめると、以下のような状況だ。


AWX を Docker-Compose を使ってインストール
AWX のバージョンは、 7.0.0 または 6.1.0 (どちらでも発生する)
インストール先は CentOS 7.7 1908 の VirtualBox のゲストマシン
どういうわけか、 問題が起きる場合と起きない場合がある


仮想ストレージが (SSD ではなく) HDD 上にあると発生しやすい気がする
VM のホストが、 バックエンドで I/O をガリガリやっていると発生しやすい気がする
VM のホストが、 （バッテリー駆動などで）で省電力モードになっていると発生しやすい気がする

問題が発生するかどうかは、インストール後の最初の起動で決まる。


最初の起動で問題が発生すれば、その後も発生し続ける。
逆に、最初の起動で問題が発生しなければ、その後は発生しない。



最後の2つが非常に厄介で、全て VirtualBox で同じリソースを割り当てた VM のゲストマシンに、 同じ設定で CentOS をインストールしているのにもかからず、問題が発生したりしなかったりする。

訳がわからない。

VM のホストをいろいろ買えつつ試してみたところ、上記のような状態の時に問題が派生しやすい気がするが、ハッキリ「そうだ」と言えるほどの回数は試せていない。

最初、 良くある SELinux 関係の問題かと思って SELinux を切って AWX のインストールをやり直してみたが、何も変わらなかった。

AWX エラーの内容

上記スクショの "Server Error" "A server error has occurred" のメッセージだけでは、どんな問題が発生しているのか全くわからないので、とりあえず各コンテナのログをみてみる。

どうやら、 awx_postgres コンテナで、以下のようなエラーが発生しているようだ。

FATAL:  no pg_hba.conf entry for host "172.18.0.2", user "awx", database "awx", SSL off


問題が起きていない環境と、起きている環境で pg_hba.conf (※) を比べると、

問題が起きていない環境では、このファイルの末尾に

host all all all md5


が追記されているという違いがある。

(※: pg_hba.conf は awx_postgres コンテナの /var/lib/postgresql/data/pgdata/pg_hba.conf にあるほか、 docker ホスト側でも /tmp/pgdocker/pgdata/pg_hba.conf として永続化されている。 (postgres_data_dir 変数が初期値の場合。))

この行がないため、 WEB サービスを走らせているコンテナから PostgreSQL を動かしているコンテナへのアクセスが拒否されているようだ。

しかし、問題となっている環境で pg_hba.conf を書き換えても、別のエラーが発生して Server Error が表示される問題は解決しない。

問題が起きる環境と起きない環境を更に詳しく比べると、 PostgreSQL の DB が作成すらされていないことがわかった。

本来なら、 awx_postgres コンテナ内に awx ユーザで DB が作成されている筈なのにもかかわらず、以下のように コンテナに入って psql の --list オプションを実行すると、エラーになってしまう。

$ sudo docker exec -it awx_postgres /bin/bash
root@xxxxxxxxxxxx:/# psql --list -U awx
psql: FATAL:  database "postgres" does not exist


以上のことから、 pg_hba.conf の書き換えや、 PostgreSQL DB の初期化といった、 初期化プロセスが実行されずに「初期化済み」扱いされているのが原因ではないかと、予想がつく。

awx リポジトリ内で同様の不具合が挙がっていないか確認してみたが、 似たような問題は挙がっている ものの、それそのものズバリの回答は見つからなかった。

pg_hba.conf を書き換えているのは誰だ

audit などを使って pg_hba.conf に関するシステムコールを監視して、 何が host all all all md5 と追記しているのかを確認してみる。

その結果、書き換えを行っているのは

bash /usr/local/bin/docker-entrypoint.sh postgres


のプロセスだとわかった。

AWX 7.0.0 インストール時の docker-compose.yml も、 AWX 6.1.0 インストール時の docker-compose.yml も、 postgres:9.6 の docker イメージを使っていることがわかる。

このため、 上記の pg_hba.conf の書き換えを行っている docker-entrypoint.sh は、 postgres:9.6 イメージの Dockerfile のエントリーポイントである この docker-entrypoint.sh だろう。

前後の PostgreSQL の初期化プロセスも働いていないことを考えると、

        # look specifically for PG_VERSION, as it is expected in the DB dir
        if [ ! -s "$PGDATA/PG_VERSION" ]; then
                # "initdb" is particular about the current user existing in "/etc/passwd", so we use "nss_wrapper" to fake that if necessary
                # see https://github.com/docker-library/postgres/pull/253, https://github.com/docker-library/postgres/issues/359, https://cwrap.org/nss_wrapper.html


この条件分岐の部分が、意図通り働かないことがあるのではないかと思う。

しかし、私は docker に関してはほとんどシロウトなので、ここから docker イメージの定義ファイルを辿って、どこがおかしいのかを調査するのはちょっと難しい。。。

AWX 8.0.0 がリリースされたら解決してた

…とかなんとかやってるうちに、 AWX 8.0.0 がリリース されてしまった。

8.0.0 で AWX のインストールを試してみると、ぱったりと問題が発生しなくなった。

awx_postgres コンテナを作成する docker イメージが、 postgres:9.6 から postgres:10 に変更 になったからではないかと考えているが、具体的にどう変わったかは正直わからない。

ひょんなことから、原因は不明ながら問題が解決してしまったので、これ以上調査する気力も失せて、私は考えるのをやめた。

追記: そして、記事を書いた直後に AWX 9.0.0 がリリース された。ちょっとペース早すぎない!?


【VB.NET】PostgreSQL に接続してデータ操作（追加・更新・削除）をしてみる
2019-10-20T10:36:15+09:00
おはようございます。

今回はPostgreSQLで追加、更新、削除をやってみましたが、

Oracle、MySQLと変わらず、クラスを変更するだけでほぼ対応ができてしまいました。

プログラムは前回のものを参考にしてください。

【VB.NET】PostgreSQL に接続してデータを DataGridView に表示してみる

プログラム修正

追加（行追加）処理

Form1.vb

    ''' 
    ''' 追加ボタンクリックイベント
    ''' 
    ''' 
    ''' 
    Private Sub btnAdd_Click(sender As Object, e As EventArgs) Handles btnAdd.Click

        ' 追加後に更新されていなければ処理しない
        If (AddRowFlg) Then
            Return
        End If

        AddRowFlg = True

        Using conn As New NpgsqlConnection("Server=localhost; Port=5432; User Id=USER01;Password=USER01;Database=DB01")

            ' データベースオープン
            conn.Open()

            ' データ追加
            Using con As New DataContext(conn)

                Dim idx = dgvCat.Rows.Count()

                ' 行追加
                dgvCat.Rows.Add()

                ' 種別マスタ取得

                ' 種別コンボボックスの内容をデータベースから取得して設定
                ' データを取得
                Dim cmd As NpgsqlCommand = New NpgsqlCommand("SELECT * FROM MSTKIND", conn)
                Dim da As NpgsqlDataAdapter = New NpgsqlDataAdapter(cmd)
                Dim dt As DataTable = New DataTable()
                da.Fill(dt)
                Dim kindList As List(Of Kind) = New List(Of Kind)
                Dim k As Kind = New Kind()
                For Each row As DataRow In dt.Rows
                    k = New Kind()
                    k.KindCd = row("KIND_CD").ToString()
                    k.KindName = row("KIND_NAME").ToString()
                    kindList.Add(k)
                Next

                ' 猫一覧取得
                cmd = New NpgsqlCommand("SELECT * FROM TBLCAT", conn)
                da = New NpgsqlDataAdapter(cmd)
                dt = New DataTable()
                da.Fill(dt)

                Dim newNo = 0

                ' 使用できるNoを判定
                For i As Integer = 1 To dt.Rows.Count() + 1
                    Dim selectNo = i
                    If dt.Select("No = '" + selectNo.ToString + "'").Length = 0 Then
                        newNo = selectNo
                    End If
                Next

                ' No（プライマリなので編集不可）
                Dim no = New DataGridViewTextBoxCell()
                no.Value = newNo
                dgvCat(0, idx) = no
                dgvCat(0, idx).ReadOnly = True

                ' 名前
                Dim name = New DataGridViewTextBoxCell()
                dgvCat(1, idx) = name

                ' 性別
                Dim sex = New DataGridViewComboBoxCell()
                sex.Items.AddRange({"♂", "♀"})
                sex.DisplayStyle = DataGridViewComboBoxDisplayStyle.ComboBox
                dgvCat(2, idx) = sex

                ' 年齢
                Dim age = New DataGridViewTextBoxCell()
                dgvCat(3, idx) = age

                ' 種別
                Dim kind = New DataGridViewComboBoxCell()
                kind.DataSource = kindList
                kind.DisplayMember = "KindName"
                kind.ValueMember = "KindCd"
                kind.DisplayStyle = DataGridViewComboBoxDisplayStyle.ComboBox
                dgvCat(4, idx) = kind

                ' 好物
                Dim favorite = New DataGridViewTextBoxCell()
                dgvCat(5, idx) = favorite

            End Using

            conn.Close()

        End Using

    End Sub


更新処理

Form1.vb

    ''' 
    ''' 更新ボタンクリックイベント
    ''' 
    ''' 
    ''' 
    Private Sub btnUpdate_Click(sender As Object, e As EventArgs) Handles btnUpdate.Click

        Using conn = New OracleConnection("Data Source=localhost;User Id=USER01;Password=USER01;")


            ' データベースオープン
            conn.Open()

            ' データ更新
            For i = 0 To dgvCat.Rows.Count - 1

                ' テーブルから対象のデータを取得
                Dim no As Integer = dgvCat(0, i).Value

                ' シーケンス列としていないので、
                ' 最初に件数を取得して No を計算する
                Dim cmd As OracleCommand = New OracleCommand("SELECT COUNT(*) FROM TBLCAT WHERE No = '" + no.ToString() + "'", conn)
                Dim cnt As Decimal = cmd.ExecuteScalar()

                If (cnt = 0) Then

                    ' データ追加
                    Dim query = "INSERT INTO TBLCAT VALUES (" +
                        (cnt + 1) +
                        ", '" + dgvCat(1, i).Value + "'" +
                        ", '" + dgvCat(2, i).Value + "'" +
                        ",  " + dgvCat(3, i).Value + "'" +
                        ", '" + dgvCat(4, i).Value + "'" +
                        ", '" + dgvCat(5, i).Value + "')"

                    cmd = New OracleCommand(query, conn)
                    cmd.ExecuteNonQuery()

                Else

                    ' データ変更
                    Dim query = "UPDATE TBLCAT SET" +
                            "  NAME = '" + dgvCat(1, i).Value.ToString() + "'" +
                            ", SEX = '" + dgvCat(2, i).Value.ToString() + "'" +
                            ", AGE = '" + dgvCat(3, i).Value.ToString() + "'" +
                            ", KIND_CD = '" + dgvCat(4, i).Value.ToString() + "'" +
                            ", FAVORITE = '" + dgvCat(5, i).Value.ToString() + "' " +
                            "WHERE NO = '" + dgvCat(0, i).Value.ToString() + "'"

                    cmd = New OracleCommand(query, conn)
                    cmd.ExecuteNonQuery()

                End If

            Next


            conn.Close()
        End Using

        AddRowFlg = False

        ' データ再検索
        search()
        MessageBox.Show("データを更新しました。")

    End Sub


 

削除処理

Form1.vb

    ''' 
    ''' 削除ボタンクリックイベント
    ''' 
    ''' 
    ''' 
    Private Sub btnDelete_Click(sender As Object, e As EventArgs) Handles btnDelete.Click

        Using conn = New OracleConnection("Data Source=localhost;User Id=USER01;Password=USER01;")

            ' データベースオープン
            conn.Open()

            ' 選択されている行
            For Each r As DataGridViewRow In dgvCat.SelectedRows

                Dim Cat As Cat = CType(dgvCat.DataSource(), List(Of Cat)).Item(r.Index)

                ' データ削除
                Dim query As String = "DELETE FROM TBLCAT WHERE NO = " + Cat.No

                ' クエリ実行
                Dim cmd As OracleCommand = New OracleCommand(query, conn)
                cmd.ExecuteNonQuery()

            Next


            conn.Close()
        End Using

        ' データ再検索
        search()
        MessageBox.Show("データを削除しました。")

    End Sub


 

まとめ

Oracle、MySQLからPostgreSQLに変更するのも簡単にできそうですね。

次回以降はまた別の言語をやっていこうかと思います。

ではでは。


【VB.NET】PostgreSQL に接続してデータを DataGridView に表示してみる
2019-10-18T10:31:07+09:00
おはようございます。

今回はVB.NETでPostgreSQLに接続、データの取得をやってみます。

プログラムは前回のものを流用します。

【VB.NET】MySQL（MariaDB）に接続してデータ操作（追加・更新・削除）をしてみる

また、PostgreSQL環境の作成は以下の記事を参考にしてください

PostgreSQL 9.6.3 インストールからテーブル作成まで

Nuget でパッケージをダウンロード



ソリューションエクスプローラーからプロジェクトを選択、右クリックし

「Nuget パッケージの管理」を選択します。



Nuget パッケージ管理画面が表示されるので、

検索窓に「npgsql」を入力し、「Npgsql」を選択、インストールボタンをクリックします。



プレビュー画面が表示された場合は、「OK」ボタンをクリックします。



ライセンス同意画面が表示されるので、「同意する」ボタンをクリックします。



出力ビューに「終了」が表示されれば完了です。

プログラム修正

宣言の追加

ダウンロードしたパッケージを利用するための宣言を追加します。

Form1.vb

Imports Npgsql


初期表示処理の修正

MySQLに接続していた部分を PostgreSQLに接続するように修正し、

MySqlCommand、MySqlDataAdapterもそれぞれ PostgreSQL用のクラスに変更します。

Form1.vb

    ''' 
    ''' フォームロード時の処理
    ''' 
    ''' 
    ''' 
    Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load

        Using conn As New NpgsqlConnection("Server=localhost; Port=5432; User Id=USER01;Password=USER01;Database=DB01")

            ' データベースオープン
            conn.Open()

            ' 種別コンボボックスの内容をデータベースから取得して設定
            ' データを取得
            Dim cmd As NpgsqlCommand = New NpgsqlCommand("SELECT * FROM MSTKIND", conn)
            Dim da As NpgsqlDataAdapter = New NpgsqlDataAdapter(cmd)
            Dim dt As DataTable = New DataTable()
            da.Fill(dt)

            ' コンボボックスに値を設定
            Dim sources As List(Of Kind) = New List(Of Kind)
            Dim k As Kind = New Kind()
            k.KindCd = ""
            k.KindName = "指定なし"
            sources.Add(k)
            For Each row As DataRow In dt.Rows
                k = New Kind()
                k.KindCd = row("KIND_CD").ToString()
                k.KindName = row("KIND_NAME").ToString()
                sources.Add(k)
            Next

            Me.cmbKind.DataSource = sources
            Me.cmbKind.DisplayMember = "KindName"

            ' データベースクローズ
            conn.Close()

        End Using

    End Sub



検索処理の修正

初期表示と同様、接続の処理とMysqlのクラスをPostgreSQL用に変更します。

Form1.vb

    ''' 
    ''' 検索処理
    ''' 
    Private Sub search()

        Using conn As New NpgsqlConnection("Server=localhost; Port=5432; User Id=USER01;Password=USER01;Database=DB01")

            ' データベースオープン
            conn.Open()

            ' 検索条件を指定してデータを取得
            Using con As New DataContext(conn)
                Dim searchName As String = txtName.Text
                Dim searchKind As String = CType(cmbKind.SelectedValue, Kind).KindCd

                ' 種別マスタ取得

                ' 種別コンボボックスの内容をデータベースから取得して設定
                ' データを取得
                Dim cmd As NpgsqlCommand = New NpgsqlCommand("SELECT * FROM MSTKIND", conn)
                Dim da As NpgsqlDataAdapter = New NpgsqlDataAdapter(cmd)
                Dim dt As DataTable = New DataTable()
                da.Fill(dt)
                Dim kindList As List(Of Kind) = New List(Of Kind)
                Dim k As Kind = New Kind()
                For Each row As DataRow In dt.Rows
                    k = New Kind()
                    k.KindCd = row("KIND_CD").ToString()
                    k.KindName = row("KIND_NAME").ToString()
                    kindList.Add(k)
                Next

                ' 猫一覧取得
                Dim Sql As String = "SELECT * FROM TBLCAT"
                Dim where As String = ""
                If (searchName <> "") Then

                    where = " WHERE NAME LIKE '" + searchName + "%'"
                End If
                If (searchKind <> "") Then
                    If (where <> "") Then
                        where += " AND"
                    Else
                        where = " WHERE"
                    End If
                    where += " KIND_CD = '" + searchKind + "'"
                End If

                Sql += where

                cmd = New NpgsqlCommand(Sql, conn)
                da = New NpgsqlDataAdapter(cmd)
                dt = New DataTable()
                da.Fill(dt)

                ' データグリッドビューに設定
                Dim i As Integer = 0
                dgvCat.Rows.Clear()
                For i = 0 To dt.Rows.Count() - 1

                    ' 行追加
                    dgvCat.Rows.Add()

                    ' No（プライマリなので編集不可）
                    Dim no = New DataGridViewTextBoxCell()
                    no.Value = dt.Rows(i)("No")
                    dgvCat(0, i) = no
                    dgvCat(0, i).ReadOnly = True

                    ' 名前
                    Dim name = New DataGridViewTextBoxCell()
                    name.Value = dt.Rows(i)("Name")
                    dgvCat(1, i) = name

                    ' 性別
                    Dim sex = New DataGridViewComboBoxCell()
                    sex.Items.AddRange({"♂  ", "♀  "})
                    sex.DisplayStyle = DataGridViewComboBoxDisplayStyle.ComboBox
                    dgvCat(2, i) = sex
                    dgvCat(2, i).Value = dt.Rows(i)("Sex")

                    ' 年齢
                    Dim age = New DataGridViewTextBoxCell()
                    age.Value = dt.Rows(i)("Age")
                    dgvCat(3, i) = age

                    ' 種別
                    Dim kind = New DataGridViewComboBoxCell()
                    kind.DataSource = kindList
                    kind.DisplayMember = "KindName"
                    kind.ValueMember = "KindCd"
                    kind.DisplayStyle = DataGridViewComboBoxDisplayStyle.ComboBox
                    dgvCat(4, i) = kind
                    dgvCat(4, i).Value = dt.Rows(i)("Kind_Cd")

                    ' 好物
                    Dim favorite = New DataGridViewTextBoxCell()
                    favorite.Value = dt.Rows(i)("Favorite")
                    dgvCat(5, i) = favorite

                Next

            End Using

            ' データベースクローズ
            conn.Close()

        End Using
    End Sub


 

起動してみる



種別にデータが設定されました。



検索ボタン押下でデータがグリッドに表示されました。

まとめ

PostgreSQLもほとんど変更無しで対応することができました。

実は EntityFrameworkを利用する予定だったのですが、

依存ファイルが見つからないエラーで嵌ってしまったので断念。

いずれ時間のある時にでも。。

ではでは。


【WPF】PostgreSQL に接続してデータを操作（登録、更新、削除）してみる
2019-06-26T09:51:09+09:00
おはようございます。

前回に引き続き PostgreSQL を使って、登録、更新、削除をしてみたいと思います。

前回の記事はこちら。

【WPF】PostgreSQL に接続してデータを取得して表示する

プログラムの修正

追加処理の修正

MainWindow.xaml.cs

        /// 
        /// 追加ボタンクリックイベント
        /// 
        /// 
        /// 
        private void add_button_Click(object sender, RoutedEventArgs e)
        {
            logger.Info("追加ボタンクリック");

            // データを追加する
            // PgDbContext に変更
            //using (var conn = new SQLiteConnection("Data Source=SampleDb.sqlite"))
            using (var context = new PgDbContext())
            {
                // データ作成
                // テーブルはコンテキスト経由でアクセスする
                //var table = context.GetTable();
                Cat cat = new Cat();
                cat.No = 5;
                cat.No = 5;
                cat.Name = "こなつ";
                cat.Sex = "♀";
                cat.Age = 7;
                cat.Kind = "01";
                cat.Favorite = "布団";
                // データ追加
                // コンテキスト経由でエンティティを追加
                //table.InsertOnSubmit(cat);
                context.Cats.Add(cat);
                // DBの変更を確定
                // メソッド変更
                //context.SubmitChanges();
                context.SaveChanges();
            }

            // データ再検索
            searchData();
            MessageBox.Show("データを追加しました。");
        }


更新処理

MainWindow.xaml.cs

        /// 
        /// 更新ボタンクリックイベント
        /// 
        /// 
        /// 
        private void upd_button_Click(object sender, RoutedEventArgs e)
        {
            logger.Info("更新ボタンクリック");

            // 選択チェック
            if (this.dataGrid.SelectedItem == null)
            {
                MessageBox.Show("更新対象を選択してください。");
                return;
            }

            // データを更新する
            // PgDbContext に変更
            //using (var conn = new SQLiteConnection("Data Source=SampleDb.sqlite"))
            using (var context = new PgDbContext())
            {
                // 対象のテーブルオブジェクトを取得
                // テーブルはコンテキスト経由でアクセスする
                //var table = context.GetTable();
                var table = context.Cats;
                // 選択されているデータを取得
                Cat cat = this.dataGrid.SelectedItem as Cat;
                // テーブルから対象のデータを取得
                var target = table.Single(x => x.No == cat.No);
                // データ変更
                target.Favorite = "高いところ";
                // DBの変更を確定
                // メソッド変更
                //context.SubmitChanges();                
                context.SaveChanges();
            }

            // データ再検索
            searchData();

            MessageBox.Show("データを更新しました。");
        }


 

削除処理

MainWindow.xaml.cs

        /// 
        /// 削除ボタンクリックイベント
        /// 
        /// 
        /// 
        private void del_button_Click(object sender, RoutedEventArgs e)
        {
            logger.Info("追加ボタンクリック");

            // 選択チェック
            if (this.dataGrid.SelectedItem == null)
            {
                MessageBox.Show("削除対象を選択してください。");
                return;
            }

            // データを削除する
            // PgDbContext に変更
            //using (var conn = new SQLiteConnection("Data Source=SampleDb.sqlite"))
            using (var context = new PgDbContext())
            {
                // 対象のテーブルオブジェクトを取得
                // テーブルはコンテキスト経由でアクセスする
                //var table = context.GetTable();
                var table = context.Cats;
                // 選択されているデータを取得
                Cat cat = this.dataGrid.SelectedItem as Cat;
                // テーブルから対象のデータを取得
                var target = table.Single(x => x.No == cat.No);
                // データ削除
                // メソッド変更
                //table.DeleteOnSubmit(target);
                table.Remove(target);
                // DBの変更を確定
                context.SaveChanges();
            }

            // データ再検索
            searchData();
            MessageBox.Show("データを削除しました。");
        }


 

まとめ

サクッとした記事になりましたが、ひとまず PostgreSQL はここまでとして次回は Oracle を試してみたいと思います。

ソースはこちら

GitHub

ではでは。


【WPF】PostgreSQL に接続してデータを取得して表示する
2019-06-25T10:05:02+09:00
おはようございます。

今回は、PostgreSQLを使ってデータを検索、データグリッドに表示してみます。

お決まりですが、プログラムは前回までのものを流用します。

【WPF】ProgressRingを使って時間のかかる処理を分かりやすくする

また、PostgreSQLをインストールしていない場合は次の記事を参照して、パソコンにインストールしてください。

PostgreSQL 9.6.3 をインストールしてテーブルを作成する

Nuget でパッケージをダウンロード



ソリューションエクスプローラーからプロジェクトを選択、右クリックし

「Nuget パッケージの管理」を選択



Nuget パッケージ管理画面が表示されるので、

検索窓に「Npgsql 6」を入力し、「EntityFramework6.Npgsql」を選択、

インストールボタンをクリックします。



プレビュー画面が表示される場合は「OK」ボタンをクリックします。



出力ビューに「終了」が表示されれば完了です。

スキーマの作成

PostgreSQL ではスキーマ単位の管理をしておかないと困ることになります。

スキーマ指定しないでテーブル作成すると「public」スキーマに作成されるのですが、

C#からの接続時には必ず（やってみた限りでは）スキーマ指定しないといけないので、まずはスキーマを作成しておきます。

CREATE SCHEMA dora;


テーブルの作成

作成したスキーマににテーブルを作成

SQLite の時と同じテーブル、データを用意します。

このとき、テーブル名やカラム名は小文字にしておくこと。

CREATE TABLE IF NOT EXISTS dora.mstkind (
        kind_cd CHAR(2) NOT NULL
        , kind_name VARCHAR(20)
        , primary key (kind_cd)
);


CREATE TABLE IF NOT EXISTS dora.tblcat (
        no INTEGER NOT NULL
        , name VARCHAR(20) NOT NULL
        , sex CHAR(3) NOT NULL
        , age INTEGER DEFAULT 0 NOT NULL
        , kind_cd CHAR(2) DEFAULT '00' NOT NULL
        , favorite VARCHAR(40)
        , PRIMARY KEY (no)
);

INSERT INTO DORA.MSTKIND VALUES ('01', 'キジトラ');
INSERT INTO DORA.MSTKIND VALUES ('02', '長毛種（不明）');
INSERT INTO DORA.MSTKIND VALUES ('03', 'ミケ（っぽい）');
INSERT INTO DORA.MSTKIND VALUES ('04', 'サビ');
INSERT INTO DORA.MSTKIND VALUES ('09', 'その他');
INSERT INTO DORA.TBLCAT VALUES('1','そら','♂','6','01','犬の人形');
INSERT INTO DORA.TBLCAT VALUES('2','りく','♂','5','02','人間');
INSERT INTO DORA.TBLCAT VALUES('3','うみ','♀','4','03','高級ウェットフード');
INSERT INTO DORA.TBLCAT VALUES('4','こうめ','♀','2','04','横取りフード');


設定ファイルの修正

次のようにします。

重要な部分は、「entityFramework」タグと「system.data」タグ。

App.config



  
    
    
  
  
    
  
  
    
      
        
      
    
    
      
      
    
  
  
    
      
      
    

  
    
      
        
        
      
    
  



プログラム修正

新規クラスの追加

DbContextを継承したクラスを作成します。

このクラスでデータベースへの接続、Entityへのマッピングなどを行います。

デフォルトのスキーマを変更する場合、「OnModelCreating」メソッドにて設定可能です。

PgDbContext.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

using System.Data.Entity;
using Npgsql;

namespace WpfApp1
{
    class PgDbContext : DbContext
    {
        private const string ConnectionString = "Server=localhost;User ID=USER01;Password=USER01;Database=DB01;port=5432";

        // コンストラクタにて接続文字列を設定
        public PgDbContext() : base(new NpgsqlConnection(ConnectionString), true) { }

        public DbSet Kinds { get; set; }
        public DbSet Cats { get; set; }

        // スキーマを変更する場合にはここに設定
        protected override void OnModelCreating(DbModelBuilder modelBuilder)
        {
            //Configure default schema
            modelBuilder.HasDefaultSchema("dora");
        }
    }
}


Entityクラスの修正

アノテーションが今までのとちょっと違うので修正します。

Kind.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

using System.ComponentModel.DataAnnotations;
using System.ComponentModel.DataAnnotations.Schema;

namespace WpfApp1
{
    [Table("mstkind")]
    class Kind
    {
        [Key]
        [Column("kind_cd")]
        public String KindCd { get; set; }
        [Column("kind_name")]
        public String KindName { get; set; }
    }
}


Cat.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

using System.ComponentModel.DataAnnotations;
using System.ComponentModel.DataAnnotations.Schema;

namespace WpfApp1
{
    [Table("tblcat")]
    class Cat
    {
        [Key]
        [DatabaseGenerated(DatabaseGeneratedOption.None)]
        [Column("no")]
        public int No { get; set; }
        [Column("name")]
        public String Name { get; set; }
        [Column("sex")]
        public String Sex { get; set; }
        [Column("age")]
        public int Age { get; set; }
        [Column("kind_cd")]
        public String Kind { get; set; }
        [Column("favorite")]
        public String Favorite { get; set; }
    }
}


宣言の追加

MainWindow.xaml.cs

using Npgsql;
using System.ComponentModel;




接続処理の変更

テーブル作成以外、全ての箇所を変更します。

MainWindow.xaml.cs

//using (var conn = new SQLiteConnection("Data Source=SampleDb.sqlite"))
using (var context = new PgDbContext())


テーブル作成は今まで通りコマンドで行います。

（また別途、DbContext でのやり方は紹介します）

テーブル作成クエリの変更

SQLite とは微妙に違うところ（型、長さ）を変更。

MainWindow.xaml.cs

// テーブルが存在しなければ作成する
// 種別マスタ
StringBuilder sb = new StringBuilder();
sb.Append("CREATE TABLE IF NOT EXISTS mstkind (");
sb.Append(" kind_cd CHAR(2) NOT NULL");
sb.Append(" , kind_name VARCHAR(20)");
sb.Append(" , PRIMARY KEY (kind_cd)");
sb.Append(")");
command.CommandText = sb.ToString();
command.ExecuteNonQuery();

// 猫テーブル
sb.Clear();
sb.Append("CREATE TABLE IF NOT EXISTS tblcat (");
sb.Append(" no INTEGER NOT NULL");
sb.Append(" , name VARCHAR(20) NOT NULL");
sb.Append(" , sex CHAR(3) NOT NULL");
sb.Append(" , age INTEGER DEFAULT 0 NOT NULL");
sb.Append(" , kind_cd CHAR(2) DEFAULT '00' NOT NULL");
sb.Append(" , favorite VARCHAR(40)");
sb.Append(" , PRIMARY KEY (no)");
sb.Append(")");

command.CommandText = sb.ToString();
command.ExecuteNonQuery();


検索処理の修正

MainWindow.xaml.cs

        /// 
        /// 検索処理（非同期）
        /// 
        /// 
        /// 
        private void SearchProcess(object sender, DoWorkEventArgs e)
        {
            // 猫データマスタを取得してコンボボックスに設定する
            //using (var conn = new SQLiteConnection("Data Source=SampleDb.sqlite"))
            // PgDbContext に変更
            using (var context = new PgDbContext())
            {
                String searchName = this.search_name.Text;
                String searchKind = (this.search_kind.SelectedValue as Kind).KindCd;

                // データを取得
                // context から DbSet を取得
                //Table tblCat = con.GetTable();
                var tblCat = context.Cats;

                // サンプルなので適当に組み立てる
                IQueryable result;
                if (searchKind == "")
                {
                    // 名前は前方一致のため常に条件していしても問題なし
                    result = from x in tblCat
                             where x.Name.StartsWith(searchName)
                             orderby x.No
                             select x;
                }
                else
                {
                    result = from x in tblCat
                             where x.Name.StartsWith(searchName) & x.Kind == searchKind
                             orderby x.No
                             select x;

                }
                this.dataGrid.ItemsSource = result.ToList();
            }
        }


コンバーターの修正

データグリッドに表示する際に値を変換している箇所も、DB接続しているため変更します。

KindConverter.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;

using System.Data.Linq;
using System.Data.SQLite;
using System.Data.SQLite.Linq;

// Converter 用
// IValueConverter、CultureInfo
using System.Windows.Data;
using System.Globalization;


namespace WpfApp1
{
    /// 
    /// 種別コンバータークラス.
    /// 
    public class KindConverter : IValueConverter
    {
        /// 
        /// データ変換処理
        /// 
        /// 
        /// 
        /// 
        /// 
        /// 
        public object Convert(object value, Type targetType, object parameter, CultureInfo culture)
        {
            //using (var conn = new SQLiteConnection("Data Source=SampleDb.sqlite"))
            // PgDbContext に変更
            using (var context = new PgDbContext())
            {
                // データを取得
                //Table tblCat = con.GetTable();
                //Kind k = tblCat.Single(c => c.KindCd == value as String);
                var kind = context.Kinds.SingleOrDefault(c => c.KindCd == (String)value);
                if (kind != null)
                {
                    return kind.KindName;
                }
                return "";
            }
        }

        /// 
        /// データ復元処理
        /// 
        /// 
        /// 
        /// 
        /// 
        /// 
        public object ConvertBack(object value, Type targetType, object parameter, CultureInfo culture)
        {
            using (var context = new PgDbContext())
            {
                // データを取得
                //Table tblCat = con.GetTable();
                //Kind k = tblCat.Single(c => c.KindCd == value as String);
                var kind = context.Kinds.SingleOrDefault(c => c.KindName == value as String);
                if (kind != null)
                {
                    return kind.KindCd;
                }

            }
            return "";
        }
    }
}


 

起動してみる



無事に起動、検索することができました。

まとめ

ひとまず、元々の処理（SQLite、MySQL）とあまり変更せずに実装することができました。

ちょっと長くなってしまったので、

登録、更新、削除はまた次回とさせていただきます。

ではでは。

 


SQLでNULLを0として出力する方法
2019-04-02T18:05:06+09:00
MySQLで外部結合したときに、COUNT()の結果が0件だとNULL値が返却されてしまったため、NULLを0として表示する関数を調べました。

ついでに他のDBについても書きました。

関数

IFNULL (a, 0)

MySQL、SQLite

COALESCE (a, 0)

MySQL、SQLite、PostgreSQL、Oracle

NVL (a, 0)

Oracle

ISNULL (a, 0)

SQL Server

使い方

第1引数（この場合カラムa）がNULLだった場合、関数は第2引数（この場合は0）を返します。

第1引数がNULLでなければ、関数はそのまま第1引数を返します。

これらは同じような使い方ができますが、COALESCE()だけ仕様が異なり、引数を無限に設定することができます。

COALESCE()は第1引数から順に「その値がNULLかどうか」を判定し、NULLであれば次の引数へ、NULLでなければその値を返却します。

全ての引数がNULLだった場合は、諦めてNULLを返却します。

「PostgreSQL」の記事 - Crieit

【Ubuntu】apt updateでKey is stored in legacy trusted.gpg keyringと注意されたので対応する

MySQLやPostgreSQLにおけるNULLは、不明な値であり計算に使うと結果がNULLになってしまうことがある

PostgreSQL： とにかく簡単にトレンドやホットランキングを出したい

AWX をインストールした後の Server Error を解決したかった話

【VB.NET】PostgreSQL に接続してデータ操作（追加・更新・削除）をしてみる

【VB.NET】PostgreSQL に接続してデータを DataGridView に表示してみる

【WPF】PostgreSQL に接続してデータを操作（登録、更新、削除）してみる

【WPF】PostgreSQL に接続してデータを取得して表示する

SQLでNULLを0として出力する方法

PostgreSQL：とにかく簡単にトレンドやホットランキングを出したい