「sed」の記事 - Crieit

Ubuntu で Main リポジトリ以外のインストール済みパッケージを一覧にする

2023-07-06T01:13:51+09:00

以下のコマンドを使用すると、 Ubuntu にインストールされているパッケージのうち、Main リポジトリ以外（Restricted, Universe, Multiverse）に属するものを一覧で表示できる。

dpkg-query --show --showformat='${binary:Package}\n' | xargs -IX bash -c "apt-cache policy X | sed -n --regexp-extended '1h;/.*(\/restricted|\/universe|\/multiverse) .*/{x;p;x;p;Q}'"

以上！

…とすると、この記事だけでは少し物足りない気がするので、使い方についても少し説明しておく。

なぜ Main リポジトリ以外のものを把握したいのか？

パッケージの取得元リポジトリのカテゴリを把握する理由は、Canonical による Ubuntu Pro のサポート範囲が関係しているからだ。

apt コマンドを使用して、Ubuntu の標準リポジトリから取得される各パッケージは、以下の4つのカテゴリに分類される。 ¹

Main
- Ubuntu チームによってサポートされる、フリーソフトウェアを収容するコンポーネントで、 2,300 以上のパッケージを含む。
- Ubuntu インストール時にデフォルトでインストールされるパッケージの大半はこれ。
Restricted
- ドライバーなど、利便性の面でデフォルトでインストールされたほうが望ましいものの、プロプライエタリであるソフトウェアを含むコンポーネント。
Universe
- Ubuntu コミュニティによって管理されている、 Linux 界の多くのオープンソースソフトウェアを収容するコンポーネントで、 23,000 以上のパッケージを含む。
Multiverse
- フリーソフトの要件を満たさないような、特殊なライセンス要件をもつソフトウェアを収容するコンポーネント。
- GPU 関連 (CUDA 等) や, VirtualBox などが含まれている。

これらのうち、Restricted と Multiverse リポジトリのパッケージについては、それぞれのソフトの提供元によってのみメンテナンスされ、Canonical によるサポートは行われない。

一方で、Main と Universe リポジトリのパッケージについては、セキュリティ修正の提供期間や、電話/オンラインチケットサポート範囲が、 Ubuntu Pro の有無やライセンスの種類ごとに以下のような内訳となっている。 ²

Security patching Ubuntu LTS Ubuntu Pro (Infra-only) Ubuntu Pro

Over 2,300 packages in Ubuntu Main repository 5 years 10 years 10 years

Over 23,000 packages in Ubuntu Universe repository Best effort Best effort 10 years

Optional phone/ticket support No Yes Yes

Security patching	Ubuntu LTS	Ubuntu Pro (Infra-only)	Ubuntu Pro
Over 2,300 packages in Ubuntu Main repository	5 years	10 years	10 years
Over 23,000 packages in Ubuntu Universe repository	Best effort	Best effort	10 years
Optional phone/ticket support	No	Yes	Yes

5年のLTSの期間中、Main リポジトリのパッケージを主に使用する場合、（ライブパッチ等の他のUbuntu Proのサービスが不要であれば）無料の範囲内で十分だ。

Main リポジトリのパッケージを主に使用しながら、10年の延長サポートを望む場合は、"Ubuntu Pro (Infra-only)" を契約することをおすすめする。

また、Universe リポジトリのパッケージを積極的に活用したい場合は、"Ubuntu Pro" を契約しておくと、より安心だろう。

Ubuntu の Universe リポジトリのパッケージの更新基準

ちなみに、Universe repository の "Best effort" と "10 years" の違いがいまいちわかりにくいが…

例えば、サポート中の Ubuntu 22.04 LTS であっても、 Universe リポジトリの imagemagick パッケージを更新しようとすると、 Ubuntu Pro with 'esm-apps' の有効化が必要と広告が表示される。

$ cat /etc/os-release
PRETTY_NAME="Ubuntu 22.04.2 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.2 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=jammy
$ 
$ sudo apt update
$ sudo apt install imagemagick
$ 
$ sudo apt upgrade
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Calculating upgrade... Done
Get more security updates through Ubuntu Pro with 'esm-apps' enabled:
  imagemagick ansible libopenexr25 libmagickcore-6.q16-6-extra
  libmagickwand-6.q16-6 imagemagick-6.q16 libmagickcore-6.q16-6
  imagemagick-6-common
Learn more about Ubuntu Pro at https://ubuntu.com/pro
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.
$
$ apt-cache policy imagemagick
imagemagick:
  Installed: 8:6.9.11.60+dfsg-1.3ubuntu0.22.04.3
  Candidate: 8:6.9.11.60+dfsg-1.3ubuntu0.22.04.3
  Version table:
 *** 8:6.9.11.60+dfsg-1.3ubuntu0.22.04.3 500
        500 http://archive.ubuntu.com/ubuntu jammy-updates/universe amd64 Packages
        500 http://archive.ubuntu.com/ubuntu jammy-security/universe amd64 Packages
        100 /var/lib/dpkg/status
     8:6.9.11.60+dfsg-1.3build2 500
        500 http://archive.ubuntu.com/ubuntu jammy/universe amd64 Packages

package management - I'm getting the message: "The following security updates require Ubuntu Pro with 'esm-apps' enabled" when updating Ubuntu 22.04 - Ask Ubuntu

上記の回答によると、 Ubuntu の Universe リポジトリのアップストリームパッチの取り込みは引き続き行っているものの、 Canonical のセキュリティチームによるパッチは Ubuntu Pro の 'esm-apps' に限って行うようになっている。

ここでいう「アップストリームパッチ」とはなんぞや？

ImageMagick/ImageMagick6 at 6.9.12-90

ImageMagick の元の開発元の GitHub を見れば分かる通り、より高いバージョンのパッケージもメンテナンスリリースされ続けているが、これがそのまま取り込まれているわけではなさそうだ。

Debian -- bullseye の imagemagick パッケージに関する詳細

一方で、Ubuntu 22.04 LTS の元となっている Debian 11 bullseye のパッケージを見ると、 2023年7月現在は

imagemagick (8:6.9.11.60+dfsg-1.3+deb11u1)

と、 Ubuntu 側の非ESMのバージョンと、似たようなバージョンにとどまっている。

すなわち、ココで言う「アップストリーム」とは、 Debian のパッケージ管理の方を指しているのだと思われる。

おそらく、Universe リポジトリのパッケージについては以下のようになっているのだろう。

ベースとなっている Debian でリリースされているバージョンは Best effort で LTS へ取り込み
それ以外の Canonical 側で当てたセキュリティパッチは Ubuntu Pro のみに提供

だとすれば、Ubuntu Pro の esm-apps を有効にしていなくても、ベースとなった Debian レベルの修正はされると考えてよさそうだ。

実際にソースコードを見てみる

実際に、 Debian 11 bullseye, Ubuntu 22.04 LTS, Ubuntu 22.04 ESM それぞれに於ける2023年7月現在最新版のソースを、 apt source コマンドで入手してみて比べてみると…

ディストリビューション	.dsc (Debian Source Control) ファイル	ソースファイル
Debian 11 bullseye	imagemagick_6.9.11.60+dfsg-1.3+deb11u1.dsc	imagemagick_6.9.11.60+dfsg.orig.tar.xzimagemagick_6.9.11.60+dfsg-1.3+deb11u1.debian.tar.xz
Ubuntu 22.04 LTS	imagemagick_6.9.11.60+dfsg-1.3ubuntu0.22.04.3.dsc	imagemagick_6.9.11.60+dfsg.orig.tar.xzimagemagick_6.9.11.60+dfsg-1.3ubuntu0.22.04.3.debian.tar.xz
Ubuntu 22.04 esm-apps	imagemagick_6.9.11.60+dfsg-1.3ubuntu0.22.04.3+esm2.dsc ³	imagemagick_6.9.11.60+dfsg.orig.tar.xzimagemagick_6.9.11.60+dfsg-1.3ubuntu0.22.04.3+esm2.debian.tar.xz

このうち、 imagemagick_6.9.11.60+dfsg.orig.tar.xz についてはハッシュ値まで同じファイルなので、相違点は以下のファイルとなる。

imagemagick_6.9.11.60+dfsg-1.3+deb11u1.debian.tar.xz
imagemagick_6.9.11.60+dfsg-1.3ubuntu0.22.04.3.debian.tar.xz
imagemagick_6.9.11.60+dfsg-1.3ubuntu0.22.04.3+esm2.debian.tar.xz

これらのアーカイブファイルの中身に対して WinMerge の3方向マージなどを使い、changelog やパッチファイルなどの比較をしてみよう。
すると、いずれも 6.9.11.60+dfsg-1.3 までのパッチがあたっているのに加えて、それぞれ以下のセキュリティフィックスを含んでいることがわかる。

Debian 11 と Ubuntu 22.04 LTS
- CVE-2022-44267
- CVE-2022-44268
Ubuntu 22.04 esm-apps
- CVE-2022-44267
- CVE-2022-44268
- CVE-2021-3574
- CVE-2021-3610
- CVE-2021-4219
- CVE-2021-20241
- CVE-2021-20243
- CVE-2021-20244
- CVE-2021-20245
- CVE-2021-20246
- CVE-2021-20309
- CVE-2021-20312
- CVE-2021-20313
- CVE-2021-39212
- CVE-2022-1114
- CVE-2022-28463
- CVE-2022-32545
- CVE-2022-32546
- CVE-2022-32547
- CVE-2023-1289
- CVE-2023-1906
- CVE-2023-3195
- CVE-2023-3428
- CVE-2023-34151

前述の、 Debian 11 ≒ Ubuntu 22.04 LTS ≦ Ubuntu 22.04 esm-apps だろうという予想は当たっていそうだ。

ちなみに、つい先日2023年6月にリリースされたばかりの Debian 12 bookworm では、imagemagick_6.9.11.60+dfsg-1.6.dsc という少し dfsg のバージョンが高いパッケージがリリースされている。
その changelog を見てみると、6.9.11.60+dfsg-1.3 までのパッチに加えて、以下のセキュリティフィックスが含まれていた。

Debian 12
- CVE-2022-44267
- CVE-2022-44268
- CVE-2021-3574
- CVE-2021-4219
- CVE-2021-20241
- CVE-2021-20243
- CVE-2021-20244
- CVE-2021-20245
- CVE-2021-20246
- CVE-2021-20309
- CVE-2021-20312
- CVE-2021-20313
- CVE-2021-39212
- CVE-2022-1114
- CVE-2022-28463
- CVE-2022-32545
- CVE-2022-32546
- CVE-2022-32547

Ubuntu Pro の esm-apps のほうが、Debian 12 に含まれているパッチに加え、更に多くのセキュリティフィックスを含んでいることがわかる。

… Debian 12 bookworm のパッケージでも、ImageMagick 6.9.12系や ImageMagick 7系へのパッケージの更新はしていないのね。

参考:

Repositories - Community Help Wiki ↩︎
Ubuntu Pro | Ubuntu ↩︎
ESM向けの配信ページはパスワード保護がかかっているが、Ubuntu Pro を有効すると作成される/etc/apt/auth.conf.d/内のファイルに記載されたユーザー名(bearer)とパスワードで認証できる。 ↩︎

置換ができない/複数ある場合に sed の終了コード0以外にする

2021-12-04T00:20:20+09:00

本記事は、シェルスクリプト Advent Calendar 2021 の 4日目の記事だ。
そして、且つ docker Advent Calendar 2021 4日目の記事でもある。

どちらのカレンダーもまだまだスッカスカなので、禁じ手で埋めにかかってしまった。

Docker 公式イメージなどをベースにして、カスタムしてイメージをビルドして使おうとした際、なるべくなら /etc/apt/apt.conf.d/ 等のように、設定用のファイルを追加して、ツール側がいい感じにマージして利用してくれるのが望ましい。
しかし、場合によってはやむを得ず、既存のファイルを sed コマンドなどで編集せざるを得ないこともあるだろう。

カスタムイメージの Dockerfile をビルドする際に、当初は意図通り書き換えられていても、イメージが更新された結果、イメージのリビルド時にファイルの書き換えが意図しない結果となってしまう場合がある。 ¹

通常、 sed コマンドは、置換が発生してもしなくても、終了コード 0 で終了する。
このため、書き換えの成否にかかわらず、 docker build 時にエラーにならないため、コンテナ実行時に初めて置換が意図しない結果だったことに気づくことがある。

そこで、sed コマンドの書き換えで適切なパターンが見つからなかった場合に 0以外の終了コードを返し、ビルド時にエラーとする方法を考える。

以下、 sed は GNU sed を前提とし、 "行頭の foo" を BARfooBAR に置き換える場合の例。

ひとつもヒットしなかったら終了コード16 のエラー

まずは、書き換えるパターンが見つからなかった場合に、エラーコードを返す方法。

sed -e '/^foo/{s//BAR\0BAR/;h};$!b;p;x;/./Q;Q16'

参考: https://stackoverflow.com/a/15966279

ざっとコマンドの流れを解説すると、以下のようになる。

まず、正規表現アドレスで置換する行を選択する。
ブロック {} を用いて、正規表現に一致する行について以下を実行する。
1. s コマンドで、後方参照を使って FOObarBAR に置換する。
  空の正規表現 '//'は最後の正規表現のマッチを繰り返すので、正規表現アドレスでマッチした "行頭の foo" が置き換えられる。
2. h コマンドで、パターンスペースの内容をホールドスペース (sed 内のクリップボードみたいなもの) にコピーする。
$!b の部分は、最終行でなければ次のサイクルに移動する。すなわち、以降のコマンドは最終行でのみ実行される。
p コマンドでパターンスペースの内容を出力にプリントする。
x コマンドでパターンスペースの内容とホールドスペースをスワップする。
パターンスペースの内容は結果的に 、1度でも最初の正規表現がヒットすればその文字列に、最後まで一度も正規表現がヒットしなければ空っぽになる。
最後、パターンスペースの内容が空でない (即ち、1度以上正規表現がヒットした) なら、終了コード 0 で終了し、そうでなければ 16 で終了する。

ヒットしなければ終了コード16, 2つ以上ヒットしたら終了コード32 のエラー

さらに一歩踏み込んで、書き換えるパターンが見つからない場合と、 2つ以上見つかってしまった場合両方で、エラーにする方法。

sed -e '/^foo/{s//BAR\0BAR/;x;/./Q32;g};$!b;p;x;/./Q;Q16'

基本的な動きは、ひとつもヒットしなかったパターンと同じだ。
ただ、ブロック {} 内部のコマンドを以下のように変更して、複数ヒットした場合にエラーで終了している。

まず、正規表現アドレスで置換する行を選択する。
ブロック {} を用いて、正規表現に一致する行について以下を実行する。
1. s コマンドで、後方参照を使って FOObarBAR に置換する。
2. x コマンドでパターンスペースの内容とホールドスペースをスワップする。
  パターンスペースの内容は結果的に 、以前の行でも正規表現がヒットすればその文字列に、最後まで一度も正規表現がヒットしなければ空っぽになる。
3. パターンスペースの内容が空でない (即ち、正規表現のヒットが2回目) なら、終了コード 32 でエラー終了し、そうでなければそのまま次へ。
4. g コマンドでホールドスペースの内容をパターンスペースにコピーして戻す
以降は「ひとつもヒットしなかったら…」と同じ

なお、このコマンドは、 2つヒットした時点で出力が止まる。

おわりに

モダンなプログラミング言語が軒並み型推論でコンパイル時にエラーとするように、 Dockerfile もビルド時にエラーにしてしまおう。

カスタムイメージの Dockerfile ベースイメージを選択する際、基本的にはタグである程度絞っておくべきだが、それはさておき。 ↩︎

sed のブロック {} 内で i, r, e コマンドを使うと "unmatched `{'" とエラーになる

2021-12-04T00:00:04+09:00

本記事は、シェルスクリプト Advent Calendar 2021 の 3日目の記事だ。
3日目が終わりそうになっても誰も書きそうにないので、最近 sed コマンドでブロック {} を使っていたら、 "unmatched `{" というエラーにハマったので、そのメモ。

target.txt:

foo
bar
foo
bar
foo

insert.txt:

***

上記のような、2つのファイルがあったとする。

target.txt ファイルに対して、正規表現アドレスで bar から始まる行を選択し、その後ろに r コマンド insert.txt のファイルの中身を挿入する。

するとこんな結果になる。

$ sed -e '/^bar/rinsert.txt' target.txt
foo
bar
***
foo
bar
***
foo

では、アドレス指定の後ろにブロック {} を追加し、以下のように bar が2回以上ヒットしたらエラーコード出して終了するようにしてみる。

$ sed -e '/^bar/{rinsert.txt;x;/./Q129;g}' target.txt
sed: -e expression #1, char 0: unmatched `{'
$ echo $?
1

はい、別のエラーで失敗した。
ちゃんと { と } の数はマッチしているのに……

これは、 i, r, e などのコマンドは、コマンドの終了区切りに改行が必須となっていて、セミコロン (;) などで区切ろうとしても、その文字もコマンドのオプションとして渡されてしまうためだ。 ¹

これを回避する場合は、コマンドの後ろに改行を入れるか、 -e を使ってコマンド区切る必要がある。

$ sed -e '/^bar/{rinsert.txt' -e 'x;/./Q129;g}' target.txt
foo
***
bar
foo
***
$ echo $?
129

$ sed -e '/^bar/{rinsert.txt' -e 'x;/./Q129;g}' < foo
> bar
> foo
> foo
> EOF
foo
bar
***
foo
foo
$ echo $?
0

様々な区切り文字でつかわれるので忘れがちだけど、セミコロンをファイル名にすることだって、できるもんな。
そう考えれば納得。

ちなみに、同様の振る舞いをするコマンド ("Commands Requiring a newline") は、以下の通り。

a,c,i (append/change/insert)
# (comment)
r,R,w,W (reading and writing files)
e (command execution)
s///[we] (substitute with e or w flags)

command line - sed weirdness, unmatched { - Super User
sed, a stream editor #3.8.1 Commands Requiring a newline - GNU sed online manual
ストリームエディタ sed #3.8.1 sedコマンドに改行が必要な時 - GNU sed オンラインマニュアル ↩︎