「文字化け」の記事 - Crieit

PDF からテキストをコピペしたときに稀に見られる潰れた文字のメモ

2022-04-29T23:58:08+09:00

あるとき、エディタ上で「入」の文字が化けてしまって困ったので原因を探ったのでメモしておきます。

経緯

エディタ上でファイル名をコピペしたら「入」の文字が化けてしまいました。エクスプローラ上で見ると一見普通の「入」の文字のように見えたのですが……。

メモ帳に貼り付けたところ、明らかに様子がおかしいことに気付きました。

左が文字化けした「入」、右が手入力した「入」です。

何故か今回文字化けした「入」は半分くらいに潰れていますね……。字形が異なるということは、もちろん、文字コードも別です。ユニコードで見ると左が \u2F0A 、右が \u5165 です。

何でしょうこれ……。

調査

調べてみると、他にもこうした文字があることが分かりました。

⼊入
⼈人
⻄西
⾃自
⾞車
⼒力
⼿手
⾮非
⼤大
⼯工

今回採集した例が上述。

メモ帳で見るといずれも半分くらいの大きさに潰れています。エクスプローラで見るとほとんど違いが分からないのですが、先述の通り文字コードが別なのでファイル名はしっかり別物と認識されます。

そのため、同じファイル名が複数あるように見えるというなかなか~~面白い~~困った状況に陥ります。

さらに調べた結果、原因が判明しました。原因は PDF でした。

PDFの中のテキストは文字コードとは別の固有の番号で文字を出力しているが、Unicodeのような文字コードとは互換性はない
一応文字コードとPDF固有の番号の変換テーブルはある
が、この変換テーブルがない PDF が存在する
そうした場合、昇順で文字を参照するが本来の文字ではなく部首に当たる文字が先にヒットしてしまう
この部首に当たる文字が先の半分潰れたような文字の正体
結果、コピペ等 PDF の中からテキストを抜く際に本来の文字ではなく、部首に当たる文字が抜き出される。その文字は通常の文字ではないため、一部の環境では化ける

ざっくり言うとこんな感じの原因の模様。確かに、今回のケースでも PDF の中から見出しのテキストをコピペしてファイル名にしていました。その際に先の条件に当てはまり、通常の 入 ではなく、 ⼊ を混入させてしまった、ということのようです。

原因が分かれば納得ですが、なんと面倒な……。

参考

(余談)

「文字コードを自動判別する」と言う幻想を打ち砕く👊 - Qiita

今回の件とは別件ですが、まあ文字コードがらみは厄介ですよね、というお話。

FTP で日本語ファイルが文字化けする場合の対処法 (FFFTP, WinSCP)

2022-01-02T11:27:06+09:00

FTP でサーバにアップロードされている日本語ファイルを扱う際に注意すべき事項をメモしておきます。

……そもそも基本的に日本語を含むマルチバイト文字をアップロードするのは宜しくないのですが、誤ってアップロードしてしまった際などの対処法として。

ちなみに一度アップロードしたファイルはサーバによってはクライアントとサーバの文字コードの違いで正しく認識できず、名前の変更や削除すらできなくなってしまうこともあるので注意。

FFFTP

まず FFFTP の場合。

登録されている接続情報を選択して「設定変更」。

「拡張」タブを開き、「接続時にホストに送るコマンド」のテキストエリアに以下の文字列を入力。

OPTS UTF8 OFF

これで接続しなおすと文字化けしなくなります。

WinSCP

次に WinSCP の場合。

セッションを繋ごうとした際に、右下の「設定」のドロップダウンから「設定」を選択。

「高度なサイトの設定」ダイアログの中で、左のツリーから「環境」下の「FTP」を選択。

「ログインコマンドの送信」のテキストエリアで FFFTP と同様に次のコマンドを入力。

OPTS UTF8 OFF

これでOK。

備考

原因としては、サーバが対応していないのにクライアント側が UTF-8 で転送しようとすると文字化けを起こす模様。

しかも Windows10 はデフォルトで UTF-8 で転送するよう

OPTS UTF8 ON

のコマンドを送るとのことので、より現象に遭遇しやすくなっているものと思われます。

この辺で面倒になるので、サーバにはマルチバイト文字のファイル名は止めていただきたいのですよね。あと、スペースや特殊な記号を含むファイル名。

余談 (WinSCP)

今回は効果がなかったですが別の方法を。

「高度なサイトの設定」ダイアログで「環境」を選択、「サーバ環境」の中の「ファイル名を UTF-8 でエンコード」を「オフ」にしても今回は効果がありませんでした。

……項目の名前的に同じことをやっているような気がするのですが、何か差があるのでしょうか。

参考

FFFTP

WinSCP

日本語のファイル名やディレクトリ名は利用できますか。 | よくあるご質問(FAQ) | CPIサポート

WinSCP (今回は効果がなかった)

簡単！WinSCPでファイル名が文字化けする原因と対応方法 - ３流なSEのメモ帳

Windows10 での仕様

Windows 10 ではデフォルトで OPTS UTF8 ON (UTF-8 でファイル名を扱う) コマンドをサーバに送信してしまうため、対応していないサーバでは今回のような現象が発生してしまうようです。

RFC2640

サーバが UTF-8 をサポートしている場合は OPTS UTF8 ON を送るよう RFC2640 で定義されている模様。