「PDF」の記事 - Crieit

PDF からテキストをコピペしたときに稀に見られる潰れた文字のメモ

2022-04-29T23:58:08+09:00

あるとき、エディタ上で「入」の文字が化けてしまって困ったので原因を探ったのでメモしておきます。

経緯

エディタ上でファイル名をコピペしたら「入」の文字が化けてしまいました。エクスプローラ上で見ると一見普通の「入」の文字のように見えたのですが……。

メモ帳に貼り付けたところ、明らかに様子がおかしいことに気付きました。

左が文字化けした「入」、右が手入力した「入」です。

何故か今回文字化けした「入」は半分くらいに潰れていますね……。字形が異なるということは、もちろん、文字コードも別です。ユニコードで見ると左が \u2F0A 、右が \u5165 です。

何でしょうこれ……。

調査

調べてみると、他にもこうした文字があることが分かりました。

⼊入
⼈人
⻄西
⾃自
⾞車
⼒力
⼿手
⾮非
⼤大
⼯工

今回採集した例が上述。

メモ帳で見るといずれも半分くらいの大きさに潰れています。エクスプローラで見るとほとんど違いが分からないのですが、先述の通り文字コードが別なのでファイル名はしっかり別物と認識されます。

そのため、同じファイル名が複数あるように見えるというなかなか~~面白い~~困った状況に陥ります。

さらに調べた結果、原因が判明しました。原因は PDF でした。

PDFの中のテキストは文字コードとは別の固有の番号で文字を出力しているが、Unicodeのような文字コードとは互換性はない
一応文字コードとPDF固有の番号の変換テーブルはある
が、この変換テーブルがない PDF が存在する
そうした場合、昇順で文字を参照するが本来の文字ではなく部首に当たる文字が先にヒットしてしまう
この部首に当たる文字が先の半分潰れたような文字の正体
結果、コピペ等 PDF の中からテキストを抜く際に本来の文字ではなく、部首に当たる文字が抜き出される。その文字は通常の文字ではないため、一部の環境では化ける

ざっくり言うとこんな感じの原因の模様。確かに、今回のケースでも PDF の中から見出しのテキストをコピペしてファイル名にしていました。その際に先の条件に当てはまり、通常の 入 ではなく、 ⼊ を混入させてしまった、ということのようです。

原因が分かれば納得ですが、なんと面倒な……。

参考

(余談)

「文字コードを自動判別する」と言う幻想を打ち砕く👊 - Qiita

今回の件とは別件ですが、まあ文字コードがらみは厄介ですよね、というお話。

Pass IMANET CMA Exam Questions to Get Certification [2022]

2022-02-10T18:35:16+09:00

CMA Actual Questions With Correct Answers For Guaranteed Quick IMANET Exam Preparation

It is indispensable to have Certified Management Accountant CMA real questions from a dependable brand to crack the Certified Management Accountant CMA examination on the first try. Fortunately, Dumpskey offers accurate CMA real exam questions that have strong chances to come in the final CMA exam. Dumpskey's team of specialists keeps the Certified Management Accountant CMA actual questions and answers up to date according to the Certified Management Accountant CMA real certification test content. CMA updated dumps provided by Dumpskey give an CMA real exam circumstances. Other Certified Management Accountant CMA practice exam learning sources are expensive, so cost-effective and authentic CMA Exam Questions from Dumpskey will save you valuable money and time. CMA study guides and instructor-led Certified Management Accountant CMA exam dumps training are not affordable for every CMA test student. Furthermore, these CMA practice questions preparation resources are not useful for a quick Certified Management Accountant CMA certification exam preparation. All of these CMA practice test preparation problems can be solved by using Certified Management Accountant CMA updated dumps. You can prepare quickly with CMA valid questions and this Certified Management Accountant CMA test preparation material comes in CMA Dumps PDF, desktop Certified Management Accountant CMA practice test software, and web-based CMA practice exam. Check out features of all formats.

Best Features of IMANET CMA Desktop-Based Practice Test Software:

Certified Management Accountant CMA practice questions in the self-assessment software are quite similar to those in the CMA actual certification exam. You can make your CMA practice exam according to the CMA exam questions types you want to see in the mock exam and the Certified Management Accountant CMA test time you want to set. Because the Certified Management Accountant CMA self-assessment practice exam software can easily record previous and new CMA practice test attempts, you can see how each Certified Management Accountant CMA test attempt develops and improves. The CMA Practice Questions are updated regularly based on new CMA certification test content.

Web-Based IMANET CMA Self-Assessment Test – Supported By All Popular Browsers:

You won't need to install Certified Management Accountant CMA preparation evaluation software because you'll be able to take the CMA web-based practice exam via browser. Safari, Opera, Chrome, Firefox, and Internet Explorer are examples of popular browsers that run the web-based CMA practice test. Any plugin will not be required to attempt the Certified Management Accountant CMA web-based practice exam. All the functionalities of the CMA windows-based self-evaluation software are present in the browser-based CMA practice test. All operating systems can be used to take the CMA browser-based practice exam.

Use IMANET CMA Exam Questions for Fast Preparation:

With the Certified Management Accountant CMA dumps PDF, you can study with Certified Management Accountant CMA actual exam questions from smartphones, tablets, and laptops. Since the CMA dumps PDF works on smart devices, therefore, you easily utilize spare time for the CMA certification exam preparation. Moreover, DumpsKey also provides up to three months of free Certified Management Accountant CMA real dumps updates if there is any tweak in the CMA exam questions syllabus.

Purchase IMANET CMA Dumps and Get 25% Discount - Use Coupon Code: SAVE25

Visit For More Information: https://www.dumpskey.com/imanet/cma-braindumps

Dumpskey CMA Questions – Regularly Updated According to the Original IMANET Test Content:

CMA exam dumps for the IMANET Certification Exam preparation material come with up to three months of free updates. Plus, you can test features of Certified Management Accountant CMA exam questions by trying a free demo. Since these formats are based on the current CMA practice test content, therefore, you can easily crack the CMA exam questions without worries. But if you fail in the Certified Management Accountant CMA exam dumps, we will refund you according to terms and conditions.

Best of Luck!!!

Updated 100% Actual Exin CLOUDF Exam Questions [2022]

2022-02-10T18:20:03+09:00

CLOUDF Actual Questions With Correct Answers For Guaranteed Quick Exin Exam Preparation

It is indispensable to have EXIN Cloud Computing Foundation CLOUDF real questions from a dependable brand to crack the EXIN Cloud Computing Foundation CLOUDF examination on the first try. Fortunately, Dumpskey offers accurate CLOUDF real exam questions that have strong chances to come in the final EXIN Cloud Computing Foundation CLOUDF exam. Dumpskey's team of specialists keeps the EXIN Cloud Computing Foundation CLOUDF actual questions and answers up to date according to the EXIN Cloud Computing Foundation CLOUDF real certification test content. CLOUDF updated dumps provided by Dumpskey give an EXIN Cloud Computing Foundation CLOUDF real exam circumstances. Other EXIN Cloud Computing Foundation CLOUDF practice exam learning sources are expensive, so cost-effective and authentic CLOUDF Exam Questions from Dumpskey will save you valuable money and time. CLOUDF study guides and instructor-led EXIN Cloud Computing Foundation CLOUDF exam dumps training are not affordable for every CLOUDF test student. Furthermore, these CLOUDF practice questions preparation resources are not useful for a quick EXIN Cloud Computing Foundation CLOUDF certification exam preparation. All of these EXIN Cloud Computing Foundation CLOUDF practice test preparation problems can be solved by using EXIN Cloud Computing Foundation CLOUDF updated dumps. You can prepare quickly with CLOUDF valid questions and this EXIN Cloud Computing Foundation CLOUDF test preparation material comes in EXIN Cloud Computing Foundation CLOUDF Dumps PDF, desktop EXIN Cloud Computing Foundation CLOUDF practice test software, and web-based CLOUDF practice exam. Check out features of all formats.

Best Features of Exin CLOUDF Desktop-Based Practice Test Software:

EXIN Cloud Computing Foundation CLOUDF practice questions in the self-assessment software are quite similar to those in the CLOUDF actual certification exam. You can make your CLOUDF practice exam according to the CLOUDF exam questions types you want to see in the mock exam and the EXIN Cloud Computing Foundation CLOUDF test time you want to set. Because the EXIN Cloud Computing Foundation CLOUDF self-assessment practice exam software can easily record previous and new EXIN Cloud Computing Foundation CLOUDF practice test attempts, you can see how each EXIN Cloud Computing Foundation CLOUDF test attempt develops and improves. The CLOUDF Practice Questions are updated regularly based on new EXIN Cloud Computing Foundation CLOUDF certification test content.

Web-Based Exin CLOUDF Self-Assessment Test – Supported By All Popular Browsers:

You won't need to install EXIN Cloud Computing Foundation CLOUDF preparation evaluation software because you'll be able to take the CLOUDF web-based practice exam via browser. Safari, Opera, Chrome, Firefox, and Internet Explorer are examples of popular browsers that run the web-based CLOUDF practice test. Any plugin will not be required to attempt the EXIN Cloud Computing Foundation CLOUDF web-based practice exam. All the functionalities of the CLOUDF windows-based self-evaluation software are present in the browser-based EXIN Cloud Computing Foundation CLOUDF practice test. All operating systems can be used to take the CLOUDF browser-based practice exam.

Use Exin CLOUDF Exam Questions for Fast Preparation:

With the EXIN Cloud Computing Foundation CLOUDF dumps PDF, you can study with EXIN Cloud Computing Foundation CLOUDF actual exam questions from smartphones, tablets, and laptops. Since the CLOUDF dumps PDF works on smart devices, therefore, you easily utilize spare time for the EXIN Cloud Computing Foundation CLOUDF certification exam preparation. Moreover, DumpsKey also provides up to three months of free EXIN Cloud Computing Foundation CLOUDF real dumps updates if there is any tweak in the CLOUDF exam questions syllabus.

Purchase Exin CLOUDF Dumps and Get 25% Discount - Use Coupon Code: SAVE25

Visit For More Information: https://www.dumpskey.com/exin/cloudf-braindumps

Dumpskey CLOUDF Questions – Regularly Updated According to the Original Exin Test Content:

CLOUDF exam dumps for the Exin Certification Exam preparation material come with up to three months of free updates. Plus, you can test features of EXIN Cloud Computing Foundation CLOUDF exam questions by trying a free demo. Since these formats are based on the current CLOUDF practice test content, therefore, you can easily crack the CLOUDF exam questions without worries. But if you fail in the EXIN Cloud Computing Foundation CLOUDF exam dumps, we will refund you according to terms and conditions.

Best of Luck!!!

markdown-pdf でログ等の装飾をなくす

2021-01-07T22:16:40+09:00

Markdown で書いたドキュメントを PDF に変換する際には markdown-pdf を利用しています。

通常プログラムのコード等ではシンタックスハイライトで見やすくなるはずの装飾が、ログではかえって逆効果の場合があります。そうした場合に装飾を削るための Tips をメモしておきます。

経緯

markdown-pdf はコードの装飾に highlight.js を利用しているようですが、これがかえって逆効果のことも。

例えば、以下のようなログがあったとします。

[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00493: SIGUSR1 received.  Doing graceful restart
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [lbmethod_heartbeat:notice] [pid 27078:tid 000000000000000] AH02282: No slotmem from mod_heartmonitor
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00489: Apache/X.X.XX (centos) OpenSSL/Y.Y.YY configured -- resuming normal operations
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [core:notice] [pid 27078:tid 000000000000000] AH00094: Command line: '/usr/sbin/httpd -D FOREGROUND'

これを以下のような Markdown として記述して markdown-pdf にかけます。

```
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00493: SIGUSR1 received.  Doing graceful restart
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [lbmethod_heartbeat:notice] [pid 27078:tid 000000000000000] AH02282: No slotmem from mod_heartmonitor
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00489: Apache/X.X.XX (centos) OpenSSL/Y.Y.YY configured -- resuming normal operations
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [core:notice] [pid 27078:tid 000000000000000] AH00094: Command line: '/usr/sbin/httpd -D FOREGROUND'
```

すると……

文字色が変わったり、数字は緑色になっていたりします。このくらいのログならば良いのですが、もっと長いものや、別のフォーマットのログだと次の bash 指定した際のログのように意図しない場所で文字サイズが変わってしまったりするので、非常に見づらくなってしまうケースもありました。

```bash
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00493: SIGUSR1 received.  Doing graceful restart
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [lbmethod_heartbeat:notice] [pid 27078:tid 000000000000000] AH02282: No slotmem from mod_heartmonitor
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00489: Apache/X.X.XX (centos) OpenSSL/Y.Y.YY configured -- resuming normal operations
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [core:notice] [pid 27078:tid 000000000000000] AH00094: Command line: '/usr/sbin/httpd -D FOREGROUND'
```

対処

今回は自前 css と独自言語設定でこれらの装飾を外しました。

```plain
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00493: SIGUSR1 received.  Doing graceful restart
AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 192.0.2.1. Set the 'ServerName' directive globally to suppress this message
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [lbmethod_heartbeat:notice] [pid 27078:tid 000000000000000] AH02282: No slotmem from mod_heartmonitor
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [mpm_event:notice] [pid 27078:tid 000000000000000] AH00489: Apache/X.X.XX (centos) OpenSSL/Y.Y.YY configured -- resuming normal operations
[DDD mmm dd hh:ii:ss.mmmmmm yyyy] [core:notice] [pid 27078:tid 000000000000000] AH00094: Command line: '/usr/sbin/httpd -D FOREGROUND'
```

言語指定に独自の plain を指定。

pre {
    padding: .5rem;
}
pre code {
    margin: 0;
    padding: 0;
    white-space: pre;
    border: none;
    background: transparent;
}
pre[class*="language-plain"],
code[class*="language-plain"],
pre[class*="language-plain"] > *,
code[class*="language-plain"] > * {
    color: #000 !important;
    font-size: 0.8rem !important;
    font-weight: normal !important;
    font-family: Consolas, "Liberation Mono", Menlo, Courier, monospace;
}

ついでに Scss 版も。

pre {
    padding: .5rem;
    code {
        margin: 0;
        padding: 0;
        white-space: pre;
        border: none;
        background: transparent;
    }
}
pre[class*="language-plain"],
code[class*="language-plain"] {
    &, & > * {
        color: #000 !important;
        font: {
            size: 0.8rem !important;
            weight: normal !important;
            family: Consolas, "Liberation Mono", Menlo, Courier, monospace;
        }
    }
}

この css (仮に ./src/md/css/style.css とします)を以下のように markdown-pdf に処理させます。

const markdownpdf = require('markdown-pdf');

markdownpdf(
    {
        cssPath: './src/md/css/style.css',
        remarkable: {
            html: true,
            breaks: true
        }
    }
)
.from('./src/md/hoge.md')
.to('./dist/hoge.pdf');

これで以下のような表示が得られました。

とりあえず読めるようにはなったかな、と。

参考

余談

今回の対処をする際に久々に npm で markdown-pdf を確認したのですが、いくつかの依存パッケージが out of date になってしまっていますね……これはそもそも他の方法を考えなければならない気がします。というか未だに PhantomJS を使っているっぽい……？

MarkdownをPDFに変換する「md-to-pdf」は痒いところに手が届く素敵ツール | Developers.IO

検索したところ、 md-to-pdf が引っかかりました。アクティブそうなのでこちらに乗り換えるのも検討ですかね。

[Python]PDFから特定の文字列を抽出＆ページを画像として保存するツール

2020-09-26T18:32:22+09:00

はじめに

「ノンプロ研」というコミュニティで開催されている講座で使用する目的で作りました。
毎回講座の資料が講師の方から共有してもらえるので、それを演習問題のページだけを抜き出して画像保存するツールです。

PDF資料から特徴のあるページだけを抽出するような作業を行いたい場合は、抽出キーワードを変えると使えるかもしれません。

ただどうも文字抽出が上手くできるかどうかは元のPDFファイルによるものが多く、必ずしもできる訳ではなさそうなので注意が必要です。

使い方

必要なライブラリのインストールをしておいてください（次の項目参照）。
準備したい講座回数（NO）、資料PDFファイルの名（FILES）とフォルダパス（PDF_DIRPATH）、画像出力先フォルダのパス（OUTPUT_DIRPATH）をスクリプトに記入してください
スクリプトを実行して少し待つと、該当する講座の資料から演習ページだけ画像の保存が行われます（pngファイル）
同時に演習をテキストで抜き出したものがテキストファイルで保存されます

使用しているPythonライブラリについて

PDFから文字列を抽出するpdfminer.six
PDFを画像保存するpdf2image

これらを使っています。
またpdf2image を使うには、依存関係のあるpillowとPopplerというライブラリも必要のようです。

スクリプトの解説

（1）ライブラリのインポート

import pathlib
import re
from io import StringIO

from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from pdfminer.pdfpage import PDFPage
import pdf2image

（2）ユーザー入力項目

このツールを使用する前に、変換したいPDFファイルやディレクトリをユーザー自身で指定します。
ユーザーが入力する部分は、グローバルな定数としてまとめてあります。
（パス取得のスクリプトがまだやや冗長な気がしています）

# ユーザー入力項目
# 準備したい講座回数・PDFファイル名をリストに記入
NO = 3
FILES = [
    '20200923初心者講座Pythonコース-01.pdf',
    '20200930初心者講座Pythonコース-02.pdf',
    '20201007初心者講座Pythonコース-03.pdf',
]
# 資料PDFファイルが保存されているフォルダのパスを記入
PDF_DIRPATH = pathlib.Path(
    ''
    )
PDF_FILEPATH = PDF_DIRPATH / FILES[NO-1]
# 出力先フォルダのパス
OUTPUT_DIRPATH = pathlib.Path(
    '<変換した画像を保存したいフォルダのパス>'
    )
# 抽出する文字列(正規表現：ここでは「演習○－○」)
SEARCH_TEXT = r'演習\s*\d－\d+'

Python標準ライブラリのpathlibを使って、パスを記述しています。
pathlib.Path(<パス文字列>)とすることで、Pathオブジェクトを作成しています。

このPathオブジェクトを活用すると、パス同士を/記号を使って結合することができます。
ちなみにこのスクリプトではPDF_DIRPATHがPathオブジェクト・PDF_DIRPATHはstr型のオブジェクトですが、このように一方がPathオブジェクトなら、文字列が混ざっていても/でパスとして結合することもできるようですね。

(参考)pathlibモジュールとosモジュール

どちらもPython標準ライブラリです。
Python3.4以前ではファイルパス操作にos.pathやglobモジュールを使っていたようですが、
Python3.4でpathlibモジュールが追加されてからは、こちらを使う方がシンプルに書きやすくなったようです。

（3）正規表現にマッチするページとテキストを抽出する関数

PDFファイルから、(2)で指定した「抽出する文字列」（ここでは演習問題）に該当するページを、ページ数とテキストとして抽出する関数を作ります。
ここで画像からテキスト抽出できるpdfminer.sixライブラリを活用しています。

長い関数ですが、戻り値としてはoutput_texts変数で、これは「キーにページ番号、値に演習問題ナンバーとテキストが格納されたdict」となっています。

def get_text_from_pdf():
    """PDFファイルから演習問題に該当するテキストをページ数と共に抽出する関数
    Returns:
        output_texts(dict): 演習問題一覧。ページ数をキーとして、演習ナンバーと本文が入った辞書
    """
    # pdfminerの設定
    rsrcmgr = PDFResourceManager()
    codec = 'utf-8'
    laparams = LAParams()
    laparams.detext_vertical=True

    # PDFファイルを1ページずつ見て該当するかチェック
    output_texts = {}  # 該当するページ数とテキストを格納するdict
    with open(PDF_FILEPATH, 'rb') as fp:
        for i, page in enumerate(PDFPage.get_pages(fp)):
            outfp = StringIO()
            device = TextConverter(
                rsrcmgr,
                outfp,
                codec=codec,
                laparams=laparams
                )
            interpreter = PDFPageInterpreter(rsrcmgr, device)
            interpreter.process_page(page)

            extracted_text = outfp.getvalue() \
                .replace('\u2028', '') \
                .split('Copyright')[0] \
                .rstrip()

            # ページ抽出：抽出条件（演習問題のページ）に該当すればTrue
            extracted_page = re.search(SEARCH_TEXT, extracted_text)

            # 演習問題のページ番号・演習番号・テキストを格納したdict作成
            if extracted_page:
                output_texts[i+1] = (extracted_page.group(), extracted_text)
    return output_texts

処理としては
「PDFファイルを1ページずつ見ていって、SEARCH_TEXTに一致するページが出てきたら、ページ番号とテキストを変数output_textsに格納する」
というような処理を行っています。

PDFMinerについて

仕組みやスクリプトをを完璧に理解しきれていませんが、こちらの記事を参考にさせていただきました。
出来上がったスクリプトでは、for文の外と中にそれぞれ設定項目を分けて記述しています（かえってわかりづらくしてしまっているかもしれません）。

PDFファイルから文章を抽出する処理の流れは結構複雑で、そのまま抽出することはできないようです。
PDFファイルからPDFParserを使ってPDFDocumentという形式に一旦変換して、そこからPDFInterpreter, PDFDeviceを使って翻訳し、テキストとして出力する、という流れかと思います。この後半の過程で、PDFResouceManagerにフォントやイメージなどのリソース情報を保管しています。
（間違ってたらすみません）

こちらの記事に公式ドキュメントから引用された図解があるので、公式ドキュメントと合わせて参考にさせていただきました。

（4）抽出したページのテキストをファイルに保存する関数

（３）で作ったoutput_textsをそのままテキストファイルに出力する関数です。
ただdict型の変数をそのまま出力しているだけなので、かなり見づらいテキストファイルになっています。
整形して出力するようにしたいところ。

def save_text(output_texts):
    """演習問題一覧をテキストファイル出力
    Arg:
        output_texts(dict): 演習問題一覧。ページ数をキーとして、演習ナンバーと本文が入った辞書
    """
    output_text_path = OUTPUT_DIRPATH / f'0{NO}_ensyu.txt'
    with output_text_path.open('w') as f:
        print(output_texts, file=f)

print()でfile引数にここではテキストファイルのパスを指定することで、出力先をファイルに指定しています。

（５）抽出したページの画像を保存する関数

PDFファイルを1ページずつ見ていって、抽出したいページだけを画像ファイルに保存する関数です。
ここでpdf2imageライブラリを使用しています
（３）で作ったoutput_texts（dict型でした）に抽出したいページ数がキーとして入っているので、これを用いて抽出したいページかどうかを判定しています。

def save_images(output_texts):
    """演習問題を画像ファイル出力
    Arg:
        output_texts(dict): 演習問題一覧。ページ数をキーとして、演習ナンバーと本文が入った辞書
    """
    # - convert_from_path関数には1ページごとの画像のリストが入る
    # - mkidr(exist_ok=True)にすると上書きされるっぽい
    img_dirpath = OUTPUT_DIRPATH / f'0{NO}'
    pathlib.Path(img_dirpath).mkdir(exist_ok=True)

    images = pdf2image.convert_from_path(PDF_FILEPATH, size=1280)
    for i, image in enumerate(images):
        if i+1 in contents:
            filename = contents[i+1][0].replace(' ', '')
            image_filepath = img_dirpath / f'{filename}.png'
            image.save(image_filepath)

pdf2imageについて

扱い方は簡単で、pdf2image.convert_from_path()の引数にPDFファイルパスを指定してやれば良さそうです。
ここではsize引数でサイズを指定してみました。他の引数を使えば、pngファイルだけでなくjpgファイルなどファイル形式を指定することもできるようです。

（６）実行

以下で実行します。
PDFファイルのページ数によっては、少し時間がかかってしまいます。

# 実行
contents = get_text_from_pdf()
save_text(contents)
save_images(contents)

参考にしたサイト

pdf2imageについて
PythonでPDFをまとめて画像に変換する - Qiita

PDFMinerについて
【Python】PDFの文章をページ毎にCSVに変換（2/24追記） - Qiita
【PDFMiner】PDFからテキストの抽出 - Qiita

おわりに

PDFを操作するのをやってみたくて、用途はないけど色々調べてたのが役に立ちました。
今回はシンプルなPDFファイルだったのでまだ良かったですが、複雑なレイアウトのPDFファイルを扱いたい場合はもっと泥臭い作業になるのかな…。

ライブラリの使い方はあまり理解してないので、ちゃんと整理しておこうと思います。

そして今回このツール制作を通じての課題。
使い勝手が良くメンテナンス性の高いスクリプトにするにはどうすれば良いんだろう？ というところに興味があります。
サーバーにアップして誰でも使えるツールを作る…というのはちょっと難しく労力が大きいので、ローカルで実行すればすぐに使えるような形を意識してみました。

ユーザーが入力するべきところ、変更の可能性があるところ（抽出する文字列）を定数としてグローバルスコープに書いているのですが、もっとスマートなやり方があるのかな、と思っています。
関数の使い方についても学んでいきたいです。

MEMO:スクリプト全文

スクリプト全文はこちらに載せました！
mytools/pdf_to_pic.py at master · Massasquash/mytools · GitHub

JavascriptでPDFを作成するライブラリまとめと比較

2020-09-25T02:54:21+09:00

はじめまして。
PDFの作成サービスを個人で運用しており、数万ページのPDFを作成しており、JavascriptでのPDFの作成ライブラリを作ったりでそれなりに詳しくなってきたのでこの記事を作成しました。笑

Javascriptで扱えるPDFのライブラリーはいくつかあります。しかし、実際どれを使えばいいのかわかりにくいので、それらを比較しながら紹介していきます。

UMDモジュールとして提供されていて、近年のフロントエンド(TypeScript/Webpack/React/etc.)で扱いやすい？Nodeとブラウザーで動く？型はあるか？日本語フォントは使えるのか？という観点でも比較していきます。

この記事ではJavascriptで扱えるPDF作成ライブラリーで「どれを採用するか」ということで悩んでいる時に、用途に合ったライブラリを発見することができるようにします。

PDFKit

公式サイト:https://pdfkit.org/

PDFKitはJavascriptでPDFを作成するライブラリの元祖的存在。 フォントの埋め込みや画像の埋め込みもできます。開発が2012年から行われており古いですが、今でもメンテナンスが行われております。多少複雑ですがNodeだけでなく、 Webpackを利用してブラウザで動かすことも可能です。

下記に紹介するライブラリでもPDFKitのラッパーとして作成されたものや、プログラムを参考にしているものもあり、フォントの埋め込みも含めてJavascriptでPDF作成を行うというパワープレーを最初に成し遂げたライブラリと言うだけあってすごいライブラリです。

よくない点をあげるなら、高レベルのAPIを提供していないで操作に慣れるまでに一定の学習が必要です。最初はデザインがしづらく、記述が複雑になりがちです。

ポイント	評価
Nodeとブラウザーで動く	△(若干手間)
型はあるか	○(DefinitelyTyped)
日本語フォントは使えるのか	○(ブラウザで使う場合は要注意)
使いやすさ	△プログラムの手続きが複雑

pdfmake

公式サイト:http://pdfmake.org/

上記で紹介したPDFKitのラッパーとして作成されたのがpdfmakeです。 PDFKitとの違いはPDFKitが命令的なプログラミング操作のAPIを提供しているのに対して、pdfmakeは宣言的でレイアウトによる計算をpdfmakeが行ってくれるためプログラムが比較的少なくなります。

PDFKitの改良版としてGithubでのスター数はpdfmakeの方が多く、Web上でも様々な使い方や例があり、人気のライブラリということがわかります。また、画像の埋め込みはもちろん、QRコード,SVGのレンダリングなどの機能もあります。

実際にPDFkitと比較した時にその使いやすさから本サービスのlabelmake.jpも当初はpdfmakeを利用してPDFファイルを作成しておりました。

しかし、

独自フォントの作成し、利用する時にWebpack利用時にハマりどころがある
独自フォントはbase64エンコードされたttfが利用できるが日本語フォントの場合に巨大になり、メモリを大量に消費する

と言う点がネックになり、途中で後で紹介するpdf-libというものに切り替えています。

Web上には様々な例があるため、トライアンドエラーを繰り返しながらなんとかなるとは思いますが、Webpackやtypescriptを使った最新のフロントエンドではハマりどころが多く、その手の記事が無かったりするので注意が必要です。また、日本語フォントを利用する際は一度gitのrepositoryをクローンしてからフォント作成スクリプトを使ってビルドする必要があります。

ポイント	評価
Nodeとブラウザーで動く	△(Webpackなどを利用している場合はハマる)
型はあるか	○(DefinitelyTyped)
日本語フォントは使えるのか	△(自前でビルドが必要)
使いやすさ	○(宣言的でpdfmakeのレイアウトエンジンが利用可能)

jsPDF

公式サイト:https://github.com/MrRio/jsPDF

jsPDFは上記のPDFKitとは別に独自にPDF作成ができるライブラリです。この記事で紹介するライブラリの中で一番スター数が多く、比較的安定してメンテナンスされています。

node,ブラウザーで利用できるUMDモジュールも提供されています。(nodeで保存する場合はカレントディレクトリに保存されるので使い勝手悪いかもです)

命令的な操作ができるAPIが提供されており、複雑な帳票をプログラムする場合は難易度が高い印象です。

また、日本語を扱う場合は日本語のフォントを読み込ませる必要がありますが、ここにハマりどころがあるようです。
詳細は下記の記事にまとまっています

上記を参考にしていただければわかりますが、日本語フォントを扱うための方法はありますが、一手間必要になります。(ttfファイルの変換が必要)

できることは多いのですが、上記で説明したように操作が命令的でなため、使いこなすには一定のインプットが必要になります。(幸いにもリッチなドキュメントがあります https://rawgit.com/MrRio/jsPDF/master/docs/index.html)
また、英語の記事も多く人気なのは間違いないと思います。

ドキュメントを参考にして自分の用途に合った操作ができる場合はおすすめできます。(ドキュメントみた感じだとAcroFormとかできちゃいます。ヤバイな)

ポイント	評価
Nodeとブラウザーで動く	○(参考)
型はあるか	○
日本語フォントは使えるのか	○(ttfファイルの変換が必要)
使いやすさ	△プログラムの手続きが複雑

pdf-lib

公式サイト:https://pdf-lib.js.org/

pdf-libはPDFKitを参考にTypescriptで実装されたPDFの作成、編集ライブラリです。他のライブラリに比べて後発でリリースされたライブラリですが、非常によくできており、もちろんnode,ブラウザで動作します。また、PDFの結合、分割や埋め込みをサポートし、他のライブラリにない機能を持っていますが、ライブラリとしてシンプルで強力です。

他のライブラリと比較して大きく違う点がフォントファイルを埋め込む際にUint8Array,ArrayBufferが使用できるので、nodeの場合はfsで、ブラウザの場合はxhrを使ってフォントファイルを読み込むことができます。日本語の馬鹿でかいbase64のファイルを読み込む必要がなくなり、パフォーマンス的にも優れています。

もちろん、Webpackなどで利用でき、ドキュメントも充実しています。本サービスのlabelmake.jpも当初はpdfmakeを利用していましたが、途中からパフォーマンスの観点でPDF作成処理をpdf-libに行わせるよう変更しました。

欠点としては提供されているAPIが命令的なため複雑な帳票の場合、プログラムが複雑になってしまうという点と考えています。またレイアウトについてはpdf-libは責務を持たず、ユーザーに計算させるという方針ですので、中央揃えや右揃えなどのレイアウトはできません。あと地味ですが、位置情報の単位がptなので、位置を指定する時に若干面倒です。

個人的には後に紹介するlabelmakeを除くライブラリに比べて一番扱いやすく、パフォーマンスの観点でも優秀だと考えています。

まだ日本語での記事数はpdfmake,jsPDFと比べると少ないのですが、帳票が比較的シンプルでモダンな環境での開発の場合は参考にしてみてください。おすすめです。

ポイント	評価
Nodeとブラウザーで動く	○
型はあるか	○
日本語フォントは使えるのか	○
使いやすさ	△プログラムの手続きが複雑+レイアウトの計算は自分で行う必要がある

labelmake

公式サイト:https://labelmake.jp/javascript-pdf-generator-library

labelmakeはpdf-libのラッパーとして筆者が開発しました。特徴としてはpdf-libを使っている人はレイアウトは自分で計算する必要がありましたが、位置情報の単位をmmにし、alignment,line-heightなどのレイアウトの計算を行い、宣言的にデータでPDFを作成できるようにAPIをデザインしました。また既存のPDFをベースとして読み込んでそこに入力項目を足すことができます。

コードの例はこちらからご覧になれます。
スキーマがあるので、テンプレート的に帳票生成などに利用ができます。

帳票のデザインデータをJSONで管理できる点も複数のテンプレートを利用する際には読み込みがシンプルになり利用しやすいです。

pdf-libのメリットのフォントのデータでUint8Array,ArrayBufferが使用できる点や、PDFファイルの埋め込みができる点を利用して効率的に複雑な帳票が作成できるようにしています。

また、こちらのTemplate Design & Code Generatorを使い、帳票のデザインと、実行可能コードの生成を行うことができます。

ポジショントークにならないようにしたいと思いますが、既存のPDFファイルに対して入力項目を設定する形で帳票が作成でき、実際に本サービスでは現時点で様々なテンプレートをつかってPDFを作成しています。

デメリットとしてはまだ利用者も少なく、有名なライブラリではありません。
日本語フォントで利用していますが、他にも自分のサービスだけでは見つけられなかったバグがあるかもしれません。

そして、自由に0から帳票すると言うよりは既存のPDFをもとに入力項目を設置するという使い方がハマります。(俗に言うバリアブル印刷というやつです)
他のJavascriptのPDF作成ライブラリと比較しても、用途が合っている場合は、我ながらよくできていると思っていますので、ぜひスターやシェアをしていただけると嬉しいです笑

ポイント	評価
Nodeとブラウザーで動く	○
型はあるか	○
日本語フォントは使えるのか	○
使いやすさ	○

番外編

PDF.js

公式サイト:https://mozilla.github.io/pdf.js/

よく間違えられるのですが、非常に有名なライブラリなので紹介します。
PDF.jsはPDFのレンダリングライブラリで、PDFの作成ライブラリではありません。
PDFを表示するだけでなく、PDFのレンダリング結果をcanvasに転写し、PDFのレンダリング画像を取得することができます。

Webpack用のビルドもバンドルされており、最近のフロントエンドの環境でも利用可能です。

Puppeteer

公式サイト:https://github.com/puppeteer/puppeteer

GoogleのPuppeteerでもPDFファイルの作成が可能です。
テンプレートはhtmlとして管理する必要がありますが、Webの開発者なら装飾も行いやすいかと思います。

実装は下記の記事が参考になります。
- Generate a PDF from HTML with puppeteer

- Headless Chrome + puppeteerを使ったHTML→PDF変換サーバーを作る puppeteer編

バックエンドの実装が必要になるのと、PDF作成するまでにPuppeteerが起動するオーバーヘッドがありますが、それらが問題ない場合で、htmlでデザインしたいと言う場合には選択肢になるかもしれません。(可変のテーブルなどはデザインしやすいかと思います。)

まとめ

番外編を除く下記の5つのライブラリを紹介させていただきました。

PDFKit
pdfmake
jsPDF
pdf-lib
labelmake

参考になったでしょうか？
筆者はpdf-lib押しです。パフォーマンスも良く、レイアウトの計算が面倒ですがモダンなフロントエンド環境でも使いやすいです。

あとは、遊びでも構わないのでlabelmakeを触っていただけると嬉しいです！

Webページはこちらからご覧いただけます！

それでは！

【WPF】WebBrowser を使ってPDFファイルを表示してみる

2019-07-12T09:56:02+09:00

おはようございます。

今回は、WPFアプリでPDFを表示する方法のうち、WebBrowser でサクッとファイルを表示するのを試してみました。

画面に上部メニューを追加し、そこから呼び出せるように修正します。
ヘルプやマニュアルなんかをアプリから表示する際にやったりしますよね。

プログラムは前回のものを流用します。
【WPF】はてなアイコンにツールチップを表示する

画面の追加

新規でPDFを表示するためのウィンドウを追加します。
画像を取り忘れてしまいましたが、ソリューション・エクスプローラーから「追加」＞「ウィンドウ」みたいな感じで出来るはずです。

画面レイアウト

PdfView.xaml

単純に WebBrowser を配置してスタイルを弄っただけです。

コードビハインド

PdfView.xaml.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Data;
using System.Windows.Documents;
using System.Windows.Input;
using System.Windows.Media;
using System.Windows.Media.Imaging;
using System.Windows.Shapes;

using MahApps.Metro.Controls;
using System.Reflection;

namespace WpfApp1
{
    /// 
    /// PdfView.xaml の相互作用ロジック
    /// 
    public partial class PdfView : MetroWindow
    {
        public PdfView()
        {
            InitializeComponent();
            Assembly mainAssembly = Assembly.GetExecutingAssembly();
            String appDir = System.IO.Path.GetDirectoryName(mainAssembly.Location);

            wb_manual.Navigate("file://" + appDir + "/Pdf/sample.pdf" + "#toolbar=1");

        }
    }
}

実行ディレクトリを取得して、PDFのパスを絶対パスで指定します。
また、ツールバーを表示したくなければ「#toolbar=1」を「#toolbar=0」に変更してください。

PDFファイルの追加

プロジェクト直下に「Pdf」フォルダ―を作成し、適当なPDFファイルを格納します。
ファイル名は「sample.pdf」としました。

また、ファイルのプロパティを開き、常に実行ディレクトリにコピーするようにプロパティを変更します。

画面の修正

グリッドのレイアウト調整

MainWindow.xaml（抜粋）

メニュー追加

MainWindow.xaml（抜粋）

スタイル定義の追加

StyleDic.xaml

プログラム修正

追加したメニューのクリックイベントの実装を追加します。

MainWindow.xaml.cs

        /// 
        /// 閉じるメニュークリックイベント.
        /// 
        /// 
        /// 
        private void menu_exit_Click(object sender, RoutedEventArgs e)
        {
            this.Close();
        }

        /// 
        /// サンプルPDF表示メニュークリックイベント.
        /// 
        /// 
        /// 
        private void menu_pdfview_Click(object sender, RoutedEventArgs e)
        {
            // ダイアログを表示
            var win = new PdfView();
            win.Owner = GetWindow(this);
            win.ShowDialog();
        }

起動してみる

上部にメニューが追加されました。

よくある閉じるメニュー。
他に何も思いつきませんでした。。

PDF表示用のメニューです。

サンプルPFD表示メニューをクリックしてPDFを表示した画面です。
無事に表示されました。

まとめ

以前、何かの記事でも触れましたが
Word で、「rand=(10,10)」みたいな文言を入力し、エンターを押すとランダムでサンプルドキュメントを作ることができます。

今回のPDFはその機能を使って作ったサンプルのドキュメントを、PDFとして保存したものとなります。

こういった便利なコマンドを知っていると、ちょっとした効率化ができますね。

WebBrowser はもちろん HTML も表示できるので他にも色々と応用することができそうですね。
そのうちまた何か別のこともやってみたいと思います。

ではでは。

フリーソフトInkscapeで生成したPDFでオリジナル名刺を注文する

2018-10-04T21:12:08+09:00

PDFでオリジナルの名刺を作成できると、送料を含めても千円以内で名刺100枚を作ることができます。InkscapeというソフトはWindows, mac, Linux関わらず無料で使えるドローソフトですので、これを使えばIllustrator等を持っていなくても作成することができます。

僕も実際にこんな感じのイベント用の名刺を作ってみましたので、作り方を紹介します。

※ 今回試したのは４色までの名刺になります。

Inkscapeのインストール

WindowsはMicrosoft Store、Linuxはパッケージマネージャ、macは公式サイトからのダウンロードでインストールできます。

用紙の設定

インストールができたら起動し、まずは用紙の設定を行います。「ファイル」メニューから「ドキュメントのプロパティ」ダイアログを開きます。

ここで、用紙のサイズを幅93mm、高さ57mmに変更します。

通常の名刺のサイズは 91mm x 55mm なのですが、下記のPDF入稿の説明ページの通り、実際のサイズより幅を持たせる必要があるためこのサイズにしています。今回はマットコートで注文をしたため、93mm x 57mm にしています。

完全PDF入稿について - 印刷通販なら印刷専門サイト【アドプリント】

色々書く

あとはもう自由です。必要な文言や画像を適宜配置していきましょう。Inkscapeの使い方を詳しく説明しているサイトはいくつかありますので、そのあたりを参考にするとわかりやすいです。（とはいえ画像や文字を配置するだけなのでさほど必要な知識は多くはないです）

用紙はちょっと大きくなっており、そこは印刷されるかされないか分からないスペースになっていますので、どちらでも問題ないようにしておきましょう。

あと、今回は４色までの名刺になるので、色を使いすぎないよう注意しましょう。

PDFで出力する

「名前を付けて保存」ダイアログを開くと、「ファイルの種類」を選択する箇所がありますので、そこで「Portable Document Format (*.pdf)」を選択して保存すればPDFが完成します。

注文する

僕が今回使ったのはアドプリントです。

例えば今回試した一番安いものはマットコート 22kg ラミネート無しで100枚460円になります。（＋送料）

注文画面へ行くと、データの入稿方法の選択がありますので、「完全データ入稿注文」を選択して進むと最終的にPDFを登録して注文ができます。

まとめ

イベント用の名刺などは時々変えたくなったりしますので、いちいちお店で注文するよりもこうやって自分で手直しして安くで作り直しができると非常に便利です。

Web上の注文でも、デザインを選択する形式だとTwitterアカウントや自分のサービスの画像を入れることができなかったりすることもあり、ちょうどよいサービスを探すだけでも結構な労力になってしまいますので、自分で作ったもので入稿できると何も考えなくて良いので楽です。

品質よりも伝えたい情報が第一！　という場合にはぜひ試してみてください。