Power Automate Desktopで新幹線領収書をOCR処理してみました

前回のコラムではWinActorEyeで新幹線領収書をOCRで読み取る検証をしてみました。「Microsoft Power Automate Desktopではどうなの？」という質問をいただいたので、同じように試してみました。

 

検証で使ったのは前回と同じ新幹線領収書。ここからOCRで金額・出発地・到着地等を取得し、結果をExcelに出力してみます。

Power Automate Desktop（Power Automate for desktop）とは

「Power Automate Desktop（Power Automate for desktop）」は、Microsoft 社が提供するRPA（業務自動化）ツールです。Windows 10ユーザーなら誰でも利用することができます。専門知識がなくても直感的に操作でき、無料で試せるのが特長です。有償版も提供されており、そちらではブラウザ操作など処理が安定する、フローの共有ができるなど、個人というよりチームや企業で利用できる仕様になっています。
Power Automate DesktopではOCRアクションを使用することが可能です。OCRは画像ファイルに書かれている文字を読み取り、テキストとして抽出することができるソフトウェアです。今回は、無料版のPower Automate Desktopを使用し、OCRを使って領収書画像を読み込み、 Excel に連携（転記）する方法について解説します。

Power Automate DesktopでOCRの選択とインストールする手順

Power Automate Desktopで用意されているOCRエンジンは

• Windows OCR
• Tesseract OCR

の2つ。このどちらかをOCRエンジンとして定義してから「OCRを使ってテキストを抽出」というアクションで文字列を取り出します。

 今回はTesseract OCR を選択。Tesseractは、オープンソースで開発されてるOCRエンジンで、今回の検証では現時点で最新版のv5.0を使っています。日本語の読み取りを可能にするには、インストールの中で日本語関連コンポーネントをチェック（選択）します。インストール手順はスライドでご覧ください。

ちなみに、MODI OCRを利用するにはOffice 2007に含まれていたMicrosoft Office Document Imagingが必要になります。

＞ Power Automate DesktopのOCR処理にも役立つセミナーはこちら

読取前の準備

領収書はPDFなので、これをPNGに変換します。ペイント系アプリにPDFを読み込んで、PNGに保存します。OCRエンジンによってPDFが読める・読めない、利用できる画像フォーマットが限られるということがあるので、注意したいポイントです。

 

Power Automate Desktopワークフローの作成

OCRに関連する部分だけ抜粋して説明します。

ステップ1：アクション「Tesseract OCRエンジンを作成」を配置

それぞれのパラメータは次のようにセットします。

• 「他の言語を使う」をONにする
• 「言語の省略形」は「jpn」と入力する
• 「言語データパス」にはインストールしたTesseract OCRのデータが入っているパス（これの例では C:\Proguram Files\Tessadata）を入力する 

ステップ2：アクション「OCRを使ってテキストを抽出」を配置

文字列の領域の左上（X1, Y1）、右下（X2, Y2）の座標を指定します。

 下図の例で座標の取り方を説明します。例えば、ターゲットになる金額「\14,250」の左上に選択カーソルを置くと、下にカーソルの座標ピクセル値が表示されるので、これを（X1, Y1）とします。同じように金額「\14,250」の右下に選択カーソルを置いて（X2, Y2）とします。

 

ステップ3：アクション「Excelワークシートに書き込み」で取得したTextを出力

この例だと取得したTextの変数名は「OcrText_BoardingDate」になっており、これをExcelのB列に設定しています。

 

ワークフロー全体

ワークフロー全体は右のようになります（画像をクリックすると別タブで大きく表示できます）。 領収書JPEG画像の入っているフォルダを指定 OCRエンジンを作成 テンプレートExcelを起動 記載する最初の行を取得する JPEG画像があるだけ以下を繰り返す JPEG画像からOCRにてテキストを取得する Excelに1件分を記載する 行カウンタを１UPする 現在日付を取得する 日付の形式をテキストに変換する 保存するExcelファイルの名前を生成する 名前を付けてExcelファイルを保存して閉じる

(クリックで拡大)

使ってみた所感

OCRエンジンのインストールや、PDFから画像への変換など、OCRを利用できるようになるまでに、やや手間取りました。

各項目（今回の検証では金額や出発地、到着地など）を読み取るために1項目ずつ座標設定するということは、読み取り座標に変更がないという前提で使うことになり、使い処が限定されるかもしれません。帳票や領収書のレイアウトに関係なく、日付や金額の位置を自動判別するOCRエンジンが主流になりつつあるので、OCRエンジンの選択時に考慮したほうがいいでしょう。

文字列が正しく読み取れるかどうかという基本性能も重要です。今回の検証では読み取り間違いがいくつかありましたが、手書きがあるかどうか、英語や中国語が混在するかどうか、スマホ撮影の画像かどうかなど、ちょっとした変化で読み取り精度は変わってきます。「読み取り精度 ○○パーセント」という表示に惑わされることなく、自社のシステム環境や扱う伝票・領収書で試してみて正しく読みとれるかどうかを事前検証することが必要でしょう。

シーエーシーでは、「AI-OCR連携で始める紙業務デジタル化」をテーマに、経理部門のためのRPAセミナーを実施しています。お昼の30分で誰でも受講できますので、ぜひお気軽にご参加ください。

＞ Power Automate DesktopのOCR処理にも役立つセミナーはこちら

 

＊＊

この検証は4月末のものですが、Power Automate、Power Automate Desktopはアップデートが頻繁に行われています。最新情報はブログで公開されているので、これからも注視していきたいと思います。

7月のアップデート Power Automate Desktop July 2021 update

8月のアップデート Power Automate Desktop August 2021 update

【このコラムの関連動画】デモで紹介！RPAとAI-OCRで紙業務をデジタル化する