カタログの「精度95%」を鵜呑みにしてはいけない理由

AI-OCR製品のカタログやランディングページには、たいてい「読み取り精度95%」「認識率99%」といった数字が大きく書かれています。心強い数字に見えますが、この数字だけで製品を選ぶのは危険です。測定の仕方次第で、同じ製品でも数字はいくらでも変わるからです。

この記事では、精度の数字がなぜ鵜呑みにできないのかを分解し、ベンダーに確認すべき質問を整理します。

精度の数字が当てにならない3つの理由

1. 分母の取り方で数字が変わる

「精度95%」と言っても、何を1件として数えているかで意味がまったく変わります。

• 文字単位: 1文字ごとに正誤を判定。多少の誤読があっても分母(総文字数)が大きいため数字は高く出やすい
• 項目単位: 品名・数量・単価などの1項目ごとに判定。1文字でも間違えれば「その項目は不正解」となるため、文字単位より厳しい数字になる
• 帳票単位: 1枚の注文書が完全に正しく読めたかで判定。もっとも厳しく、実務での使用感に近い

同じ製品でも「文字単位で99%」と「帳票単位で60%」が両立することは普通にあります。カタログがどの単位で数字を出しているかは、たいてい明記されていません。

2. 測定に使った帳票がきれいすぎる

精度の測定には、当然ながら何らかの帳票サンプルが使われています。多くの場合、それはベンダーが用意した、印字が鮮明で様式が整ったサンプルです。実際に届くFAXの注文書は、かすれ・傾き・手書きの癖字・行からのはみ出しがある「現物」です。きれいなサンプルで測った精度が、自社に届く現物でそのまま再現される保証はありません。

3. 「認識できた」と「業務で使える」は別物

文字として読み取れたことと、その結果をそのまま基幹システムに入れてよいことは、実は別の話です。品名を1文字でも読み違えれば、品目マスタとの照合に失敗し、結局は人が確認する必要があります。カタログの精度数値は前者(認識できたか)であることが多く、後者(確認なしで使えるか)を保証するものではありません。

ベンダーに確認すべき質問

商談やトライアルの際は、次の質問で数字の中身を確かめてください。

1. その精度は「文字単位」「項目単位」「帳票単位」のどれで測っていますか?
2. 測定に使った帳票サンプルはどのようなものですか?自社の帳票(手書き・FAX経由)でも同じ精度が出ますか?
3. 精度が100%でない項目は、利用者にどう提示されますか?全件を目視で見直す前提ですか?

3つ目の質問がもっとも重要です。数字がどうであれ、100%でない限り確認作業は残ります。差が出るのは「どこを確認すればいいか」を製品が教えてくれるかどうかです。

結局、何で判断すればいいのか

精度の数字はあくまで参考情報として扱い、判断は必ず自社の帳票を使った無料トライアルで行ってください。実際に届く注文書を数枚読ませて、確認にかかった時間をストップウォッチで測るだけで、カタログの数字よりずっと実態に近い判断材料が手に入ります。

手前味噌の紹介

この記事を書いているのは、注文書特化サービス注文書係(ちゅうもんしょがかり)の運営者です。カタログに大きな精度の数字を掲げることはしていません。その代わり、AIが自信を持てなかった項目だけを黄色でハイライトする仕組みを持っており、担当者は「どこを確認すればいいか」が常にわかる状態で作業できます。

無料トライアルは30枚または14日間、クレジットカードの登録も不要です。自社のいつもの注文書で、確認にかかる時間を実際に測ってみてください。