性能と精度

ScanToExcel の内部評価では、6種類・3000件のテスト文書で加重 F1 が98.0%でした。

評価日 2026-05-05

お使いの文書に対する結果の意味

これらは、記載の日付に評価した文書と採点対象フィールドの結果です。個々の結果は文書の品質、構造、内容によって異なります。出力データは使用前に確認してください。

文書の種類, テスト文書数, フィールド単位の F1, 評価対象の全フィールドが一致
文書の種類	テスト文書数	フィールド単位の F1	評価対象の全フィールドが一致
請求書	600	99.5%	96.2%
表の画像	200	99.2%	95.9%
クレジットカード明細書	500	98.8%	95.7%
銀行取引明細書	650	98.7%	95.2%
領収書	600	97.3%	93.9%
給与明細書	450	94.6%	92.1%

テスト全体の94.8%の文書で、評価対象のすべてのフィールドが正解データと一致しました。

開発中に別のデータセットを評価用に確保しました。表では、その F1 を主データセットと比較しています。差があるという事実だけでは、その原因はわかりません。

括弧内はサンプル数です。差はパーセントポイントではなく、小数の F1 単位で示しています。
文書の種類	主データセット	分離した評価セット	F1 の差
請求書	99.5% (n=600)	97.8% (n=150)	−0.017
表の画像	99.2% (n=200)	96.7% (n=50)	−0.025
クレジットカード明細書	98.8% (n=500)	99.9% (n=130)	+0.011
銀行取引明細書	98.7% (n=650)	99.8% (n=160)	+0.011
領収書	97.3% (n=600)	98.6% (n=150)	+0.013
給与明細書	94.6% (n=450)	95.3% (n=110)	+0.007

単一スレッドで文書を1件ずつ処理し、アップロードから出力の準備完了までを計測しました。p50 は中央値、p95 は95パーセンタイルであり、最大値ではありません。

公開データセットとサンプル、ライセンス取得または購入した文書、例外的なケースの合成文書を組み合わせています。ユーザーがアップロードした文書は、この評価用データに含まれません。

手作業で確認した参照データと、出力をフィールドごとに比較します。一致したフィールド、誤って返された値、欠落した値が、報告するスコアに反映されます。

ベンチマークで採点したフィールドです。すべての標準出力で使える列の一覧ではありません。

請求書 (16フィールド): 発行日、支払期日、通貨、仕入先情報、顧客情報、明細項目、小計、税額、税込みフラグ、税の行、明細の税フィールド、合計、源泉徴収。
表の画像 (5フィールド): 見出し行、見出しセル、行の識別、行の種類、行のセル。
クレジットカード明細書 (20フィールド): カードブランド、名義人、明細期間、支払期日、最低支払額、利用限度額、利用可能額、購入・支払い・手数料・利息の集計、期首・期末残高、取引、記帳日、取引の種類、取引金額、通貨。
銀行取引明細書 (16フィールド): 口座名義人、口座の通貨、明細期間、期首・期末残高、支払利息、手数料、取引、記帳日、取引の種類、取引金額、取引後残高、入金合計、出金合計。
領収書 (11フィールド): 日付、通貨、店舗、明細項目、小計、税額、税の内訳行、チップ、合計、支払いの詳細。
給与明細書 (40フィールド): 従業員、雇用主、国、通貨、給与対象期間、基本給の単価と単位、年収、当期の手取り、年累計の集計（総支給、税、手取り）、行ごとの支給・税・控除・雇用主負担（各項目の時間、率、当期金額、年累計）。