Prestaties en nauwkeurigheid
De interne evaluatie van ScanToExcel leverde een gewogen F1 van 98,0% op voor 3000 testdocumenten van 6 documenttypen.
Evaluatiedatum
Wat de resultaten voor je documenten betekenen
De resultaten beschrijven de beoordeelde documenten en velden op de vermelde datum. Individuele resultaten verschillen naar kwaliteit, structuur en inhoud. Controleer geëxporteerde gegevens voordat je ze verder gebruikt.
Resultaten per documenttype
| Documenttype | Testdocumenten | F1 op veldniveau | Alle beoordeelde velden komen overeen |
|---|---|---|---|
| Facturen | 600 | 99,5% | 96,2% |
| Tabelafbeeldingen | 200 | 99,2% | 95,9% |
| Creditcardafschriften | 500 | 98,8% | 95,7% |
| Bankafschriften | 650 | 98,7% | 95,2% |
| Bonnen | 600 | 97,3% | 93,9% |
| Loonstroken | 450 | 94,6% | 92,1% |
In de volledige testset kwamen bij 94,8% van de documenten alle beoordeelde velden overeen met de referentieantwoorden.
| Documenttype | Precisie | Recall |
|---|---|---|
| Facturen | 0.993 | 0.997 |
| Tabelafbeeldingen | 0.992 | 0.992 |
| Creditcardafschriften | 0.989 | 0.987 |
| Bankafschriften | 0.989 | 0.985 |
| Bonnen | 0.959 | 0.988 |
| Loonstroken | 0.952 | 0.940 |
Conversietijd in de evaluatie
| Documenttype | Mediaan (p50) | 95e percentiel (p95) |
|---|---|---|
| Facturen | 3.3 s | 5.1 s |
| Tabelafbeeldingen | 2.6 s | 7.0 s |
| Creditcardafschriften | 6.4 s | 8.8 s |
| Bankafschriften | 10.2 s | 17.2 s |
| Bonnen | 2.3 s | 3.1 s |
| Loonstroken | 5.5 s | 8.7 s |
Evaluatie met de apart gehouden set
Tijdens de ontwikkeling is een aparte set gereserveerd. De tabel vergelijkt de F1 daarvan met de hoofdset; verschillen alleen verklaren hun oorzaak niet.
| Documenttype | Hoofdset | Apart gehouden set | F1-verschil |
|---|---|---|---|
| Facturen | 99,5% (n=600) | 97,8% (n=150) | −0.017 |
| Tabelafbeeldingen | 99,2% (n=200) | 96,7% (n=50) | −0.025 |
| Creditcardafschriften | 98,8% (n=500) | 99,9% (n=130) | +0.011 |
| Bankafschriften | 98,7% (n=650) | 99,8% (n=160) | +0.011 |
| Bonnen | 97,3% (n=600) | 98,6% (n=150) | +0.013 |
| Loonstroken | 94,6% (n=450) | 95,3% (n=110) | +0.007 |
De meetwaarden begrijpen
- Precisie
- Welk deel van de teruggegeven veldgegevens overeenkwam met de referentieantwoorden.
- Recall
- Welk deel van de verwachte veldgegevens correct werd vastgelegd.
- F1
- Het harmonisch gemiddelde van precisie en recall, als percentage weergegeven in de resultatentabel.
- Alle beoordeelde velden komen overeen
- Een maat per document voor de beoordeelde velden, zonder het volledige document of de export te certificeren.
Conversietijd in de evaluatie
Tijden zijn gemeten van upload tot beschikbaar resultaat, voor afzonderlijke documenten in één verwerkingsthread. p50 is de mediaan; p95 is het 95e percentiel, geen maximum.
Hoe de evaluatie werkt
Testdocumenten
De set combineert openbare datasets en voorbeelden, gekochte of gelicentieerde documenten en synthetische documenten voor bijzondere gevallen. Gebruikersuploads maken geen deel uit van deze evaluatieset.
Handmatig gecontroleerde referentieantwoorden
Uitvoer wordt veld voor veld vergeleken met handmatig gecontroleerde antwoorden. Overeenkomsten, onjuist teruggegeven waarden en ontbrekende waarden dragen bij aan de scores.
Beoordeelde velden
Dit zijn de velden die de benchmark beoordeelt, geen lijst met kolommen in elke standaardexport.
- Facturen (16 velden)
- Factuur- en vervaldatum, valuta, leverancier, klant, posten, subtotaal, belasting, aanduiding inclusief belasting, belastingregels, belasting per post, totaal en inhoudingen.
- Tabelafbeeldingen (5 velden)
- Koprijen, kopcellen, rijherkenning, rijtype en gegevenscellen.
- Creditcardafschriften (20 velden)
- Kaartnetwerk, kaarthouder, afschriftperiode, vervaldatum, minimumbetaling, kredietlimiet en beschikbaar krediet, totalen van aankopen, betalingen, kosten en rente, begin- en eindsaldo, transacties met boekdatum, type, bedrag en valuta.
- Bankafschriften (16 velden)
- Rekeninghouder, rekeningvaluta, afschriftperiode, begin- en eindsaldo, betaalde rente, kosten, transacties met boekdatum, type, bedrag, lopend saldo en totalen van bij- en afschrijvingen.
- Bonnen (11 velden)
- Datum, valuta, winkel, posten, subtotaal, belasting, belastinguitsplitsing, fooi, totaal en betaalgegevens.
- Loonstroken (40 velden)
- Werknemer, werkgever, land, valuta, loonperiode, basisloon en eenheid, jaarsalaris, huidig nettoloon, cumulatieve jaarbedragen voor bruto, belasting en netto, en regels voor loon, belasting, inhoudingen en werkgeversbijdragen met uren, tarief, periodebedrag en cumulatief jaarbedrag.