Desempenho e exatidão
A avaliação interna do ScanToExcel apresentou F1 ponderado de 98,0% em 3000 documentos de teste de 6 tipos.
Data da avaliação
O que os resultados significam para seus documentos
Os resultados descrevem os documentos e campos avaliados na data indicada. Os resultados individuais variam com qualidade, estrutura e conteúdo. Revise os dados exportados antes de usá-los.
Resultados por tipo de documento
| Tipo de documento | Documentos de teste | F1 por campo | Todos os campos avaliados correspondem |
|---|---|---|---|
| Faturas | 600 | 99,5% | 96,2% |
| Imagens de tabelas | 200 | 99,2% | 95,9% |
| Extratos de cartão | 500 | 98,8% | 95,7% |
| Extratos bancários | 650 | 98,7% | 95,2% |
| Recibos | 600 | 97,3% | 93,9% |
| Holerites | 450 | 94,6% | 92,1% |
No conjunto completo, todos os campos avaliados corresponderam ao gabarito em 94,8% dos documentos.
| Tipo de documento | Precisão | Revocação |
|---|---|---|
| Faturas | 0.993 | 0.997 |
| Imagens de tabelas | 0.992 | 0.992 |
| Extratos de cartão | 0.989 | 0.987 |
| Extratos bancários | 0.989 | 0.985 |
| Recibos | 0.959 | 0.988 |
| Holerites | 0.952 | 0.940 |
Tempo de conversão na avaliação
| Tipo de documento | Mediana (p50) | Percentil 95 (p95) |
|---|---|---|
| Faturas | 3.3 s | 5.1 s |
| Imagens de tabelas | 2.6 s | 7.0 s |
| Extratos de cartão | 6.4 s | 8.8 s |
| Extratos bancários | 10.2 s | 17.2 s |
| Recibos | 2.3 s | 3.1 s |
| Holerites | 5.5 s | 8.7 s |
Avaliação do conjunto reservado
Um conjunto separado foi reservado durante o desenvolvimento. A tabela compara seu F1 com o do conjunto principal; as diferenças, por si só, não explicam as causas.
| Tipo de documento | Conjunto principal | Conjunto reservado | Diferença de F1 |
|---|---|---|---|
| Faturas | 99,5% (n=600) | 97,8% (n=150) | −0.017 |
| Imagens de tabelas | 99,2% (n=200) | 96,7% (n=50) | −0.025 |
| Extratos de cartão | 98,8% (n=500) | 99,9% (n=130) | +0.011 |
| Extratos bancários | 98,7% (n=650) | 99,8% (n=160) | +0.011 |
| Recibos | 97,3% (n=600) | 98,6% (n=150) | +0.013 |
| Holerites | 94,6% (n=450) | 95,3% (n=110) | +0.007 |
Como interpretar as medidas
- Precisão
- A proporção dos dados retornados que correspondeu ao gabarito.
- Revocação
- A proporção dos dados esperados que foi capturada corretamente.
- F1
- A média harmônica de precisão e revocação, expressa como porcentagem nos resultados.
- Todos os campos avaliados correspondem
- Uma medida por documento que abrange os campos pontuados, sem certificar o documento completo ou a exportação.
Tempo de conversão na avaliação
Os tempos foram medidos do envio até a disponibilidade do resultado, em documentos individuais com uma única thread. p50 é a mediana; p95 é o percentil 95, não um máximo.
Como a avaliação funciona
Documentos de teste
O conjunto reúne dados e exemplos públicos, documentos comprados ou licenciados e documentos sintéticos para casos especiais. Arquivos enviados por usuários não fazem parte deste conjunto.
Gabaritos revisados manualmente
Os resultados são comparados campo a campo com respostas revisadas manualmente. Correspondências, valores retornados incorretos e valores ausentes contribuem para as pontuações.
Campos avaliados
Estes são os campos pontuados na avaliação, não uma lista das colunas disponíveis em toda exportação padrão.
- Faturas (16 campos)
- Datas de emissão e vencimento, moeda, fornecedor, cliente, itens, subtotal, imposto, indicador de imposto incluído, linhas fiscais, impostos por item, total e retenções.
- Imagens de tabelas (5 campos)
- Linhas e células de cabeçalho, identificação e tipo de linha, células de dados.
- Extratos de cartão (20 campos)
- Bandeira, titular, período do extrato, vencimento, pagamento mínimo, limite e crédito disponível, totais de compras, pagamentos, tarifas e juros, saldos inicial e final, transações com data de lançamento, tipo, valor e moeda.
- Extratos bancários (16 campos)
- Titular, moeda da conta, período do extrato, saldos inicial e final, juros pagos, tarifas, transações com data de lançamento, tipo, valor, saldo corrente e totais de créditos e débitos.
- Recibos (11 campos)
- Data, moeda, estabelecimento, itens, subtotal, imposto, detalhamento dos impostos, gorjeta, total e dados de pagamento.
- Holerites (40 campos)
- Funcionário, empregador, país, moeda, período de pagamento, remuneração base e unidade, salário anual, líquido do período, acumulados anuais de bruto, impostos e líquido, e linhas de rendimentos, impostos, descontos e contribuições do empregador com horas, taxa, valor do período e acumulado anual.