È possibile digitalizzare e correggere i testi storici automaticamente?

Le tecnologie digitali permettono di analizzare grandi quantità di dati testuali con minimo sforzo. Tuttavia, applicare questi metodi a testi antichi presenta un limite significativo: la necessità di digitalizzarli. In passato, questa operazione era svolta manualmente; recentemente nuovi approcci e una maggiore capacità di calcolo hanno portato a risultati positivi sfruttando metodi automatizzati, ma restano tuttora imperfetti. Nella maggior parte dei casi, infatti, i testi ottenuti richiedono un’intensa correzione manuale per raggiungere una qualità adeguata, con un dispendio di tempo e risorse spesso non sostenibile.

L’esigenza di digitalizzare i propri archivi è emersa, ad esempio, per una biblioteca qui a Bolzano: molte opere, già scansionate e trascritte in passato, non sono ancora sufficientemente accurate da poter essere utilizzate proficuamente. Si tratta soprattutto di testi in tedesco, stampati in Fraktur (carattere gotico diffuso nelle aree germanofone fino agli anni ’40 del Novecento), per lo più risalenti al XIX secolo.

Per ovviare a questo problema e rendere i testi accessibili a studiosi e pubblico, sono state sperimentate tecnologie che integrano modelli avanzati di riconoscimento dei caratteri (OCR) e post-correction.

I sistemi OCR trasformano i caratteri delle scansioni in testo digitale. Prima del riconoscimento, i documenti vengono preparati tramite software che ripuliscono le immagini e individuano le aree testuali, suddividendole in paragrafi e righe. A questo punto interviene una rete neurale che riconosce i caratteri e li codifica in formato digitale.

Nonostante i progressi degli ultimi anni, i testi generati presentano spesso errori ortografici o sequenze errate, causati da imperfezioni nella scansione.

Per ridurre questi errori è stata introdotta una fase automatizzata di post-correction, testando diversi modelli di Generative Pretrained Transformers (GPT), istruiti a correggere il testo intervenendo solo sugli errori. Questi modelli, infatti, tendono a modificare il testo più del necessario, ad esempio completando frasi troncate o aggiungendo parole per migliorarne la chiarezza. Pur non addestrati specificamente sul tedesco ottocentesco, la maggior parte si è dimostrata in grado di gestirlo preservandone le peculiarità.

La post-correction è risultata efficace grazie ai buoni risultati della fase OCR: un modello specializzato sul Fraktur ha generato testi abbastanza ordinati da poter essere corretti. In passato, invece, modelli meno performanti producevano trascrizioni talmente compromesse da non poter essere recuperate automaticamente.

I risultati sui testi analizzati evidenziano i benefici della combinazione delle due tecnologie: l’OCR da solo migliora la qualità delle trascrizioni di oltre il 60% rispetto al passato, mentre l’aggiunta della post-correction porta il miglioramento a un soddisfacente 85%, dove solo l’1% dei caratteri è errato.

Va infine osservato che difficilmente la post-correction avrebbe potuto fare di più: gli errori residui derivano perlopiù da omissioni dell’OCR (come numeri di pagina o capitoli rimossi), che i GPT non possono ricostruire. Per migliorare ulteriormente i risultati, sarà quindi necessario potenziare la fase di riconoscimento iniziale.