Über

Team

Augusta wird von den leitenden Forschern Greta H. Franzini und Luca Ducceschi entwickelt.

Folgende Personen und Praktikant:innen haben durch ihre Mitarbeit zum Projekt beigetragen: Simone Baratella, Mattia Caldi, Jay Hevelone, Daniil Mezentsev, Luna Montserrat Pirrotta.

Mitwirkende

Forschungspartner, die Trainingsdaten beisteuern:

• AlpiLinK project, Universität Verona
• Amt für Film und Medien, Autonome Provinz Bozen
• Center for Advanced Studies, Eurac Research
• Center for Climate Change and Transformation, Eurac Research
• Edition Raetia
• Institut für Minderheitenrecht, Eurac Research
• Institut für Regionalentwicklung, Eurac Research
• Menschen Bilder
• TU Graz, Signal Processing and Speech Communication Laboratory

Technische Partner

Technische Partner unterstützen das Projekt auf infrastruktureller Ebene, indem sie das Modell über bestehende Softwarelösungen bereitstellen und dessen Transfer in die Industrie begleiten.

• Südtiroler Informatik AG

Entwicklung

Augusta, eine Modellfamilie für Südtiroler Dialekte, befindet sich seit 2024 im aktiven Entwicklungsprozess im Rahmen einer umfassenden Forschungsinitiative.

Im Gegensatz zu kommerziellen Systemen, die vorgeben Südtiroler Dialekte zu erkennen, sind unsere Modelle Open Source und legen die Metadaten ihrer Trainingsdaten offen – auch wenn wir nicht in allen Fällen die Daten selbst weitergeben dürfen. Die Augusta-Modelle werden mit manuell zusammengestellten Daten aus Projekten von Eurac Research, Drittanbieter-Quellen und Forschungskollaborationen trainiert – ein wertvoller, sorgfältig kuratierter Datensatz für eine ressourcenarme Sprache wie das Südtirolerische.

Modelle

• OpenAI Implementierung (augusta_whisper_openai)
• Hugging Face Implementierung (augusta_whisper_hf)
• Faster Whisper mit CTranslate2 Implementierung (augusta_whisper_ctranslate2)
• NVIDIA Canary 1B-v2 Implementierung (augusta_canary1bv2)

Funktionen

Abgeschlossene und geplante Funktionen:

• Hyperparameter-Optimierung mit optuna
• Diarisierung mit pyannote.audio
• Eingabeformate: .mp4, .wav and .mp3
• Exportformate: .json, .srt, .tsv, .txt, .vtt
• API
• Web app

Trainingsdaten

Weitere Informationen zu den Trainingsdaten finden Sie in unserem GitLab-Repository ↗.

Verbreitung

• Franzini, G.H., Ducceschi, L. (forthcoming) 'Fine-tuning South Tyrolean Dialect-to-Standard German ASR with AlpiLinK', Journal of Open Humanities Data.
• Franzini, G.H., Ducceschi, L. (2026) 'South Tyrolean Dialect-to-Standard Speech Translation: A Resource', Workshop on Dialects in NLP — A Resource Perspective (DialRes-LREC26), co-located with the Fifteenth Language Resources and Evaluation Conference (LREC 2026), pp. 188-194. Palma de Mallorca, May 16. http://lrec-conf.org/proceedings/lrec2026/workshops/dialres/2026.dialres-1.0.pdf
• Ducceschi, L., Franzini, G.H. (2025) 'Speech transcription from South Tyrolean Dialect to Standard German with Whisper', Proceedings Interspeech 2025, pp. 1-5, ISSN: 2958-1796. Rotterdam, August 17-21. DOI: 10.21437/Interspeech.2025-1976
• Franzini, G.H., Ducceschi, L. (2025) 'Speech-to-Text for South Tyrolean dialect(s)', Bilingualism Matters Symposium 2025. Edinburgh, März 24-25.