Projektbeschreibung

Umsetzung

Unser Ziel ist es, eine mobile Anwendung zu entwickeln, welche die automatische Übersetzung von Deutscher Gebärdensprache in Deutsch (Schrift und Audio) und umgekehrt in Echtzeit ermöglicht.

Dafür sollen zunächst mit NutzerInnen der Deutschen Gebärdensprache die wünschenswerten Einsatzgebiete einer solchen Anwendung ermittelt werden, um basierend hierauf einen Basiswortschatz aufzubauen. Dieser wiederum wird dann als Grundlage für die Entwicklung eines auf maschinellem Lernen basierenden Bildanalyseverfahrens dienen, welches unter Verwendung der 5G Technologie Echtzeitübersetzungen von Videostreams beispielsweise in Sprachausgabe in einem Telefon ermöglichen soll. Außerdem sollen Lösungsmöglichkeiten erforscht und getestet werden, wie umgekehrt Laut- und Schriftsprache mittels eines Avatars in Echtzeit in Deutsche Gebärdensprache übersetzt werden kann.

Arbeitspakete

  1. In enger Zusammenarbeit mit der DGS Community die relevanten Einsatzgebiete für die erste Anwendung mit ermitteln
  2. Entwicklung der passenden UX für den Prototypen der Anwendung durch das Erfassen der Nutzersituation und des Kommunikationsablaufs in enger Zusammenarbeit mit Sparchwissenschaftlern und Gebärdenden
  3. Umsetzung des Prototypen für das passende Einsatzgebiet als iOS und Android App
  4. Testing und Optimieren des Prototypen mit Mitgliedern der DGS Community in den gewählten Kommunikations-Szenarien
  5. Gebärdenerkennung aus Bildanalyse der Videostreams des mobilen Endgeräts durch Machine Learning
  6. Live-Übersetzen der gebärdeten Inhalte von DGS nach Deutsch und umgekehrt durch Machine Learning
  7. Entwicklung eines 3D-Avatars, der die gesprochenen Inhalte in DGS ausgibt
  8. Dokumentation der Forschungsergebnisse und Dissemination