Forschungsarbeit zu Hint-Texten Apps barrierefrei gestalten – Hilfe kommt aus der Forschung

Im Gesundheitswesen spielen Apps zunehmend eine Rolle, entsprechend wichtig ist es, den barrierefreien Zugang zu diesen digitalen Anwendungen auch für sehbehinderte Menschen zu gewährleisten. Gastautor Professor Dr. Chen erläutert, wie die von seinem Forschungsteam entwickelten Systeme genutzt werden könnten, um schon während der Entwicklung Probleme bei der Barrierefreiheit zu erkennen und automatisch Lösungen zu generieren.

Die Digitalisierung von Dienstleistungen in Verwaltung und Gesundheitswesen schreitet mit rasanter Geschwindigkeit voran. Digitale Plattformen und mobile Anwendungen spielen eine zentrale Rolle, um Behörden und medizinische Einrichtungen effizienter zu gestalten und eine bürgerfreundliche Bereitstellung von Diensten zu gewährleisten: Terminbuchungen, Informationen und Formulare – viele Dienste werden schon heute digital angeboten. Doch die Darstellung in der mobilen Ansicht auf dem Smartphone ist häufig fehlerhaft. Für Menschen mit Behinderungen, insbesondere Sehbehinderungen, bleiben dadurch viele dieser digitalen Lösungen schwer zugänglich. Nach Angaben der WHO leiden weltweit 2,2 Milliarden Menschen an Sehbeeinträchtigungen, wovon viele durch barrierefreie Technologien erheblich profitieren könnten. Gerade die Nutzung von Apps auf dem Smartphone könnte die Teilhabe und Autonomie leicht unterstützen, wenn die Bedürfnisse von sehbehinderten Menschen bei der Programmierung berücksichtigt würden.

So weit, so bekannt. Und eigentlich gibt es für die Softwareentwicklung auch klare Richtlinien, die sicherstellen sollen, dass Anwendungen für alle Nutzergruppen zugänglich sind. In der Praxis zeigt sich jedoch, dass diese Standards häufig nicht eingehalten werden – vor allem von kleineren Unternehmen. Während große Akteure wie Google oder Microsoft über spezialisierte Teams zur Förderung der Barrierefreiheit verfügen, fehlt es kleineren Firmen oft an Ressourcen oder einem ausreichenden Bewusstsein für dieses Thema.

Der Status Quo: Wo mangelt es an Barrierefreiheit?

Eine Kernherausforderung liegt in der unzureichenden Gestaltung von Eingabe- und Bedienelementen in Apps und Webanwendungen. Wie eine Analyse von 4.501 Android-Apps mit Texteingaben im Rahmen einer Forschungsarbeit zeigte, fehlte bei über 76 Prozent der Apps der sogenannte „Hint-Text“ – ein wichtiger Hinweistext, der von Screenreadern laut vorgelesen werden kann und so sehbehinderten Nutzern das Ausfüllen von Eingabefeldern erleichtert. Ähnliche Defizite zeigen sich bei Bildkomponenten, die häufig keine Beschreibungstexte, sogenannte Labels, enthalten – und damit für sehbehinderte Menschen nicht wahrnehmbar sind. Gerade in kritischen Anwendungsbereichen wie der medizinischen Versorgung oder Verwaltungsdiensten gibt es häufig erklärende Bilder und Grafiken. Fehlende Labels können die digitale Teilhabe erheblich einschränken und Menschen in zentralen Bereichen des Alltags in ihrer Autonomie beschneiden.

Um hier Lösungen zu finden, hat ein Forschungsteam der TU München am Campus Heilbronn unter der Leitung von Professor Dr. Chen zwei innovative Systeme entwickelt: HintDroid und LabelDroid. Beide Technologien setzen auf moderne Ansätze des maschinellen Lernens, um Barrierefreiheit in digitalen Anwendungen automatisch zu verbessern. Bisher sind die Programme noch nicht auf dem Markt verfügbar – fest steht jedoch, dass sie – entweder als Open-Source-Angebot oder als integrierte Funktion im Google Play Store – der Forschungs- und Entwicklergemeinschaft ohne Profit zur Verfügung gestellt werden. Nur so können die Potenziale für die verschiedensten Branchen ausgeschöpft werden – auch in den Bereichen der öffentlichen Verwaltung und medizinischen Einrichtungen gäbe es zahlreiche Anwendungsmöglichkeiten.

Automatische Generierung von Hint-Texten

HintDroid ist ein auf Large Language Models (LLMs) basierendes System, das automatisiert Hint-Texte generiert. Es wurde entwickelt, um mobile Anwendungen auf Barrierefreiheit zu prüfen und diese automatisch zu verbessern. Dafür analysiert es die grafische Benutzeroberfläche (GUI) einer App und generiert Kontextinformationen, die sowohl sehbehinderten Nutzern als auch Menschen ohne Behinderungen helfen, Eingabefelder korrekt zu nutzen. Das Tool richtet sich also an Entwickler und Anbieter mobiler Anwendungen. Der Prozess gliedert sich in drei Schritte:

• Analyse der App: Sobald eine neue App entwickelt wurde, kann sie mithilfe von HintDroid gescannt werden. Dabei analysiert die Software die Benutzeroberfläche, identifiziert Barrierefreiheitsprobleme wie fehlende Labels oder unklare Eingabeanweisungen.

• Automatische Fehlerbehebung: Mithilfe von Künstlicher Intelligenz werden problematische Elemente in natürliche Sprache übersetzt, also passende Hint-Texte generiert. Das System verwendet dafür eine Datenbank mit Beispiel-Hint-Texten, um durch Retrieval-basierte Methoden passende Vorschläge zu generieren.

• Feedback-Mechanismus: Durch die Prüfung, ob der generierte Text die erwartete Funktion (z. B. Öffnen einer nächsten Seite) auslöst, optimiert das Tool kontinuierlich die Qualität seiner Ergebnisse. Der Entwickler kann nun entscheiden, ob er die Änderungsvorschläge annimmt oder nicht.

Um es an einem Beispiel zu verdeutlichen: Die App eines Krankenhauses bietet Patienten die Möglichkeit, sich zur Aufnahme vorab online zu registrieren. Auf der Startseite befinden sich zwei unbeschriftete Eingabefelder, in die Daten eingetragen werden sollen. Ein Bildschirmlesegerät erkennt lediglich, dass zwei Eingaben erwartet werden, jedoch nicht, welche Informationen benötigt werden (z. B. Name oder Geburtsdatum). Für sehbehinderte Nutzer ist dies nicht nachvollziehbar. Durch den Einsatz von HintDroid werden die Felder automatisch mit den Hinweisen „Bitte geben Sie Ihren Namen ein“ und „Bitte geben Sie Ihr Geburtsdatum ein“ versehen. Diese Vorschläge werden dem Entwickler präsentiert, der die Änderungen bestätigen kann. Anschließend wird die verbesserte Version für die Nutzer verfügbar gemacht, wodurch die Registrierung barrierefrei wird.

Automatische Generierung von Labels für Bildkomponenten

LabelDroid ist ein früher entwickeltes System, das sich auf die automatische Generierung von Labels für Icons und Bildkomponenten konzentriert. Es adressiert damit ein zentrales Problem in der barrierefreien App-Gestaltung: das Fehlen beschreibender Texte für visuelle Elemente. Das System wird mit einem Datensatz bestehender Icons und Labels trainiert, um visuell ähnliche, aber unbeschriftete Elemente korrekt zu identifizieren und zu beschriften. Die Bildsprache im digitalen Raum, vor allem in den Bereichen der Verwaltung und Medizin, ist meist standardisiert und kann gut erkannt werden. Darüber hinaus wird der Kontext durch eine Analyse der Benutzeroberfläche (GUI) erschlossen, um Labels noch genauer und semantisch passender zu generieren.

Dazu ein Beispiel: Ein branchenunabhängig weit verbreiteter Fall ist ein Button mit einem Pfeil, der einem sehenden Menschen mitteilt, dass er mit einem Klick auf die nächste Seite gelangt. Wenn ein Screenreader dieses Symbol nicht erkennen kann, hängen sehbehinderte Menschen im Prozess fest.

(ID:50309474)