Neues Tool soll Qualität von KI-Tests realistisch messbar machen FAU-Forscher splitten Trainingsdaten

Anbieter zum Thema

FAU Friedrich-Alexander- Universität Erlangen-Nürnberg Lehrstuhl für Techn. Thermodynamik

Governikus GmbH & Co. KG

secunet Security Networks AG

CLYSO GmbH

Ein Forscherteam der FAU und des Helmholtz-Instituts hat ein Tool entwickelt, das KI-Modelle mit besonders unterschiedlichen Daten testet. Dadurch könnte sich zeigen, wie robust neuronale Netze unter echten Bedingungen sind.

Maschinelles Lernen ist datenhungrig – und oft zu selbstverliebt. Denn viele Modelle zeigen im Praxiseinsatz Schwächen, die sich im Labor nicht abzeichnen. Der Grund liegt meist im sogenannten Splitting: Trainings- und Testdaten sind sich oft zu ähnlich. Was auf dem Papier als „hohe Präzision“ glänzt, zerbröselt im echten Betrieb.

Ein neues Tool aus der Bioinformatik will das ändern. Forscher der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) und des Helmholtz-Instituts für Pharmazeutische Forschung Saarland (HIPS) haben DataSAIL entwickelt – ein Open-Source-Tool, das Datensätze so aufteilt, dass sich Trainings- und Testdaten maximal voneinander unterscheiden.

Damit könnten KI-Modelle künftig realistischer bewertet werden – auch bei sogenannten Out-of-Distribution-Daten, also Daten, die nicht im Trainingssatz vorkamen.

Out-of-Distribution im Fokus

„Nur wenn sich die Testdaten stark von den Trainingsdaten unterscheiden, lässt sich bewerten, ob ein Modell auch mit neuen, unbekannten Daten umgehen kann“, erklärt Prof. Dr. David Blumenthal vom Department Artificial Intelligence in Biomedical Engineering (AIBE) der FAU.

Das Tool adressiert ein zentrales Problem: die oft zu homogene Auswahl der Testdaten. Herkömmliche Methoden setzen auf Zufall oder einfache statistische Verfahren. DataSAIL dagegen analysiert strukturelle Unterschiede und versucht, ein Maximum an Diversität zwischen den Datensätzen zu erzeugen. Das erlaubt, gezielt sogenannte Out-of-Distribution-Szenarien zu simulieren – also Tests mit Daten, wie sie später im Live-Betrieb auftreten könnten.

Auch für Interaktionsdaten

DataSAIL lässt sich laut Blumenthal nicht nur für klassische Datensätze einsetzen, sondern auch für sogenannte Interaktionsdaten. Diese mehrdimensionalen Daten spielen etwa in der Wirkstoffforschung eine Rolle – also dort, wo etwa Wechselwirkungen zwischen Medikamenten und Proteinen analysiert werden.

Das Tool sei laut den Entwicklern das erste seiner Art, das auch hier automatisch trennt. Eine Beispielanwendung: Ein KI-Modell soll lernen, wie sich Medikamente auf bestimmte Zielproteine auswirken. Um dessen Leistung zu prüfen, müsse getestet werden, wie gut das Modell mit neuen Molekülvarianten oder bislang unbekannten Proteinen zurechtkommt. Genau hier soll DataSAIL ansetzen.

Bias-Schutz durch Klassenbalance

Ein weiteres Feature zielt auf Fairness und Diversität: DataSAIL könne laut Projektteam auch Klassenmerkmale berücksichtigen, etwa das Geschlecht. So lasse sich etwa sicherstellen, dass Frauen und Männer gleichmäßig auf Trainings- und Testdaten verteilt sind. Das soll verhindern, dass ein Modell systematisch schlechtere Ergebnisse bei bestimmten Gruppen liefert.

„Die Anwender müssen nur wenige Parameter definieren, den Rest erledigt DataSAIL automatisch und zuverlässig“, heißt es aus dem Entwicklerteam. Das Tool sei kostenlos verfügbar und nicht auf biologische Daten beschränkt.

Ausblick: Schneller und präziser

In „Nature Communications“ skizzieren die Forscher ihre Methodik und betonen, dass eine realistische Evaluation grundlegend für den Einsatz von KI in sensiblen Bereichen sei – etwa in der Medizin oder Wirkstoffforschung. Für die Zukunft planen sie, DataSAIL weiter zu optimieren, insbesondere mit Blick auf Laufzeit und Datenspezifik.

Vorgesehen sei, die Rechenzeit der Algorithmen zu verkürzen und weitere Anwendungsfälle abzudecken. Laut Angaben der FAU könnte das Tool mittelfristig zum Standardwerkzeug für Entwickler werden, die KI-Modelle unter realistischen Bedingungen prüfen wollen

(ID:50431657)