Wie prüft man KI?

17. März 2022

Ob Bilderkennung, Spracherkennung oder Empfehlungsalgorithmen auf den einschlägigen Videoportalen – Künstliche Intelligenz (KI) hält immer mehr Einzug in unseren Alltag. Doch wollen wir der KI künftig auch das Steuer unserer Autos überlassen, muss sie jederzeit verlässlich funktionieren und darf sich nicht manipulieren lassen. Wie und nach welchen Kriterien KI für das autonome Auto geprüft werden kann, erforschen Vasilios Danos und sein Team von TÜViT in einem Projekt mit dem Automobilzulieferer ZF und dem Bundesamt für Sicherheit in der Informationstechnik (BSI).

Welches Ziel verfolgen Sie in dem gemeinsamen Projekt mit ZF und dem BSI?

Vasilios Danos: Software wird im Auto bereits seit geraumer Zeit verwendet und muss dabei eine Reihe von Kriterien erfüllen. Das Problem: Diese Kriterien lassen sich nicht ohne weiteres auf Künstliche Intelligenz anwenden. Denn KI-Systeme sind zumeist eine Blackbox: Man weiß nicht mit Sicherheit, was sie gelernt haben und wie sie sich in Zukunft verhalten werden. Im Rahmen des Projektes wollen wir deshalb herausarbeiten, welche Kriterien man diesen KI-Systeme anlegen kann und wie sich diese in der Praxis überprüfen lassen, um ein entsprechendes Sicherheitsniveau zu gewährleisten. Das spielen wir zunächst an zwei konkreten KI-Funktionalitäten im Auto durch. Auf dieser Basis lassen sich in einer nächsten Stufe dann allgemeine Regeln erarbeiten, die auch auf andere Funktionen im automatisierten Auto anwendbar wären.

 

Welche Ausfall- oder Angriffsszenarien sind denkbar – und mit welchen Folgen wären sie verbunden?

Anfällig ist etwa die Verkehrszeichenerkennung im Fahrzeug: Selbst wenn auf einem Stoppschild Laub oder Sticker kleben, können wir Menschen es immer noch eindeutig erkennen. Die KI dagegen könnte das Schild mit einer Werbetafel verwechseln. Oder schlimmer noch: als Vorfahrtschild interpretieren. Und während die KI im Steuerungssystem der Fahrzeuge recht gut gegen Hackerangriffe gesichert ist, können sich Angreifer diese Schwächen in der Umgebungswahrnehmung zunutze machen, um die  Systeme zu manipulieren. Indem sie etwa nach bestimmten Verfahren kleine Aufkleber auf Verkehrsschildern anbringen: Sehr subtile Veränderungen, die wir gar nicht wahrnehmen würden, die aber für die KI das gesamte Bild verändern. Und aus einem Tempo 30-Schild ein Tempo 130 machen. IT-Security und Allgemeine Sicherheit sind insofern hier zwei Seiten einer Medaille. Wenn wir sicherstellen können, dass die Systeme gegenüber bewussten Manipulationen robust sind, sind sie zugleich auch gegenüber natürlichen Störungen gefeit.

Und wie genau geht man vor, wenn man einer KI Informationen entlocken will?

Wir beginnen damit, uns die Situationen anzusehen, die dem System die größten Probleme bereiten. Bei einer KI zur Verkehrszeichenerkennung gehören dazu beispielsweise bestimmte Lichtverhältnisse. Die Erkennung von Fußgängern hingegen ist immer dann ein Problem, wenn Menschen bunte Hüte tragen – aus welchem Grund auch immer. Anhand solcher Erkenntnisse gehen wir immer weiter ins Detail, um herauszufinden, wann und an welcher Stelle die KI Fehler macht.

Welche anderen Methoden eignen sich für das Testen von KI?

Man könnte von vornherein ein erklärbares oder von Grund auf sicheres KI-System verwenden. Derzeit gibt es hauptsächlich die Black-Box-Systeme, die ich zu Beginn erwähnt habe. Bei diesen Systemen sind die Regeln nicht in die KI einprogrammiert, sondern werden unabhängig aus Trainingsdaten gelernt. Einerseits sind diese Systeme relativ kostengünstig und einfach zu entwickeln. Andererseits lässt sich das Verhalten der KI jedoch nicht zuverlässig vorhersagen. Es gibt jedoch auch andere KI-Architekturen, aus denen sich die Regeln, nach denen die KI arbeitet, zumindest teilweise ableiten lassen. So kann man im Voraus feststellen, dass sie unter bestimmten Umständen sicher reagieren wird. Diese Methoden stecken jedoch noch in den Kinderschuhen und können zumindest vorerst nicht überall eingesetzt werden. Im Rahmen des Projekts wollen wir daher auch ermitteln, für welche Funktionen in selbstfahrenden Autos diese KI-Architekturen in Zukunft geeignet sein könnten.

 

Welche Schlussfolgerungen müssten Hersteller und Regulierungsbehörden aus den Ergebnissen von KI-Tests ziehen?

Anhand des Tests lässt sich die Wahrscheinlichkeit ermitteln, mit der die KI Fehler macht. Auf der Grundlage dieser Ergebnisse müssen die zuständigen Behörden dann entscheiden, ob dieses Risiko akzeptabel ist oder nicht. Der Test könnte jedoch auch zeigen, dass das betreffende System nicht robuster gestaltet werden kann. Dann könnten die Hersteller dem mit geeigneten Backup-Funktionen entgegenwirken, bei denen beispielsweise die Verkehrslage nicht nur anhand von Kamerabildern, sondern auch mit zusätzlichen Sensoren wie Radar und LiDAR bewertet wird. Schließlich werden viele Fahrzeugsysteme bereits auf diese Weise konzipiert. Letztendlich wird es jedoch auf bestimmte Kriterien ankommen, die die Hersteller erfüllen müssen – wie und mit welchen Maßnahmen, bleibt dann ihnen überlassen. Das ist außerhalb des KI-Bereichs nicht anders, zum Beispiel bei den DIN-Normen.

 

Was fasziniert Sie so sehr an künstlicher Intelligenz?

Mich fasziniert die Tatsache, dass wir die Funktionsweise der Nervenzellen im Gehirn bereits relativ gut mit – mathematisch gesehen – vergleichsweise einfachen Lernmethoden nachbilden können. Bislang waren viele Tätigkeiten ausschließlich Menschen vorbehalten. Und jeder Einzelne muss mühsam ausgebildet werden. Bei der KI besteht die Hoffnung, dass sie, sobald sie einmal trainiert ist, beliebig oft kopiert werden kann. Das bietet ein enormes Potenzial für die Automatisierung. Und die KI-Entwicklung schreitet immer schneller voran: Jedes Jahr werden mehr Fortschritte in der KI erzielt als in den letzten 20 Jahren zusammen. KI wird in Zukunft in immer mehr Bereichen eine wichtige Rolle spielen. Und wir müssen uns heute darauf einigen, wo wir die Sicherheitsgrenzen ziehen wollen, welche Systeme wir zulassen wollen und welche nicht. Unser Projekt soll dazu beitragen, Antworten auf diese Fragen zu finden.

Und auf welche Weise fühlen Sie der KI konkret auf den Zahn?

Wir schauen uns zunächst an, welche Situationen dem System die meisten Probleme bereiten: Bei der KI zur Verkehrszeichenerkennung sind das etwa bestimmte Lichtverhältnisse. Die Fußgängererkennung wiederum gerät in Schwierigkeiten, wenn Menschen bunte Mützen tragen – warum auch immer. Auf Basis solcher Erkenntnisse bohren wir immer weiter, um zu sehen, wann und ab welchem Punkt die KI sich falsch verhält.

Welche weiteren Methoden bieten sich zur KI-Prüfung an?

Man könnte von vorneherein ein erklärbares oder inhärent sicheres KI-System verwenden. Aktuell kommen vor allem die besagten Blackbox-Systeme zum Einsatz. Hier werden die Regeln nicht in die KI einprogrammiert, sondern von ihr selbstständig aus Trainingsdaten gelernt. Einerseits ist dadurch der Entwicklungsaufwand verhältnismäßig gering. Andererseits lässt sich das Verhalten der KI eben nicht verlässlich voraussagen. Es gibt aber auch andere KI-Architekturen, bei denen sich die Regeln, nach denen die KI operiert, zumindest teilweise ableiten lassen. So kann man im Vorfeld feststellen, dass sie unter bestimmten Umständen sicher reagieren wird. Allerdings stecken diese Verfahren noch in den Kinderschuhen und lassen sich zumindest aktuell nicht überall einsetzen. Im Rahmen des Projektes wollen wir daher auch ermitteln, für welche Funktionen im automatisierten Fahrzeug sich diese KI-Architekturen künftig eignen könnten.

 

Welche Schlüsse müssten Hersteller wie Regulierungsbehörden aus den Ergebnissen von KI-Prüfungen ziehen?

Mit der Prüfung lässt sich die Wahrscheinlichkeit für ein Fehlverhalten der KI ermitteln. Auf Basis dieses Ergebnisses müssen die entsprechenden Behörden entscheiden, ob dieses Risiko tolerierbar ist oder nicht. Möglicherweise zeigt die Prüfung aber auch, dass das entsprechende System nicht robuster werden kann. Dann könnten die Hersteller etwa mit entsprechenden Backup-Funktionalitäten gegensteuern: dass etwa die Verkehrssituation nicht nur anhand des Kamerabildes eingeschätzt wird, sondern auch mit zusätzlicher Sensorik, etwa Radar und LiDAR. Viele Fahrzeug-Systeme sind ja heute bereits in dieser Weise konzipiert. Letztlich wird es aber auf bestimmte Kriterien hinauslaufen, die Hersteller erfüllen müssen – wie und mit welchem Maßnahmen ist ihnen überlassen. Das ist ja außerhalb des KI-Bereichs etwa bei den DIN-Normen nicht anders.

Was macht für Sie die Faszination von Künstlicher Intelligenz aus?

Mich fasziniert, dass wir bereits mit mathematisch vergleichsweise banalen Lernverfahren die Funktionsweise der Nervenzellen des Gehirns relativ gut kopieren können. Viele Tätigkeiten konnten bislang nur von Menschen übernommen werden. Und jeder einzelne Mensch muss mühsam angelernt werden. Bei KI ist die Hoffnung, dass sie einmal trainiert, beliebig oft kopiert werden kann. Das bietet ein enormes Potenzial für Automatisierung. Und die Entwicklung geht immer schneller voran. Mittlerweile werden bei der KI pro Jahr mehr Fortschritte erzielt als in den vergangenen 20 Jahren. KI kann in Zukunft in immer mehr Bereichen eine große Rolle spielen. Und wir müssen uns heute darüber verständigen, wo wir die Sicherheitsgrenzen ziehen, welche Systeme wir zulassen wollen und welche nicht. Bei der Beantwortung dieser Fragen soll unser Projekt einen Beitrag leisten.