Wie prüft man KI?

17. März 2022

Ob Bilderkennung, Spracherkennung oder Empfehlungsalgorithmen auf den einschlägigen Videoportalen – Künstliche Intelligenz (KI) hält immer mehr Einzug in unseren Alltag. Doch wollen wir der KI künftig auch das Steuer unserer Autos überlassen, muss sie jederzeit verlässlich funktionieren und darf sich nicht manipulieren lassen. Wie und nach welchen Kriterien KI für das autonome Auto geprüft werden kann, erforschen Vasilios Danos und sein Team von TÜViT in einem Projekt mit dem Automobilzulieferer ZF und dem Bundesamt für Sicherheit in der Informationstechnik (BSI).

Welches Ziel verfolgen Sie in dem gemeinsamen Projekt mit ZF und dem BSI?

Vasilios Danos: Software wird im Auto bereits seit geraumer Zeit verwendet und muss dabei eine Reihe von Kriterien erfüllen. Das Problem: Diese Kriterien lassen sich nicht ohne weiteres auf Künstliche Intelligenz anwenden. Denn KI-Systeme sind zumeist eine Blackbox: Man weiß nicht mit Sicherheit, was sie gelernt haben und wie sie sich in Zukunft verhalten werden. Im Rahmen des Projektes wollen wir deshalb herausarbeiten, welche Kriterien man diesen KI-Systeme anlegen kann und wie sich diese in der Praxis überprüfen lassen, um ein entsprechendes Sicherheitsniveau zu gewährleisten. Das spielen wir zunächst an zwei konkreten KI-Funktionalitäten im Auto durch. Auf dieser Basis lassen sich in einer nächsten Stufe dann allgemeine Regeln erarbeiten, die auch auf andere Funktionen im automatisierten Auto anwendbar wären.

Welche Ausfall- oder Angriffsszenarien sind denkbar – und mit welchen Folgen wären sie verbunden?

Anfällig ist etwa die Verkehrszeichenerkennung im Fahrzeug: Selbst wenn auf einem Stoppschild Laub oder Sticker kleben, können wir Menschen es immer noch eindeutig erkennen. Die KI dagegen könnte das Schild mit einer Werbetafel verwechseln. Oder schlimmer noch: als Vorfahrtschild interpretieren. Und während die KI im Steuerungssystem der Fahrzeuge recht gut gegen Hackerangriffe gesichert ist, können sich Angreifer diese Schwächen in der Umgebungswahrnehmung zunutze machen, um die  Systeme zu manipulieren. Indem sie etwa nach bestimmten Verfahren kleine Aufkleber auf Verkehrsschildern anbringen: Sehr subtile Veränderungen, die wir gar nicht wahrnehmen würden, die aber für die KI das gesamte Bild verändern. Und aus einem Tempo 30-Schild ein Tempo 130 machen. IT-Security und Allgemeine Sicherheit sind insofern hier zwei Seiten einer Medaille. Wenn wir sicherstellen können, dass die Systeme gegenüber bewussten Manipulationen robust sind, sind sie zugleich auch gegenüber natürlichen Störungen gefeit.

„Viele Prüfverfahren für KI bewegen sich aktuell noch auf Forschungsebene. Dabei müssen unheimlich viele Variablen berücksichtigt werden.“

Vasilios Danos, Berater für Cyber Security und AI Security bei TÜViT

And how exactly do you go about grilling AI for information?

We start by looking at the situations which cause the system the most problems. With AI for traffic sign recognition, for example, these would include certain lighting conditions. Detecting pedestrians, on the other hand, is always a problem when people wear colourful hats – for whatever reason. We use findings like these to keep drilling down to see when and at what point the AI gets it wrong.

What other methods are suitable for AI testing?

You could use an explainable or inherently secure AI system from the outset. At the moment, you mainly get the black box systems that I mentioned at the start. With these systems, the rules aren’t programmed into the AI but learned independently from training data. On the one hand, these systems are relatively cheap and easy to develop. On the other, however, the behaviour of AI can’t be reliably predicted. However, there are also other AI architectures from which the rules by which AI operates can be derived, at least in part. So, you can determine in advance that it will react safely under certain circumstances. However, these methods are still in their infancy and can’t be used everywhere, at least for the time being. So, as part of the project, we also want to determine which functions in self-driving cars these AI architectures might be suitable for in the future.

What conclusions would manufacturers and regulators have to draw from the results of AI tests?

The test can be used to determine the probability that AI will get things wrong. On the basis of these results, the relevant authorities will then have to decide whether this risk is tolerable or not. However, the test may also show that the corresponding system can’t be made more robust. Then the manufacturers could counteract this with appropriate backup functionalities, with which, let’s say, the traffic situation isn’t only assessed based on camera images, but also with additional sensors, such as radar and LiDAR. After all, many vehicle systems are already being designed in this way. Ultimately, however, it’ll come down to certain criteria that the manufacturers must meet – how and with what measures will then be up to them. This is no different outside the AI field, for example with the DIN standards.

What is it about artificial intelligence that fascinates you so much?

I’m fascinated by the fact that we can already copy the functioning of the nerve cells of the brain relatively well with what are, in mathematical terms, comparatively humdrum learning methods. Until now, many activities have been the sole preserve of humans. And every single person has to be painstakingly trained. With AI, the hope is that, once it’s been trained, it can be copied as often as desired. This offers enormous potential for automation. And AI development is accelerating all the time: more progress is being made in AI each year than in the past 20 years put together. AI is going to play a major role in more and more areas in the future. And today we must agree on where we want to draw the security boundaries, which systems we want to allow and which we don’t. Our project aims to help provide answers to these questions.

Und auf welche Weise fühlen Sie der KI konkret auf den Zahn?

Wir schauen uns zunächst an, welche Situationen dem System die meisten Probleme bereiten: Bei der KI zur Verkehrszeichenerkennung sind das etwa bestimmte Lichtverhältnisse. Die Fußgängererkennung wiederum gerät in Schwierigkeiten, wenn Menschen bunte Mützen tragen – warum auch immer. Auf Basis solcher Erkenntnisse bohren wir immer weiter, um zu sehen, wann und ab welchem Punkt die KI sich falsch verhält.

Welche weiteren Methoden bieten sich zur KI-Prüfung an?

Man könnte von vorneherein ein erklärbares oder inhärent sicheres KI-System verwenden. Aktuell kommen vor allem die besagten Blackbox-Systeme zum Einsatz. Hier werden die Regeln nicht in die KI einprogrammiert, sondern von ihr selbstständig aus Trainingsdaten gelernt. Einerseits ist dadurch der Entwicklungsaufwand verhältnismäßig gering. Andererseits lässt sich das Verhalten der KI eben nicht verlässlich voraussagen. Es gibt aber auch andere KI-Architekturen, bei denen sich die Regeln, nach denen die KI operiert, zumindest teilweise ableiten lassen. So kann man im Vorfeld feststellen, dass sie unter bestimmten Umständen sicher reagieren wird. Allerdings stecken diese Verfahren noch in den Kinderschuhen und lassen sich zumindest aktuell nicht überall einsetzen. Im Rahmen des Projektes wollen wir daher auch ermitteln, für welche Funktionen im automatisierten Fahrzeug sich diese KI-Architekturen künftig eignen könnten.

Welche Schlüsse müssten Hersteller wie Regulierungsbehörden aus den Ergebnissen von KI-Prüfungen ziehen?

Mit der Prüfung lässt sich die Wahrscheinlichkeit für ein Fehlverhalten der KI ermitteln. Auf Basis dieses Ergebnisses müssen die entsprechenden Behörden entscheiden, ob dieses Risiko tolerierbar ist oder nicht. Möglicherweise zeigt die Prüfung aber auch, dass das entsprechende System nicht robuster werden kann. Dann könnten die Hersteller etwa mit entsprechenden Backup-Funktionalitäten gegensteuern: dass etwa die Verkehrssituation nicht nur anhand des Kamerabildes eingeschätzt wird, sondern auch mit zusätzlicher Sensorik, etwa Radar und LiDAR. Viele Fahrzeug-Systeme sind ja heute bereits in dieser Weise konzipiert. Letztlich wird es aber auf bestimmte Kriterien hinauslaufen, die Hersteller erfüllen müssen – wie und mit welchem Maßnahmen ist ihnen überlassen. Das ist ja außerhalb des KI-Bereichs etwa bei den DIN-Normen nicht anders.

Was macht für Sie die Faszination von Künstlicher Intelligenz aus?

Mich fasziniert, dass wir bereits mit mathematisch vergleichsweise banalen Lernverfahren die Funktionsweise der Nervenzellen des Gehirns relativ gut kopieren können. Viele Tätigkeiten konnten bislang nur von Menschen übernommen werden. Und jeder einzelne Mensch muss mühsam angelernt werden. Bei KI ist die Hoffnung, dass sie einmal trainiert, beliebig oft kopiert werden kann. Das bietet ein enormes Potenzial für Automatisierung. Und die Entwicklung geht immer schneller voran. Mittlerweile werden bei der KI pro Jahr mehr Fortschritte erzielt als in den vergangenen 20 Jahren. KI kann in Zukunft in immer mehr Bereichen eine große Rolle spielen. Und wir müssen uns heute darüber verständigen, wo wir die Sicherheitsgrenzen ziehen, welche Systeme wir zulassen wollen und welche nicht. Bei der Beantwortung dieser Fragen soll unser Projekt einen Beitrag leisten.