Laut einer Bitkom-Umfrage von 2024 sahen 12 Prozent von 602 befragten Unternehmen Künstliche Intelligenz als potenzielle Gefahrenquelle. Dennoch erscheint ihr Einsatz in der heutigen Zeit unumgänglich. Wie können Unternehmen Risiken im Umgang mit KI erkennen und sichere Anwendungen gewährleisten? Und wie können gezielte Schulungen helfen, um rechtliche Verantwortlichkeiten und mögliche Haftungsrisiken zu minimieren?
Wir haben uns mit Dr. Ralf Kollmann, Experte für Datenschutz und Informationssicherheit, Prokurist bei der FIDES IT Consultants GmbH, über folgende Themen und Fragen unterhalten
- Warum sollten sich Unternehmen mit den Risiken der KI auseinandersetzen?
- Was sind typische Gefahren der KI, auf die Geschäftsführer:innen und Mitarbeitende achten sollten?
- Wie kann eine risikoarme Nutzung Künstlicher Intelligenz innerhalb der EU-Compliance-Landschaft gelingen?
- Welche Schritte sind vor und nach einer KI-Implementierung sowie dem Aufbau eines entsprechenden Managementsystems erforderlich, um nachhaltig zu arbeiten.
KI-Gefahren ernst nehmen - und als Chance begreifen
KI kann als die nächste Evolutionsstufe der Automatisierung von Geschäftsprozessen verstanden werden, wie Herr Dr. Ralf Kollmann erläutert – vergleichbar mit Digitalisierung und konventioneller Automatisierung. Wo beispielsweise in der Vergangenheit technologische Grenzen bei der Automatisierung mit regelbasierten Systemen bestanden, ergeben sich nun neue Möglichkeiten durch die Einführung von KI-Unterstützung. Unternehmen sollten sich mit den Chancen und Risiken der Technologie auseinandersetzen – nicht in jedem Geschäftsprozess lässt sich KI gleichermaßen sinnvoll einsetzen. Wer sich gar nicht mit KI beschäftigt, läuft Gefahr, den Anschluss zu verlieren. Andere Unternehmen sichern sich währenddessen bereits Wettbewerbsvorteile.
Der Mittelstand zeige oft methodische Unsicherheit bei der Einführung von KI-Systemen. Manche Geschäftsführer:innen fürchten unter anderem eine Belastung durch zusätzliche Sicherheitsmaßnahmen oder sind sich unklar über den Mehrwert einer KI-Einführung. Der Experte empfiehlt daher, frühzeitig zu prüfen, ob und wie KI im eigenen Unternehmen sinnvoll eingesetzt werden kann.
„Auf anfängliche Begeisterung folgt sodann oft die Erkenntnis über die erforderlichen Investitionen und damit eine gewisse Ernüchterung. Zweifel, ob deutsche bzw. europäische Unternehmen mit großen US-Konzernen bei der KI mithalten können, spielen hier ebenfalls eine Rolle. Mit der kosteneffizienten und ressourcensparenden Entwicklung von DeepSeek hat sich hier jedoch eine neue Perspektive etabliert, vergleichbar mit einer Disruptionsphase – risikobehaftet, aber auch chancenreich.“ Für Europa eröffne sich die Chance, im KI-Rennen mitzuhalten. Deutschland könne dabei mit seinem guten internationalen Ruf im Ingenieurswesen in Kombination mit Fachkenntnissen in IT und KI punkten.
Übersicht der Gefahren von KI und ihre Ursachen
Die Risiken beim Einsatz von KI und deren Ursachen sind vielfältig. Diese können durch gezielte Maßnahmen jedoch eingedämmt werden.
Die unbedachte Nutzung von KI-Tools birgt Risiken für den Datenschutz und die Informationssicherheit. Schon das Hochladen vertraulicher Daten in einen Chatbot kann einen Datenschutzverstoß darstellen – besonders kritisch bei KI-Tools auf Servern außerhalb der EU, da hier komplexere Rechtsgrundlagen gelten. Zudem können eingegebene Daten weiterverwendet werden, was urheberrechtliche Probleme nach sich ziehen kann. „Es gab schon Fälle, bei denen von Mitarbeitenden in KI-Systemen hochgeladener Quellcode in Teilen bei Wettbewerbern auftauchte“, warnt Dr. Ralf Kollmann. Auch wenn aus den Fehlern der Vergangenheit gelernt und neue Schutzmaßnahmen in der KI integriert werden, ist es entscheidend, den Einsatz von KI kontinuierlich zu überwachen.
Bei einer Verarbeitung großer Datenmengen, etwa auf Fileservern, können Schwachstellen in der IT-Sicherheit oft unbemerkt bleiben. KI-Assistenzsysteme hingegen können IT-Sicherheitslücken aufdecken, die von Mitarbeitenden nicht sofort erkannt werden. Unternehmen sollten daher vor ihrem Einsatz Dokumente klassifizieren und Schutzmaßnahmen wie etwa Berechtigungskonzepte umsetzen. Eine sorgfältige IT-Sicherheitsvorbereitung vor der Einführung von KI-Systemen sei essenziell, um Risiken zu minimieren und einen reibungslosen KI-Einsatz zu gewährleisten.
Selbst führende KI-Sprachmodelle können Fehler machen und beispielsweise halluzinieren. Das heißt im Grunde, dass das KI-System ungenaue oder falsche Ausgaben erstellt oder Fakten und Aussagen sogar erfindet. Die Qualität der KI-Ausgaben hängt darüber hinaus maßgeblich von der Qualität der verwendeten Trainingsdaten ab. Veraltete oder fehlerhafte Daten führen zu unzuverlässigen Ergebnissen. Firmen müssen daher genau prüfen, wofür sie KI einsetzen und wie verlässlich die für den KI-Einsatz oder ein etwaiges Training zugrunde gelegten Daten sind. Selbst bei hoch entwickelten Modellen sei eine kritische Überprüfung unerlässlich. Ein übermäßiges Vertrauen, auch Overreliance genannt, in die Richtigkeit der Resultate kann erhebliche Schäden verursachen. Dies gilt z. B. bei Recherchen oder der Qualitätssicherung, jedoch gerade bei unsicheren Aussagen bzw. Prognosen.
KI-Systeme können durch einseitige Trainingsdaten diskriminieren. Eine Künstliche Intelligenz, die nur mit Bildern hellhäutiger Menschen trainiert wird, scheitert oft bei der Erkennung anderer Hautfarben – ein Problem etwa bei Zutrittskontrollsystemen. Auch auf westliche, männliche Nutzer ausgerichtete Datensätze führen in anderen Regionen oder bei diversen Bevölkerungsgruppen zu Fehlern oder Ungenauigkeiten der Ergebnisse. Zudem kann die politische Ausrichtung der Trainingsdaten die Zuverlässigkeit beeinträchtigen, beispielsweise wenn ein Chatbot bei politisch sensiblen Themen keine, falsche oder unvollständige Antworten liefert.
Bei der Entwicklung von KI-Systemen bestehen ähnliche Risiken wie in der konventionellen Softwareentwicklung. Die Anforderungen an qualitätsgesicherte und sichere Software müssen auch bei KI-Systemen eingehalten werden. So müssen Entwickler:innen bei der Entwicklung von KI-Systemen in der Regel auch die Vorgaben des Cyber Resilience Acts zur IT-Sicherheit in der Softwareentwicklung sowie zur Produktsicherheit von Hard- und Software berücksichtigen. Darüber hinaus müssen sie zusätzlich KI-spezifische Risiken in der Softwareentwicklung berücksichtigen und beispielsweise Maßnahmen gegen eine gezielte Manipulation der Trainingsdaten treffen.
Mitarbeitende müssen für KI-gestützte Cyberangriffe sensibilisiert werden. „Der sogenannte CEO-Fraud erreicht beispielsweise durch Künstliche Intelligenz täuschend echte Ergebnisse. Das macht Schulungen der Mitarbeitenden bis hin zur Führungsebene und verstärkte Sicherheitsmaßnahmen umso wichtiger.“ Dr. Ralf Kollmann bezieht sich hier beispielhaft auf den CEO-Trick – eine Betrugsmethode, bei der Mitarbeiter:innen durch Täuschung und gefälschte Identitäten dazu gebracht werden, Geldüberweisungen an Betrüger:innen zu veranlassen.
Risikoarme KI-Nutzung in der EU-Compliance-Landschaft
Die umfangreiche IT-Compliance-Landschaft und die diesbezüglichen IT-Rechtsvorschriften werden vielfach – und aus der Sicht des Experten durchaus zu Recht – als Belastung im Mittelstand wahrgenommen. Gleichzeitig können diese dabei helfen, IT-Risiken einzudämmen, und beinhalten damit auch die Chance auf Verbesserung der Sicherheit im Unternehmen. „Mit NIS-2, DSGVO, KI-Verordnung (auch EU AI Act genannt), Cyber Resiliance Act und weiteren Regelungen hat die EU-Kommission in den letzten zwei Jahren sehr umfassende Regulierungen in der IT-Sicherheit vorgenommen – mit einer klaren Botschaft, dass Verstöße etwa durch Bußgelder, Zwangsgelder und die Haftung der Geschäftsführung sanktioniert werden können.
Die KI-Verordnung als zentrale gesetzliche Regulierungsnorm für den Einsatz und die Entwicklung von KI-Systemen fokussiert sich hauptsächlich auf sogenannte Hochrisiko-KI-Systeme. Dabei handelt es sich um in den Anhängen der KI-Verordnung eindeutig benannte Anwendungsfälle, die mit besonderen Risiken für die Nutzer bzw. die betroffenen Personen verbunden sind. Die Frage des Verwendungszwecks beim KI-Einsatz im Unternehmen kann damit ausschlaggebend dafür sein, welcher Compliance-Aufwand zu erwarten ist. Gleichzeitig eröffnet sich dadurch jedoch die Chance, mit einer gezielten KI-Strategie den Umfang des KI-Managementsystems zu steuern: wenn bspw. bewusst auf den Einsatz von Hochrisiko-KI verzichtet wird, bestehen geringere Anforderungen an die Compliance. Gerade im kleineren Mittelstand ergibt sich daraus für viele Unternehmen oft keine erhebliche Einschränkung ihrer Pläne.
Die KI-Verordnung wurde am 12. Juli 2024 veröffentlicht und sieht verschiedene Übergangsfrist zwischen dem 2. Februar 2025 bis zum 2. August 2027 bis zum vollständigen Inkrafttreten vor. Bestimmte Verbote, etwa für manipulative KI und soziale Bewertungssysteme wie Social Scoring, gelten bspw. bereits ab dem 2. Februar 2025. Auch die für Unternehmen wichtige Pflicht zur Schulung der Mitarbeiter und zum Aufbau von KI-Kompetenz gilt ab diesem Zeitpunkt.
Auch weniger riskante KI-Systemen unterliegen teilweise gesetzlichen Pflichten, bspw. der Transparenzpflicht: Betreiber:innen müssen User:innen beispielsweise darüber aufklären, wenn sie mit einem KI-Chatbot interagieren und nicht mit einem Menschen. Entwickler:innen von KI-Modellen mit einem allgemeinen Verwendungszweck ("General Purpose AI") müssen zudem eine umfassende technische Dokumentation und Gebrauchsanweisungen bereitstellen.
TÜV NORD – Ihr Partner für berufliche Weiterbildungen
- Über 900 qualifizierte Referentinnen und Referenten geben ihr Know-how in über 520 verschiedenen Seminarthemen täglich an Sie weiter.
- Wir bieten Ihnen volle Flexibilität. Entscheiden Sie selbst, ob Sie an unserem OnlineCampus, einer Präsenzschulung oder an einer für Sie konzipierten Inhouse-Schulung teilnehmen möchten.
- Wir stehen für Qualität. Unsere Zertifikate und Bescheinigungen sind Qualitätssiegel für Sie und Ihr Unternehmen.
Unsere Seminar-Empfehlungen für Sie
Künstliche Intelligenz (KI) revolutioniert die Informationssicherheit und bietet Unternehmen entscheidende Vorteile, um komplexe Cyberbedrohungen zu bewältigen. Im Seminar KI und Cybersecurity erfahren Sie, wie Sie KI gezielt einsetzen können, um Cyberbedrohungen effektiv zu begegnen, IT-Sicherheitsprozesse zu automatisieren und die KI-Governance in Ihrem Unternehmen zu stärken. Sie erfahren, wie KI Sie dabei unterstützen kann, große Datenmengen zu analysieren, Anomalien zu identifizieren, bekannte und unbekannte Bedrohungen in Echtzeit zu erkennen und Sicherheitsvorfälle zu bewerten
Im Seminar KI-Management erhalten Sie einen fundierten Überblick über die technischen, rechtlichen und organisatorischen Aspekte von Künstlicher Intelligenz (KI). Sie lernen die wesentlichen Risiken und Chancen des Einsatzes von KI-Systemen kennen.
Die Teilnahmebescheinigung dient als Nachweis zum Erwerb von KI-Kompetenz im Sinne von Art. 4 der KI-Verordnung.
Diese Ausbildung für KI-Spezialisten soll gewährleisten, dass KI-Vorhaben gemäß den Anforderungen der KI-Verordnung und weiterer Regelungen konzipiert, eingeführt, durchgeführt und dokumentiert werden. Zusätzlich erfahren Sie praxisnah, wie Sie als zertifizierte KI-Spezialistin bzw. zertifizierter KI-Spezialist ein fundiertes rechtliches, technisches und organisatorisches Wissen aufbauen.
Best Practices für ein zukunftssicheres KI-Management
Für jedes Unternehmen ist es sinnvoll, eine individuelle Herangehensweise an die Einführung von KI-Systemen zu erarbeiten, bspw. abhängig von der Branche und dem Geschäftsmodell. Dennoch lassen sich zentrale Best Practices nennen, die als Grundlage für den zielgerichteten Einsatz von KI-Systemen dienen können.
Artikel 4 der KI-Verordnung verlangt Schulungen und den Aufbau von KI-Kompetenz für alle Mitarbeitenden, die KI-Systeme nutzen. Aber auch losgelöst davon hält Dr. Ralf Kollmann entsprechende Weiterbildungen für sinnvoll. Die Belegschaft benötigt beispielsweise grundlegende Kenntnisse beim Einsatz der Technologie, während Fachkräfte und IT-Leitungen tiefere Einblicke erhalten sollten. Führungskräfte brauchen nicht unbedingt ein tiefes technisches Detailwissen, sollten aber ein Verständnis für die wesentlichen Risiken und die technischen sowie unternehmerischen Potenziale und Chancen und die möglichen Auswirkungen auf das eigene Unternehmen entwickeln.
Unternehmen sollten festlegen, wie der Einsatz von KI in ihre IT-Landschaft passt und welche Einsatzbereiche sinnvoll sind. Workshops helfen, das Geschäftsmodell zu analysieren, geeignete Use Cases zu identifizieren und eine tragfähige KI-Strategie zu entwickeln, die sich nahtlos ins Unternehmen integriert. Der Experte vergleicht dies mit einem Hausbau. „Kein Mensch würde den Bau eines Hauses ohne die sorgfältige Planung eines Architekten beginnen.“ Ähnliches gilt bei der KI-Integration – und darüber hinaus auch generell beim Aufbau von IT-Systemen.
Datenschutz und Informationssicherheit sind zentrale Herausforderungen beim KI-Einsatz – die Geschäftsführung sollte frühzeitig Schutzmaßnahmen implementieren und ein Managementsystem etablieren, das Datenschutz, IT-Sicherheit und KI-Compliance vereint. Frühzeitiges Handeln lohnt sich hier besonders: wenn eine effiziente Managementstruktur von Anfang an besteht, fällt es leichter, den Überblick zu behalten und Wildwuchs und unerkannte Risiken zu vermeiden.
ISO 42001 als Leitfaden
Neben den gesetzlichen Rahmenbedingungen zum Einsatz von KI können auch andere Rahmenwerke und Leitlinien zur Orientierung eingesetzt werden. Die Norm ISO 42001 beschreibt beispielsweise ein Rahmenwerk für den Aufbau eines KI-Managementsystems mit geeigneten Kontrollen für den KI-Betrieb. In mehreren KI-Seminaren der TÜV NORD Akademie wird die ISO 42001 bereits ergänzend zu den gesetzlichen Regulierungen berücksichtigt. Besonders Firmen, die bereits mit ISO 9001 für Qualitätsmanagement oder ISO 27001 für Informationssicherheitsmanagement gearbeitet haben, profitieren von der ähnlichen Systematik. Der Experte empfiehlt, die Norm als Orientierung zu nutzen, um relevante Themen zu identifizieren und die erforderlichen Umsetzungsschritte zu planen und einzuleiten.
Gefahrenpotenzialen aktiv und durch ständige Weiterentwicklung begegnen
Dr. Ralf Kollmann betont schließlich, dass beim Betrieb von KI-Systemen – ebenso wie in der Informationssicherheit – eine kontinuierliche Weiterentwicklung der Schutzmaßnahmen und Kontrollen unerlässlich ist. Er verweist auf den bekannten Plan-Do-Check-Act-Zyklus (PDCA), der eine kontinuierliche Prüfung und Weiterentwicklung beschreibt. „Nach der Umsetzung eines initialen Maßnahmenplans beginnt ein Regelbetrieb, in welchem diese kontinuierliche Entwicklung fest verankert sein sollte“, so der Experte. Ein Regelzyklus fungiere als Schutzmaßnahme und sorge dafür, dass die damit betrauten Mitarbeitenden auch ohne Anlass regelmäßig prüfen, ob frühere Entscheidungen noch gültig sind oder aus aktuellen Entwicklungen neue Risiken entstehen. Entscheidend sei eine kontinuierliche Auseinandersetzung mit Veränderungen und deren Einfluss auf das Unternehmen und die klare Festlegung von Verantwortlichkeiten und Zuständigkeiten.
Ihre Ansprechpartnerin
Portfoliomanagement
II. Hagen 7, 45127 Essen
Tel.: +49 201 3195544
dkirmse@tuev-nord.de