Entwickeln sich gesellschaftliche und technische Rahmenbedingungen weiter, muss das Recht neue Fragen beantworten. Die rechtliche Entwicklung hinkt den Anwendungen aber naturgemäß hinterher.
In der Gesundheits- und Sozialwirtschaft steht der Einsatz von künstlicher Intelligenz (KI) noch am Anfang, die Entwicklung ist jedoch rasant. Schon jetzt entstehen konkrete Anwendungsfälle – und damit rechtliche Risiken.
In Krankenhäusern unterstützen KI-Systeme etwa Diagnosen oder Dokumentation. In Einrichtungen der Eingliederungshilfe oder Pflege helfen KI-Tools bei Personaleinsatz und Leistungsdokumentation. Im Vergleich zu konventioneller Software ergeben sich Besonderheiten. Die Leistung von KI kann über eine reine „Werkzeugfunktion“ hinausgehen, so dass sich das Ergebnis nicht immer als rein menschliche Leistung darstellt.
Hinzu kommt ein Transparenzproblem. Anwender:innen wissen oft nicht genau, auf welche Daten die KI zugreift und nach welchen Kriterien sie Entscheidungen vorbereitet. Die Verarbeitung eingegebener Daten erfolgt häufig auf externen Servern. Die Daten können dort gespeichert und zum Training der KI genutzt werden; die Auswirkungen der Eingabe sind dann kaum kontrollierbar. Die Arbeitsergebnisse von KI sind zudem nicht fehlerfrei. In der Praxis neigen Anwender:innen dazu, schlüssige Ausgaben als richtig zu unterstellen. Gleichzeitig hängt die Qualität der Ergebnisse stark von der Eingabe ab.
Für die Gesundheits- und Sozialwirtschaft stellen sich daher vor allem folgende Fragen: Darf die Organisation KI im geplanten Szenario einsetzen? Dürfen bestimmte, auch sensible personenbezogene Daten in die KI eingegeben werden? Wie sind Mitarbeiter:innen anzuleiten und zu schulen? Wer haftet für fehlerhafte Entscheidungen, wenn diese auf den Einsatz von KI zurückgehen?
Rechtlich gibt es keinen allgemeinen Erlaubnisvorbehalt für KI. Meist lautet die Frage nicht, ob, sondern wie und unter welchen Bedingungen der Einsatz zulässig ist. Dabei sind die Vorgaben der Verordnung (EU) 2024/1689 über künstliche Intelligenz zu beachten. Für automatisierte Entscheidungen gelten enge Grenzen (vgl. Art. 22 DS-GVO); Diskriminierungsrisiken sind zu berücksichtigen, etwa wenn KI-Ergebnisse für Personalentscheidungen oder Leistungsgewährungen genutzt werden.
Der Datenschutz gebietet besondere Vorsicht. Personenbezogene Daten dürfen erst nach Prüfung der datenschutzrechtlichen Zulässigkeit im konkreten Fall (z. B. Verwendungszweck, Auslandsübermittlung, vertragliche Grundlage) eingegeben werden. Wer KI einsetzt, bleibt in der Regel für die Ergebnisse verantwortlich – auch wenn daneben eine Haftung des KI-Anbieters bestehen kann. Die Compliance-Pflichten erfordern es, den Einsatz von KI bewusst zu steuern.
Organisationen müssen wissen, welche KI-Systeme wo eingesetzt werden, welche Daten verarbeitet werden und welche Grenzen gelten. Die Qualifikation der Mitarbeiter:innen ist sicherzustellen; auch ihre Rechte beim Einsatz von KI sind zu beachten. Es gilt, anwenderseitigen „Wildwuchs“ zu vermeiden. Gerne unterstützen wir Sie dabei. Jetzt Kontakt aufnehmen!