Wer haftet, wenn der Roboter irrt?

Der Unfall, den niemand angeordnet hat

Eine mittelständische Fertigungshalle, ein kollaborativer Roboter ohne Schutzzaun. Eines Vormittags schwenkt sein Arm einige Zentimeter weiter aus als sonst. Der Werker zieht die Hand gerade noch zurück, verletzt wird niemand. Die Sicherheitsingenieurin findet die Ursache: Ein Software-Update hat dem System erlaubt, seine Bewegungsbahnen anhand von Sensordaten selbst leicht anzupassen. Die neue Bahn lag innerhalb der Toleranzen. Gesehen und freigegeben hat sie dennoch niemand.

Genau hier beginnt das Problem. Hersteller, Softwareanbieter, Betrieb und im Zweifel sogar der Werker kommen als Verantwortliche in Frage, aber keiner hat die Bewegung entschieden. Unser Recht wurde für Maschinen gemacht, die tun, was ein Mensch ihnen vorher genau vorgegeben hat. Bei einem System, das sich nach der Auslieferung weiterentwickelt, verschwimmt diese klare Linie.

Vom Produkt zum lernenden System

Das klassische Produkthaftungsrecht geht von einem fertigen Gegenstand aus, der sich nach dem Verkauf kaum noch verändert. Embodied AI funktioniert anders: Entwickler legen Ziele und Grenzen fest, innerhalb derer das System selbst entscheidet. Sein Verhalten entsteht in Echtzeit aus Sensoren, Software, Foundation Model, Trainingsdaten und Umgebung. Viele Schäden sind deshalb keine klassischen Defekte mehr, sondern emergente Entscheidungen eines Systems, das in genau dieser Konstellation nie getestet wurde.

Die Liste möglicher Verantwortlicher wird dadurch länger: Hardware- und Sensorhersteller, Anbieter des Foundation Models, Softwareentwickler, Integrator, Betreiber, Wartung, Cloud-Anbieter und Datenlieferanten können an einem einzigen Vorfall beteiligt sein. Die neue EU-Produkthaftungsrichtlinie reagiert darauf und bezieht Software sowie Updates ausdrücklich ein. Die Verantwortung des Herstellers kann damit über den Verkaufszeitpunkt hinausreichen.

Europa reguliert früh

Warum so früh und so genau? Weil Embodied AI unmittelbar auf Gesundheit und Sicherheit wirkt. Ein Fehler in einem Textgenerator liefert eine falsche Antwort, ein Fehler in einem Pflegeroboter kann einen Menschen verletzen. Der AI Act verfolgt deshalb einen risikobasierten Ansatz. Für Hochrisiko-Systeme verlangt er unter anderem Risikomanagement über den gesamten Lebenszyklus, lückenlose Dokumentation, hohe Datenqualität, Cybersicherheit und angemessene menschliche Aufsicht.

Für Roboter entsteht kein einzelnes KI-Gesetz, sondern ein regulatorischer Stapel aus AI Act, Maschinenrecht, Produkthaftung, Datenschutz und Cybersicherheit, bei medizinischen Anwendungen kommt das Medizinprodukterecht hinzu. Unternehmen müssen Compliance deshalb von Anfang an mitdenken. Der Zeitplan der Verordnung wurde bereits mehrfach nachjustiert, ein Zeichen dafür, wie dicht Gesetzgebung und Technik inzwischen beieinanderliegen.

Für das Buch habe ich mit einem der Architekten des AI Act gesprochen und ihn gebeten, meiner eher wohlwollenden Sicht auf den europäischen Ansatz zu widersprechen. Das hat er getan, deutlicher, als ich erwartet hatte. Aus seiner Sicht ist ein Problem bis heute ungelöst: Ein horizontales Gesetz muss sich in viele bestehende Fachgesetze einfügen, ohne dort Schaden anzurichten.

Das Kontrollproblem

Nach einem Unfall fragen alle dasselbe: Warum hat das System so entschieden? Moderne Modelle bestehen aus Milliarden Parametern, ihre Entscheidungen lassen sich selten vollständig rekonstruieren. Vollständige Transparenz wird es voraussichtlich nie geben, ausreichende Nachvollziehbarkeit schon. Entscheidungsprotokolle, Visualisierungen und Simulationen alternativer Verläufe sind dafür die Werkzeuge.

Das hat rechtliche Folgen: Gerichte brauchen Tatsachen, Versicherungen müssen Risiken bewerten, Hersteller müssen belegen können, welche Softwareversion und welche Sicherheitsmechanismen im entscheidenden Moment aktiv waren. Logging und Beweissicherung werden so zu einem Teil der Produktqualität.

Vertrauen als Voraussetzung

Wir vertrauen täglich Technik, die kaum jemand im Detail versteht, vom Flugzeug bis zum MRT. Möglich ist das, weil Zulassung, Prüfung, Aufsicht und Haftung dahinterstehen. Dasselbe wird für Roboter gelten. Vertrauen entsteht dabei nicht durch Perfektion, sondern dadurch, dass Fehler offen benannt und korrigiert werden.

Für Unternehmen wird dieses Vertrauen zum Wettbewerbsfaktor. Sie verkaufen künftig nicht nur intelligente Roboter, sondern Sicherheit und Verantwortung gleich mit.

„Haftung ist nicht Bürokratie, sondern die gesellschaftliche Grundlage für Vertrauen in Technologie.“Prof. Michael Schwertel, „Wenn KI einen Körper bekommt“ (Carl Hanser Verlag)

Was bleibt

• Autonome Systeme treffen Entscheidungen, die kein Mensch in dieser Form vorgesehen hat. Verantwortung verteilt sich auf viele Beteiligte.
• Zertifizierung wird von einem einmaligen Ereignis zu einer Aufgabe über den gesamten Lebenszyklus eines Systems.
• Nachvollziehbarkeit, Dokumentation und Logging gewinnen an Bedeutung, weil vollständige Kontrolle unmöglich wird.
• Nicht perfekte Sicherheit schafft Akzeptanz, sondern verlässliche Regeln.