Die Modellkarte von Gemini Robotics ER 2 untersagt den sicherheitskritischen Einsatz

Unter der zulässigen Verwendung fordert die Modellkarte Nutzer auf, vor dem Einsatz der Robotikmodelle in produktiven, kommerziellen oder öffentlichen Umgebungen Zurückhaltung zu üben und sie nicht für sicherheitskritische Anwendungen oder Arbeiten zu verwenden. Genannt werden Gesundheitswesen und Transport und allgemeiner Umgebungen, in denen Sicherheitsvorkehrungen wesentlich sind und eine Fehlfunktion vernünftigerweise vorhersehbar zu Tod, Personenschaden oder Sachschaden führen könnte.

Die API-Dokumentation ist deutlich milder formuliert. Sie warnt, dass generative Modelle Fehler machen können, dass physische Roboter Schaden anrichten können, dass Halluzinationen möglich sind und dass die Verantwortung beim Nutzer liegt. Ein Verbot spricht sie nicht aus.

Halten Sie beide Dokumente auseinander, wenn Sie sie zitieren, denn Anbieter und Berater vermischen sie regelmäßig. Das Verbot trägt die Modellkarte. Die Warnung trägt die API-Dokumentation. Wer die mildere Formulierung heranzieht, um einen Flurpiloten zu begründen, zitiert das falsche Dokument.

Google berichtet, dass ER 2 seinen Vorgänger bei Safety Instruction Following und Human Proximity übertrifft und einen humanoiden Roboter anhält, wenn eine Person in der Nähe ist, und erst wieder aufnimmt, wenn der Bereich frei ist. Das ist eine echte Verbesserung und sie ist es wert, sie zu haben.

Eine Sicherheitsfunktion ist es nicht. Die Unterscheidung ist keine Wortklauberei, sie ist die Grundlage des gesamten Maschinenrechts. Eine Sicherheitsfunktion muss sich jedes Mal gleich verhalten, muss in eine definierte Richtung versagen und muss gegenüber Dritten nachweisbar sein. Ein probabilistisches Modell, das häufiger richtig liegt als sein Vorgänger, erfüllt keine dieser Anforderungen, und die Zahl, auf die es ankäme, nämlich die Restfehlerrate unter ungünstigen Bedingungen, ist nicht die Zahl, die veröffentlicht wird.

Praktisch heißt das: Das Modell darf vorschlagen, dass eine Maschine anhält. Es darf nicht dasjenige sein, das sie anhält. Das Anhalten übernimmt eine zertifizierte Schutzeinrichtung, die die Maschine ohnehin angehalten hätte.

Für fahrerlose Flurförderzeuge und Transportroboter ist EN ISO 3691-4 seit Mai 2024 die harmonisierte Typ-C-Norm, und sie verlangt Personendetektion in Performance Level d nach ISO 13849. Das ist die Anforderung, die eine Maschine auf einem Flur erfüllen muss, auf dem Menschen gehen.

Ein verbreiteter Marktfehler ist es, stattdessen ISO 13482 zu zitieren. ISO 13482 betrifft Roboter mit körperlichem Personenkontakt, das ist eine andere Kategorie. Anbieter führen sie regelmäßig für Transportmaschinen an, und es lohnt sich zu prüfen, welche Norm ein Lieferant für sich reklamiert, denn die Antwort verrät, wie sorgfältig er seine eigene Dokumentation gelesen hat.

ISO 10218, 2025 überarbeitet, regelt Industrieroboter und ist wiederum eine dritte Kategorie. Keine dieser Normen sagt irgendetwas über einen Cloud-Planer aus, und genau deshalb kann der Planer nicht Teil des Sicherheitsnachweises sein.

Die Maschinenverordnung (EU) 2023/1230 gilt ab dem 20. Januar 2027 und ersetzt die Richtlinie 2006/42/EG. Maschinen, die vorher in Verkehr gebracht wurden, behalten ihren Status. Die Regelung, auf die es für jeden ankommt, der einen KI-Planer an vorhandene Hardware anschließt, ist die Behandlung der wesentlichen Veränderung.

Als wesentlich gilt eine Veränderung, wenn eine Maschine nach dem Inverkehrbringen physisch oder digital in einer Weise verändert wird, die der Hersteller nicht vorgesehen hat, und wenn diese Veränderung eine neue Gefährdung schafft oder ein bestehendes Risiko so erhöht, dass neue Schutzmaßnahmen erforderlich werden. Wer eine wesentliche Veränderung vornimmt, gilt rechtlich als Hersteller und übernimmt die entsprechenden Pflichten, einschließlich Konformitätsbewertung und CE-Kennzeichnung für die betroffenen Aspekte.

Einen externen Planer anzuschließen, der verändert, was eine Maschine tut, wohin sie fährt oder unter welchen Bedingungen sie arbeitet, ist genau die Art von Änderung, die diese Frage aufwirft. Sie löst sie nicht automatisch aus. Aber sie muss bewusst und schriftlich beantwortet werden, vor einem Pilotprojekt und nicht nach einem Vorfall.

Nichts davon spricht gegen ein Pilotprojekt. Es spricht dafür, die Grenzen ausdrücklich zu ziehen, weil die Beteiligten sehr unterschiedlich exponiert sind.

• Modellanbieter. Liefert einen Planer und lehnt über die Modellkarte die Verantwortung für sicherheitskritischen Einsatz ausdrücklich ab.
• Roboterhersteller. Trägt die CE-Konformität der Maschine im Auslieferungszustand einschließlich ihrer Schutzeinrichtungen.
• Integrator. Verbindet Planer, Flottenebene und Gebäudesysteme und muss sicherstellen, dass diese Verbindung den Sicherheitsnachweis nicht verändert.
• Betreiber. Betreibt die Maschine, trägt die Arbeitsschutzpflicht und ist derjenige, den der Betriebsrat fragen wird.

Im deutschsprachigen Betrieb kommt die Betriebsratsfrage früh, und sie dreht sich meist um Video. Ein Planer, der über Live-Kamerabilder schließt, verarbeitet Aufnahmen von Beschäftigten bei der Arbeit, und das berührt die Mitbestimmung nach § 87 Abs. 1 Nr. 6 BetrVG zu technischen Überwachungseinrichtungen. Das selbst anzusprechen, bevor es entdeckt wird, verläuft erfahrungsgemäß erheblich besser als die Alternative.

werob arbeitet als unabhängiger Systemintegrator in Deutschland, Österreich und der Schweiz, und dazu gehört, deutlich zu sagen, was eine Technologie noch nicht tragen kann. Unser Beitrag zur Orchestrierung gemischter Flotten behandelt die architektonische Seite derselben Veröffentlichung.