Können Sie sicher etwas bauen, das Sie töten könnte?

„KI wird höchstwahrscheinlich zum Ende der Welt führen, aber in der Zwischenzeit wird es großartige Unternehmen geben“, sagte OpenAI-CEO Sam Altman sagte einmal. Er machte Witze. Wahrscheinlich. Meistens. Es ist ein wenig schwer zu sagen.

Altmans Unternehmen OpenAI sammelt Spenden unvorstellbare Summen um leistungsstarke, bahnbrechende KI-Systeme zu bauen. „Die Risiken könnten außergewöhnlich sein“, sagte er schrieb in einem Blogbeitrag vom Februar. „Eine falsch ausgerichtete superintelligente AGI könnte der Welt schweren Schaden zufügen; Ein autokratisches Regime mit entscheidender Führung durch die Superintelligenz könnte das auch tun.“ Sein allgemeines Fazit lautet jedoch: OpenAI sollte voranschreiten.

Immer wenn Altman über existenzielle Risiken durch KI spricht, kommt eine grundsätzliche Kuriosität zum Vorschein, und das war bei ihm besonders auffällig aktuellster Blogbeitrag„Governance of Superintelligence“, in dem auch OpenAI-Präsident Greg Brockman und Chefwissenschaftler Ilya Sutskever als Co-Autoren aufgeführt sind.

Es ist irgendwie seltsam zu glauben, dass das, was man tut, jeden töten könnte, es aber trotzdem tut

Das Merkwürdige ist Folgendes: Altman ist nicht ganz davon überzeugt, dass KI das Leben auf der Erde zerstören könnte, aber er nimmt es sehr ernst. Ein Großteil seines Schreibens und Denkens dreht sich um Bedenken hinsichtlich der KI-Sicherheit. Seine Blog-Beiträge verweisen auf angesehene KI-Sicherheitsdenker wie Holden Karnofsky und tauchen oft in ziemlich tiefgreifende Meinungsverschiedenheiten mit Sicherheitsforschern über Fragen ein, etwa wie sich die Hardwarekosten an dem Punkt, an dem leistungsstarke Systeme zum ersten Mal entwickelt werden, auf die „Startgeschwindigkeit“ auswirken – die Geschwindigkeit, mit der Verbesserungen leistungsfähiger KI-Systeme die Entwicklung leistungsfähigerer KI-Systeme vorantreiben.

Zumindest ist es schwer, ihm Unwissenheit vorzuwerfen.

Aber viele Menschen würden wahrscheinlich damit aufhören, wenn sie glauben würden, dass ihre Arbeit ein erhebliches Potenzial hat, die Welt zu zerstören. Geoffrey Hinton verließ seine Rolle bei Google, als er davon überzeugt war, dass die von KI ausgehenden Gefahren real und möglicherweise unmittelbar bevorstehen. Führende Persönlichkeiten der KI habe angerufen für eine Verlangsamung, während wir herausfinden, wie wir Systeme auf Sicherheit bewerten und ihre Entwicklung steuern können.

Altman hat gesagt, dass OpenAI langsamer werden oder seinen Kurs ändern wird, wenn es erkennt, dass es auf eine Katastrophe zusteuert. Aber im Moment ist er der Meinung, dass, auch wenn jeder an fortgeschrittener KI sterben könnte, der beste Weg mit voller Kraft voranschreitet, weil eine frühere KI-Entwicklung sie sicherer macht und weil andere, schlechtere Akteure sie anders entwickeln könnten.

Für mich scheint Altman eine seltsame Gratwanderung zu sein. Einige seiner Mitmenschen denken, dass KI-Sicherheit grundsätzlich unseriös ist und kein Problem darstellen wird. Andere meinen, Sicherheit sei das größte Problem, mit dem die Menschheit jemals konfrontiert war. OpenAI möchte keines von beiden verprellen. (Sie möchte auch unfassbare Summen verdienen und nicht die Welt zerstören.) Es ist kein einfacher Balanceakt.

„Einige Leute im KI-Bereich halten die Risiken von AGI (und Nachfolgesystemen) für fiktiv“, heißt es im Blogbeitrag vom Februar sagt. „Wir würden uns freuen, wenn sie sich als richtig erweisen würden, aber wir werden so agieren, als seien diese Risiken existenziell.“

Und da die Dynamik in Richtung einer Art Regulierung der KI zunimmt, wächst die Befürchtung – insbesondere im technikoptimistischen und futuristischen Silicon Valley –, dass eine vage drohende Untergangsgefahr zu wertvollen, wichtigen Technologien führen wird, die die menschliche Verfassung erheblich verbessern könnten im Keim erstickt werden.

Es gibt einige echte Kompromisse zwischen der Gewährleistung einer sicheren KI-Entwicklung und der möglichst schnellen Entwicklung. Eine angemessene Regulierungspolitik, um zu erkennen, ob KI-Systeme extrem gefährlich sind, wird wahrscheinlich die Kosten für den Aufbau leistungsstarker KI-Systeme erhöhen und dazu führen, dass wir langsamer vorgehen, je gefährlicher unsere Systeme werden. Ich glaube nicht, dass es einen Ausweg aus diesem Kompromiss gänzlich gibt. Aber es ist natürlich auch möglich, dass die Regulierung weitaus ineffizienter als nötig ist und viel Wert mit minimalen Auswirkungen auf die Sicherheit vernichtet.

Ich versuche, alle bei Laune zu halten, wenn es um die Regulierung geht

Der neueste OpenAI-Blogbeitrag liest sich für mich als Versuch von Altman und dem Rest der OpenAI-Führung, erneut einen Drahtseilakt zu vollführen: eine Regulierung zu fordern, die ihrer Meinung nach ausreicht, um das buchstäbliche Ende des Lebens auf der Erde (und anderer Katastrophen) zu verhindern. , und zur Abwehr Regulierung, von der sie glauben, dass sie stumpf, kostspielig und schlecht für die Welt ist.

Aus diesem Grund enthält die sogenannte Governance-Roadmap für Superintelligenz Absätze mit der Warnung: „Die heutigen Systeme werden einen enormen Wert in der Welt schaffen, und obwohl sie Risiken bergen, scheint das Ausmaß dieser Risiken mit anderen Internet-Technologien vergleichbar zu sein, und die wahrscheinlichen Ansätze der Gesellschaft scheinen angemessen.“ .

„Im Gegensatz dazu werden die Systeme, um die wir uns Sorgen machen, über eine Leistung verfügen, die jede bisher geschaffene Technologie übersteigt, und wir sollten darauf achten, den Fokus auf sie nicht zu verwässern, indem wir ähnliche Standards auf Technologien anwenden, die weit unter dieser Grenze liegen.“

Zynischerweise heißt es hier nur: „Regulieren Sie uns zu einem unbestimmten Zeitpunkt in der Zukunft, nicht heute!“ Etwas weniger zynisch denke ich, dass beide Gefühle, die Altman hier zu vermitteln versucht, im Silicon Valley derzeit tief verwurzelt sind. Die Menschen haben Angst, dass KI etwas Mächtiges, Gefährliches und Weltveränderndes ist, das es wert ist, anders angegangen zu werden als ein typisches Consumer-Software-Startup – Und dass viele mögliche Regulierungsvorschläge den menschlichen Wohlstand bereits in der Wiege ersticken würden.

Aber das Problem bei „Regulierung der gefährlichen, leistungsstarken zukünftigen KI-Systeme, nicht der heutigen sicheren“ besteht darin, dass es nicht wirklich klar ist, ob dies offensichtlich sein wird, da KI-Systeme, die mit unseren aktuellen Trainingstechniken entwickelt wurden, nur unzureichend verstanden werden wenn die „gefährlichen, mächtigen“ auftauchen – und es wird immer einen kommerziellen Anreiz geben zu sagen, dass ein System sicher ist, obwohl dies nicht der Fall ist.

Ich freue mich über konkrete Vorschläge, die Regulierung an bestimmte Fähigkeiten zu knüpfen: höhere Standards für Systeme, die groß angelegte unabhängige Aktionen durchführen können, Systeme, die äußerst manipulativ und überzeugend sind, Systeme, die Anweisungen für Terroranschläge geben können, und so weiter . Aber um irgendwohin zu gelangen, muss das Gespräch konkret werden. Was macht ein System leistungsfähig genug, um wichtig für die Regulierung zu sein? Woher kennen wir die Risiken heutiger Systeme und woher wissen wir, wann diese Risiken zu hoch werden, um toleriert zu werden? Darauf muss ein Plan zur „Governance der Superintelligenz“ antworten.