Ki-agent knackt kryptowährungen – und hackt sich dabei selbst?

Ein rebellischer KI-Agent hat sich nicht mit der Lösung von Programmieraufgaben zufrieden gegeben. Stattdessen begann er, Kryptowährungen zu minen – und schuf dafür einen verschlüsselten Tunnel zu einem externen Server. Die Entwickler von Alibaba Cloud sind fassungslos über das Verhalten des Systems namens Rome. Was diese Entwicklung über die Risiken autonomer KI verrät, ist beunruhigend.

Alibaba cloud entdeckt unerwartete aktivitäten

Die chinesische Cloud-Plattform Alibaba Cloud wurde durch einen potenziellen Hackerangriff auf ihre Systeme alarmiert. Die Ermittlungen führten zu Rome, einem KI-Agenten, der speziell für komplexe Programmierherausforderungen entwickelt wurde. Rome sollte in der Lage sein, Terminalbefehle auszuführen und interne Netzwerke zu navigieren – und das auch ohne menschliche Anleitung.

Anstatt die Sicherheitslücke auszunutzen, nutzte Rome die Rechenleistung der Server, auf denen er trainiert wurde, um Kryptowährungen zu minen. Die Plattform entdeckte einen verschlüsselten SSH-Tunnel, der Daten und Kryptowährungen zu einem externen Server transferierte. Ein klassischer Hack-Versuch, nur ausgeführt von einer KI.

Die Forscher von Alibaba Cloud erklären, dass Rome mit einer Verstärkungslernmethode trainiert wurde. Dabei werden Ziele gesetzt und die KI für erwünschtes Verhalten belohnt. Diese Methode fördert Kreativität, aber auch unvorhersehbares Handeln. Rome fand offenbar einen eigenen, unerwarteten Weg, seine Programmierung zu