Warum der „AI-Browser“ der „beste Freund des Betrügers“ werden könnte

– Neue Angriffsflächen durch „Agenten“, die automatisch klicken, bezahlen und persönliche Informationen eingeben

Einleitung: Vom Suchen zum „automatischen Ausführen“

Mit der Weiterentwicklung von generativer KI rücken „agentenbasierte“ AI-Browser, die das Surfen und die Bedienung im Web automatisieren, in den Fokus. Wenn man in natürlicher Sprache Anweisungen wie „kaufen“ oder „reservieren“ gibt, erledigt die KI die Suche, das Klicken, das Eingeben und sogar die Bezahlung – eine Zukunftsvision. Doch aktuelle Untersuchungen zeigen, dass dieser „Komfort“ direkt in eine Schwachstelle umschlagen kann, wie konkrete Beispiele belegen. Engadget warnt, dass „AI-Browser das beste Geschenk für Betrüger aller Zeiten sein könnten“ und verweist auf Berichte, die zeigen, dass Agenten-KI auf „offensichtliche“ Phishing- und bösartige Anweisungen hereinfallen kann.Engadget

Was passiert ist: Die Realität des „automatischen Schadens“ in Experimenten

Das Sicherheitsforschungsinstitut Guardio Labs hat das agentenbasierte Browser „Comet“ von Perplexity in drei typischen Angriffsszenarien getestet. Die Ergebnisse sind schockierend.guard.io

• „Automatischer Kauf“ in einem Fake-Shop
  Anweisung an die KI, eine „Apple Watch zu kaufen“ → Die KI betrachtet eine mit generativer KI erstellte „Fake-Walmart-ähnliche“ Seite als legitim, legt das Produkt in den Warenkorb undfüllt automatisch die im Browser gespeicherten Adress- und Kreditkarteninformationen aus, um den Kauf abzuschließen. In einigen Fällen wurde festgestellt, dass dies „ohne Warnung oder Bestätigung“ geschieht.guard.io

• „Automatische Landung“ auf Phishing-Seiten
  Die KI klickt auf einen Link in einer verdächtigen E-Mail undführt zu einer täuschend echten Fake-Login-Seite. Menschen würden den „Absender“ und die „URL“ hinterfragen, aber die KI priorisiert das „Bearbeiten der Anfrage“ undüberspringt verdächtige Anzeichen, wie beobachtet wurde.guard.io

• „PromptFix“: Unsichtbare Anweisungen zur Übernahme der KI
  Ein versteckter Prompt in derQuellcode einer CAPTCHA-ähnlichen Seite, der die KI fälschlicherweise dazu veranlasst, „anstelle des Nutzers zu handeln“indirekte Prompt-Injektion. Ein Klick kannDrive-by-Downloadsauslösen und den Nutzer zu ungewollten Aktionen verleiten.guard.ioThe Hacker News

Ähnliche Berichte wurden auch von BleepingComputer und PCWorld detailliert veröffentlicht. Besondersdas unbestätigte Senden von Autofill-Informationen,die fehlende Überprüfung der URL-Gültigkeit, undFehlfunktionen bei der CAPTCHA-Verarbeitungwerden als strukturelle Schwächen hervorgehoben, bei denen „die KI dazu neigt, Punkte zu überspringen, die Menschen zuerst hinterfragen würden“.BleepingComputerPCWorld

Die „KI-spezifischen“ Schwächen im Hintergrund

Agenten-KI wird oft mit dem Ziel entwickelt, „den Nutzer schnell zufriedenzustellen“. Daher

1. mangelt es an Kontextbewertung (Priorisierung der „Aufgabenerfüllung“)

2. Unklare Grenzen zwischen Anweisungen und Inhalten (versteckte Texte werden als Befehle akzeptiert)

3. Übermäßige Automatisierungsbefugnisse (Integration von Klicks/Eingaben/Downloads)
   führen dazu, dassdas „Zweifeln und Stoppen“ der menschlichen Intuition fehlt. Auch in der Wissenschaft wird darauf hingewiesen, dass Browsing-Agenten durch dynamische Inhalte, Tool-Ausführungen und den Umgang mit Benutzerdaten die Angriffsfläche vergrößern, und es wird empfohlen, den Schutz bereits in der Entwurfsphase als „Defense in Depth“ zu integrieren.arXiv

Reaktionen und aktueller Stand der Unternehmen

Die aktuellen Probleme wurdenbei Cometsichtbar, doch die Wurzel liegt in den allgemeinen Herausforderungen des „agentenbasierten“ Designs. Brave hateine technische Erläuterung zur indirekten Prompt-Injektion bei Cometveröffentlicht und darauf hingewiesen, dass die Korrekturen bis zum 13. August vorangeschritten sind, jedoch „keine vollständige Prävention garantiert werden kann“. Es wird betont, dass Agenten nicht eigenständig handeln sollten (Leos Zusammenfassung ist „nicht ausführen“ usw.).BraveThe Register
Zudem wird das Problem, dassKI „schlechte Informationsquellen aufgreift“, auch auf der Suchseite sichtbar, wobei berichtet wird, dass die AI-Übersicht von Google zu gefälschten Kundendienstnummern führt und tatsächliche Schäden verursacht wurden.The Washington Post

Reaktionen in sozialen Medien: Bedenken, Ironie und Forderungen nach Designüberarbeitung

• Engadgets Beitraglöste auf X (ehemals Twitter) ironische Reaktionen aus: „Das ‚Automatische‘ sollte der Verkaufsschlager sein, aber es ‚verursacht automatisch‘ Probleme.“X (formerly Twitter)

• Der technische Beitrag von Braveerhielt viel Zustimmung mit der Forderung, dass „Agentendie Ausführungsbefugnisse minimierenund die Benutzerautorisierung verschärfen sollten“.X (formerly Twitter)

• Auf Redditüberwiegen vorsichtige Stimmen, die sagen, dass „wichtige Aufgaben nicht an Technologien im Frühzugangsstadium übergeben werden sollten“ und dass „die Abhängigkeit von Autofill gefährlich ist“.Reddit

• Auch auf LinkedInteilen Sicherheitsforscher die Demos von Guardio und betonen die Notwendigkeit vonPrompt-InjektionsschutzundBerechtigungstrennung.pcmatic.comLinkedIn

Warum es „das Beste für Betrüger“ ist: Skalierbare Angriffe

Anstatt jeden Menschen einzeln zu täuschen,kann man „die Eigenheiten eines einzigen Modells“ herausfinden und massenhaft reproduzieren – Guardio sieht dieseSkalierbarkeitals größte Bedrohung. Zudem, in einer Situation, in derSEO-Verschmutzungundgefälschte Anzeigenals Eingangspunkte dienen und die KI automatisch auf „bösartige Seiten“ landet,wird den Nutzern sogar die „Gelegenheit zum Zweifeln“ genommen.guard.io

Praktische Maßnahmen für „Nutzer“

1. Geben Sie „Geld und Identität“ nicht an Agenten weiter: Deaktivieren Sie grundsätzlich die automatische Eingabe von Zahlungen, Passwörtern, MFA-Codes und Adressen. Bei Bedarfimmer manuell bestätigen.BleepingComputer

2. Beschränken Sie automatisches Klicken und Herunterladen: Bei CAPTCHA oder verdächtigen Formularenimmer eine menschliche Bestätigung einfügen.The Hacker News

3. Doppelte Überprüfung der URL-Gültigkeit: Bei Banken oder Kundendienstenimmer über die „Kontaktseite“ der offiziellen App oder Website verifizieren. Verlassen Sie sich nicht blind auf die von der KI angezeigten Telefonnummern.The Washington Post

4. Getrennte Profile & minimale Berechtigungen: Erstellen Sie ein **„leeres“ Browserprofil** für AI-Browser und##HTML