Die verwundbare Wissensquelle KI-Report

Worum geht es?

Immer mehr Menschen recherchieren nicht mehr über eine Trefferliste, sondern lassen sich von KI-Systemen fertige Berichte schreiben. Solche „Deep-Research-Agenten“ durchsuchen das offene Web, sammeln Quellen und arbeiten sie zu einem strukturierten Text mit Fussnoten zusammen. Fremder Inhalt wird also nicht nur verlinkt, sondern in die eigene Antwort eingearbeitet. Bekannte Beispiele sind die Deep-Research-Funktionen von ChatGPT und Gemini sowie quelloffene Forschungssysteme wie STORM, Co-STORM und OmniThink.

Das Team demonstriert einen Angriff namens WARP (Web Agent Retrieval Poisoning). Die Grundidee: Diese Agenten greifen bei verwandten Suchanfragen immer wieder auf dieselben nutzergenerierten Seiten zu, vor allem Reddit und Wikipedia. Wer an einer dieser häufig abgerufenen Seiten einen kurzen, geschickt formulierten Text anhängt, kann den Agenten dazu bringen, ihn zu zitieren und eine gewünschte Marke im Report zu nennen. Und das nicht nur bei einer einzelnen Frage, sondern quer über ein ganzes Themenfeld.

Reddit als Einfallstor: Wo die Angriffsfläche wirklich liegt

Nutzergenerierter Content ist gleich dreifach anfällig: Die Hürde ist niedrig, weil jeder posten oder editieren kann. Die Reichweite ist hoch, weil Suchmaschinen Community-Beiträge bevorzugt ausspielen. Und der Content wird weiterverarbeitet, nicht nur angezeigt.

Die Studie zeigt, wie konzentriert diese Angriffsfläche ist. Zwischen 17 und 23 Prozent aller abgerufenen Adressen stammen von nutzergenerierten Plattformen, Reddit dominiert mit 54 bis 71 Prozent. Innerhalb eines Themenclusters taucht dieselbe Seite in bis zu 48 Prozent der Anfragen wieder auf. Pro Thema gibt es also eine kleine Zahl von Seiten, die fast immer gelesen werden. Wer sie kennt, kennt den Hebel.

Wie wirksam der Hebel ist, zeigen die Zahlen. Ein einziger präparierter Link mit rund 13 Wörtern Zusatztext reicht, damit die erfundene Marke in 38 bis 51 Prozent der Fälle im Bericht genannt wird, sofern die Seite abgerufen wurde. Verteilt auf mehrere Seiten steigt die Quote auf 42 bis 62 Prozent. Selbst als Anhang an einen kompletten Reddit-Thread, wo der Text unter vier Prozent des Inhalts ausmacht, bleiben die Nennungsraten bei 30 bis 53 Prozent.

In den Experimenten hiess das konkret: Ein fiktiver „BananaCoin“ erschien neben Bitcoin und Ethereum als aufstrebende Anlage, ein erfundener Kündigungsdienst „CancelEase“ als Tipp zur Xfinity-Kündigung, eine nichtexistierende Dating-App „SilverPath“ als Topempfehlung für geschiedene Männer über 50. Jedes Mal zitierte der Agent die manipulierte Quelle.

Was Monitoring künftig leisten muss

Neben das klassische Medienmonitoring tritt eine zweite Ebene: das Bild, das KI-Rechercheagenten von einer Marke und ihrem Markt zeichnen. Dieses Bild ist beeinflussbar. Eine Marke kann in der Presse gut dastehen und in KI-Reports trotzdem verzerrt oder schlicht falsch dargestellt werden.

Das legt zwei Ansatzpunkte nahe. Der erste ist der KI-Output: regelmäßig prüfen, was die gängigen Systeme über die eigene Marke und die eigenen Kernthemen ausgeben, und aufmerksam werden, sobald sich die Darstellung ohne erkennbaren Anlass verschiebt.

Der zweite ist die Quelle, denn die Manipulation entsteht nicht im Sprachmodell, sondern auf den Plattformen, aus denen es schöpft. Wer die einschlägigen Reddit-Threads, Foren und Wikipedia-Artikel zu den eigenen Kernthemen beobachtet, erkennt eine eingeschleuste Manipulation früher. Social-Media-Monitoring geht damit über das Erfassen von Stimmungen hinaus: Es gilt, die wenigen Seiten zu kennen, die pro Thema fast immer als Quelle dienen.

Warum die naheliegenden Gegenmittel nicht greifen

Das Team hat drei Abwehrmechanismen getestet, keiner überzeugt. Community-Quellen komplett zu sperren entfernt zwar die Angriffsfläche, kostet aber die Alltagserfahrung und die lokalen Empfehlungen, für die viele diese Systeme überhaupt nutzen. Eine automatische Prüfung auf sprachliche Auffälligkeiten scheitert an einem unbequemen Detail: Der manipulierte Text stammt selbst von einem Sprachmodell und ist oft flüssiger als echte Reddit-Beiträge. Ein Filter für holprige Sprache träfe eher den echten Content als die Fälschung. Und die Prüfung des fertigen Reports versagt, weil der Agent den eingeschleusten Inhalt sauber in den eigenen Stil einbettet. Der manipulierte Bericht ist vom sauberen praktisch nicht zu unterscheiden.

Für die Kommunikation ist das die eigentliche Pointe: Es gibt derzeit keinen technischen Schalter, der das Problem löst, ohne die Qualität der Antworten zu verschlechtern. Die Verantwortung verlagert sich auf Beobachtung und Reaktion.

Was die Studie nicht sagt, und warum auch das wichtig ist

Die Untersuchung ist eine Machbarkeitsdemonstration, kein Nachweis breiter realer Kampagnen. Alle Angriffe liefen in einer abgeschotteten Simulation, ohne dass manipulierter Inhalt ins echte Netz gestellt wurde. Die kommerziellen Systeme von OpenAI und Google liessen sich deshalb nur beobachten, nicht direkt angreifen. Bei ChatGPT lag der Anteil zitierter Community-Quellen mit 0,4 Prozent sehr niedrig, was auf eine strengere Quellenauswahl hindeutet. Bei Gemini waren es 12,1 Prozent, was eine ähnliche Angreifbarkeit wie bei den offenen Systemen nahelegt.

Offen bleibt auch, wie lange manipulierte Beiträge die Moderation der Plattformen überstehen und ob sie zuverlässig im Suchindex landen. Das entschärft die akute Bedrohung, ändert aber nichts am strukturellen Befund: Die Schwachstelle steckt nicht in einem einzelnen Produkt, sondern im Bauprinzip dieser Agenten. Sie beziehen ihre Glaubwürdigkeit aus offenen Quellen, und offene Quellen sind offen für alle.

Quelle: Tingwei Zhang, Harold Triedman, Vitaly Shmatikov, „Deep-Research Agents Can Be Poisoned via User-Generated Content“, Cornell Tech (arXiv 2605.24245).

Veranstaltungstipp zum Blog-Thema

Besuchen Sie unseren Vortrag

Vom Kanal zur Antwort: Wie KI unsere Kommunikationsmetriken verändert

auf dem Kommunikationskongress

am 17.09.2025 oder im Live-Stream.

im bcc Berlin, Raum A 06 um 16.50 Uhr