Wie Cloudflare und OpenAI die Suche nach Inhalten mit KI verbessern

Die eigene Website für KI zu optimieren, bringt wenig, wenn KI sie gar nicht finden kann. Vielleicht steht die Antwort auf eine bestimmte Frage bereits auf Ihrer Website. Das kann eine Installationsanleitung sein, an der Sie eine ganze Woche gearbeitet haben. Oder ein Erfahrungsbericht aus erster Hand über die Nutzung eines Produkts, der genau die Informationen enthält, die für eine Kaufentscheidung wichtig sind. Da sich immer mehr Menschen mit ihren Fragen an KI wenden, ist es wichtig, dass diese Systeme Ihre Inhalte finden, korrekt wiedergeben und interessierte Nutzer auf Ihre Website aufmerksam machen. Gleichzeitig möchten Sie selbst bestimmen können, wie diese Systeme auf Ihre Website zugreifen.

Vor diesem Hintergrund haben Cloudflare und OpenAI im Juli 2026​ ein gemeinsames Pilotforschungsprojekt gestartet. Wir wollten herausfinden, ob Signale aus dem Cloudflare-Netzwerk ChatGPT-Nutzern dabei helfen können, neue Inhalte effizienter zu entdecken.

Jetzt liegen die ersten Ergebnisse vor. Und sie zeigen deutlich: Ja, das funktioniert. Durch das Pilotprojekt konnten zahlreiche Webseiten, die OpenAI zuvor nicht bekannt waren, in den Suchindex aufgenommen werden. ChatGPT stehen damit mehr Quellen zur Verfügung, um Nutzern hilfreiche und aktuelle Informationen bereitzustellen. Außerdem haben wir dabei viel darüber gelernt, welche Webseiten besonders relevant sind und wie KI-Systeme das Internet nutzen.

Mehr aus dem Internet finden

Das Internet steckt voller spezifischer Informationen. Wer eine Waschmaschine reparieren möchte, braucht die Bedienungsanleitung für genau dieses Modell. Wer einen Reisepass beantragt, muss die aktuellen Anforderungen und Gebühren kennen. Und wer ein Restaurant in der Nähe sucht, möchte die aktuelle Speisekarte und die Öffnungszeiten finden. Ob die richtige Webseite gefunden wird, kann darüber entscheiden, ob jemand eine falsche oder eine wirklich hilfreiche Antwort erhält. Dabei können auch Seiten wertvolle Informationen bieten, auf die nur wenige andere Websites verlinken.

Bisher ging es bei der Auffindbarkeit im Internet vor allem darum, möglichst weit oben in den Suchergebnissen zu erscheinen. Anschließend lag es an den Menschen, die eine Website besuchten, die Informationen zu bewerten, einen Tisch zu reservieren oder einen Reisepass zu beantragen. Doch je mehr Menschen KI nutzen, um Informationen zu finden und Aufgaben zu erledigen, desto wichtiger wird die Auffindbarkeit von Inhalten auf neue Weise. KI-Systeme müssen die richtigen Quellen finden, erkennen, welche Informationen hilfreich sind, und Menschen mit relevanten Inhalten versorgen. Das kann durch eine direkte Antwort, einen Quellenverweis oder einen Besuch auf der jeweiligen Website geschehen.

Das Cloudflare-Netzwerk liefert Signale, die dem Such-Crawler von OpenAI dabei helfen können, weitere nützliche Webseiten zu entdecken und für ChatGPT-Nutzer auffindbar zu machen. OpenAI bewertet diese Seiten anschließend unabhängig und entscheidet anhand ihrer Relevanz und Nützlichkeit, wie sie in den Suchergebnissen erscheinen. Durch dieses Zusammenspiel entsteht eine Rückkopplung, die sowohl das Auffinden von Inhalten als auch die Qualität der gefundenen Informationen verbessern kann.

Im Rahmen des gemeinsamen Pilotprojekts, an dem rund 1 % des gesamten Cloudflare-Netzwerks beteiligt war, konnte OpenAI Hunderte Millionen neuer Webseiten entdecken und indexieren. Dadurch können Menschen über ChatGPT mehr hilfreiche Inhalte finden und Antworten auf zusätzliche Fragen erhalten. ChatGPT Search verweist außerdem auf relevante Quellen. So können Nutzer die Originalinhalte aufrufen und die Websites und Publisher kennenlernen, von denen die Informationen stammen.

Mit GPT-6 und Intelligent UI entwickelt OpenAI ChatGPT zudem zu einer noch besseren Plattform, auf der Menschen einkaufen, lernen und Antworten finden können. Dazu tragen visuell ansprechendere und interaktivere Funktionen bei, die auf die jeweiligen Bedürfnisse der Nutzer zugeschnitten sind. Unsere gemeinsame Arbeit ergänzt diese Entwicklungen, indem sie ChatGPT dabei hilft, noch mehr nützliche und aktuelle Informationen aus dem Internet zu entdecken.

Vom Auffinden relevanter Inhalte zu hilfreichen Antworten

Eine URL zu finden, ist nur der erste Schritt. Wir müssen auch wissen, ob die verlinkte Webseite tatsächlich zugänglich ist, ob sie einzigartige Inhalte bietet und wobei diese Informationen den Nutzern helfen könnten.

Dabei haben wir beispielsweise festgestellt, wie leicht automatisierter Traffic den Eindruck erwecken kann, dass eine gar nicht existierende Webseite interessant ist. Bots versuchen immer wieder, Dateien abzurufen, die überhaupt nicht vorhanden sind. Manche Websites leiten nahezu jede aufgerufene Adresse auf ihre Startseite weiter. Andere URLs führen zu mehrfach vorhandenen Inhalten. Wenn wir diese Muster erkennen, können wir unnötige Anfragen vermeiden, noch bevor ein Crawler die jeweilige Seite abruft. Das verbessert die Effizienz und reduziert gleichzeitig die Belastung für Website-Betreiber.

Darüber hinaus testen wir Signale, mit denen sich potenziell schädliche Webseiten erkennen und kennzeichnen lassen. Diese zusätzlichen Informationen sollen dazu beitragen, dass Inhalte sicherer und zuverlässiger gefunden werden können. So kann beispielsweise eine grundsätzlich seriöse Website eine einzelne kompromittierte Seite enthalten, etwa ein gefälschtes Anmeldeformular, das von einem Angreifer eingeschleust wurde. Wenn wir gezielt nur diese Seite kennzeichnen, statt die gesamte Domain als problematisch einzustufen, können wir Nutzer schützen, ohne den Website-Betreiber unnötig zu benachteiligen. Erste Ergebnisse deuten darauf hin, dass diese Signale dabei helfen können, Webseiten zu erkennen, die nicht in den Suchindex aufgenommen werden sollten.

Inhalte leichter auffindbar machen

Da immer mehr Menschen KI nutzen, um Informationen zu finden, eröffnen sich für Website-Betreiber neue Möglichkeiten, interessierte Zielgruppen zu erreichen. Wer seine Inhalte für KI-Systeme zugänglich machen möchte, profitiert von diesen Verbesserungen: Die Inhalte lassen sich leichter und effizienter finden.

Um Informationen aktuell zu halten, könnte man jede Webseite einfach häufiger abrufen. Doch das wäre für alle Beteiligten mit hohen Kosten verbunden. Für Website-Betreiber bedeutet jeder erneute Abruf einer unveränderten Seite eine zusätzliche Belastung, ohne dass dadurch ein Nutzen entsteht.

Genau das möchten wir mit den zuvor beschriebenen Signalen vermeiden. Durch gezielte Filterung werden Crawler davon abgehalten, nicht existierende Seiten oder URLs aufzurufen, die lediglich auf andere Adressen weiterleiten. Änderungssignale wiederum zeigen den Crawlern, wann es sich lohnt, eine Seite erneut abzurufen – und wann nicht.

Dabei kommt es auf die richtige Balance an. Wenn neue Webseiten entdeckt werden, kann die Zahl der Crawler-Zugriffe zunächst steigen, da diese Seiten bewertet und indexiert werden müssen. Unser Ziel ist es, weiterhin neue Inhalte zu finden und bestehende Informationen aktuell zu halten, ohne dafür unnötig viele Ressourcen einzusetzen. Für Cloudflare-Kunden bedeutet das weniger unnötige Belastung ihrer Websites. OpenAI wiederum kann einen größeren Teil seiner Suchressourcen darauf verwenden, Informationen zu finden, die den Menschen tatsächlich weiterhelfen.

Damit sich die Teilnahme lohnt

In der nächsten Phase wollen wir auf unseren bisherigen Erkenntnissen aufbauen. Dazu werden wir die Auswahl relevanter Webseiten weiter verbessern, schnellere und zuverlässigere Änderungssignale testen und messen, was geschieht, nachdem Inhalte gefunden wurden.

Wir werden auch weiterhin eng mit OpenAI zusammenarbeiten, um herauszufinden, wie eine bessere Auffindbarkeit von Websites zu konkreten Geschäftsergebnissen beitragen kann. Dabei werden wir unsere neuen Erkenntnisse auch künftig teilen.

Die Entscheidungen der Domaininhaber spielen während des gesamten Prozesses eine wichtige Rolle. Denn ein Signal über eine Webseite bedeutet nicht automatisch, dass auch auf diese Seite zugegriffen werden darf. Bei diesem Forschungsprojekt nutzen wir Metadaten aus dem Internet, um die Suche und das Auffinden von Inhalten zu verbessern. Die eigentlichen Webseiteninhalte werden dagegen nicht für das Training von KI-Modellen weitergegeben.

Mit  AI Crawl Control von Cloudflare können Sie nachvollziehen und steuern, wie KI-Systeme auf Ihre Website zugreifen.