Wie misst man etwas, das jede Antwort neu würfelt?
Beim klassischen SEO gab es eine beruhigend feste Zahl: die Rankingposition. In KI-Systemen gibt es sie nicht. Wie man Sichtbarkeit trotzdem seriös misst, welche Zahlen etwas aussagen und wo jede Messung an ihre Grenzen kommt.
Der Abschied von der einen Zahl
Zwanzig Jahre lang hatte Sichtbarkeit im Netz eine Währung mit festem Kurs: die Position in der Ergebnisliste. Platz drei war Platz drei, heute, morgen und für jeden Suchenden ungefähr gleich. Auf dieser Stabilität ruhte die gesamte Berichtskultur der Branche: Rankingreports, Sichtbarkeitsindizes, Kurven nach oben.
KI-Systeme kennen diese Stabilität nicht. Ein Sprachmodell erzeugt jede Antwort neu, und in diesem Erzeugen steckt eingebauter Zufall. Es würfelt, im Wortsinn. Dieselbe Frage, am selben Tag, zweimal gestellt, kann verschiedene Unternehmen nennen. Dazu kommt: Die Antwort hängt vom Gesprächsverlauf ab, vom genauen Wortlaut der Frage, manchmal vom Standort des Fragenden. Wer Ihnen einen Report zeigt, in dem Ihr Unternehmen auf Platz zwei in ChatGPT steht, zeigt Ihnen eine Momentaufnahme eines Würfelwurfs und verkauft sie als Tabellenstand.
Was stattdessen funktioniert: Häufigkeit statt Position
Die seriöse Antwort auf den Würfel ist dieselbe wie überall in der Statistik: oft genug würfeln und zählen. Statt einer Einzelabfrage stellt man einem System dieselbe Frage viele Male über einen Zeitraum verteilt und misst, in welchem Anteil der Antworten das Unternehmen vorkommt. Aus wurde ich genannt wird eine Nennungsrate: ein Anteil, der Schwankungen glättet und Veränderungen sichtbar macht.
So machen wir es im Monitoring konkret: Am Anfang jeder Zusammenarbeit entsteht ein fester Fragenkatalog aus den Fragen, die Ihre Kunden realistisch stellen, von der direkten Anbietersuche bis zur Problemfrage, hinter der Ihr Angebot steckt. Diesen Katalog stellen wir den fünf relevanten Systemen in festen Abständen, dokumentieren jede Antwort und zählen aus: Nennungsrate pro Frage, pro System, im Zeitverlauf. Dazu erfassen wir, welche Wettbewerber genannt werden und in welchem Zusammenhang Ihr Name fällt, denn eine Nennung als Warnbeispiel ist keine Empfehlung.
Welche Zahlen etwas aussagen und welche nicht
Belastbar: die Richtung über Zeit
Die wertvollste Aussage des Monitorings ist der Trend. Wenn Ihre Nennungsrate über Monate von praktisch null auf einen messbaren Anteil steigt, während der Fragenkatalog gleich bleibt, ist das ein echtes Signal, robust gegen den Würfel. Genauso wertvoll ist die Verteilung über Systeme: Wenn Perplexity Sie zitiert, ChatGPT aber nicht, sagt das etwas darüber, wo Ihre Substanz ankommt und wo noch nicht, denn die Systeme gewichten Quellen unterschiedlich.
Mit Vorsicht: einzelne Ausschläge
Ein Sprung in einem einzelnen Monat kann Fortschritt sein oder Rauschen, eine veränderte Modellversion oder schlicht Zufall. Wir bewerten Ausschläge deshalb erst, wenn sie sich bestätigen. Das ist weniger aufregend als ein Report voller Erfolgsmeldungen, aber es ist der Unterschied zwischen Messen und Geschichtenerzählen.
Nicht seriös: Rückführung auf Einzelmaßnahmen
Die unbequemste Grenze zuerst für uns selbst: Wenn Ihre Nennungen steigen, können wir nicht beweisen, welche einzelne Maßnahme dafür verantwortlich war. Die Systeme sind Blackboxes, sie ändern sich laufend, und wir verändern mehrere Dinge parallel. Was wir können: dokumentieren, was wann umgesetzt wurde, und die zeitliche Nähe zu Veränderungen zeigen. Das ist Indiz, kein Beweis. Jeder Anbieter, der Ihnen mehr verspricht, verspricht etwas, das die Technik nicht hergibt.
Die zweite Ebene: messen, was hinten rauskommt
Nennungsraten messen die Sichtbarkeit, aber nicht den Geschäftserfolg. Deshalb gehört zur ehrlichen Messung eine zweite Ebene: Woher kommen Ihre Anfragen? Der einfachste Hebel ist der älteste im Marketing: fragen. Wer neu anruft, wird gefragt, wie er auf Sie gekommen ist, und die Antwort wird notiert. Immer öfter lautet sie sinngemäß ChatGPT hat Sie empfohlen. Dazu kommen technische Signale: Manche KI-Systeme verlinken ihre Quellen, und diese Zugriffe lassen sich in der Webanalyse erkennen und auswerten. Beides zusammen ergibt kein lückenloses Bild, aber ein ehrliches: Sichtbarkeit oben, Anfragen unten, und dazwischen die Plausibilität, die sich aus beiden Kurven ergibt.
Woran Sie seriöse Messung erkennen
Zum Schluss eine Checkliste, mit der Sie jeden Anbieter prüfen können, uns eingeschlossen. Seriöse Messung arbeitet mit wiederholten Abfragen statt Einzelscreenshots. Sie weist Nennungsraten und Trends aus statt fester Plätze. Sie dokumentiert den Fragenkatalog, damit die Zahlen vergleichbar bleiben. Sie benennt die Grenzen der Rückführbarkeit, statt jeden Anstieg der eigenen Genialität zuzuschreiben. Und sie beginnt mit einer Nulllinie vor der ersten Maßnahme, denn ohne Ausgangswert ist jede spätere Zahl Dekoration. Wie diese Messung in die Gesamtarbeit eingebettet ist, zeigt unser Ablauf in vier Schritten, und was die Systeme beim Antworten technisch tun, im Beitrag über die Quellenauswahl der KI.
Geschäftsführer der medienplus GmbH
„Das ist der Beitrag, den ich jedem Interessenten am liebsten vor dem ersten Gespräch schicken würde. Wer versteht, was messbar ist und was nicht, stellt die richtigen Fragen. An uns und an jeden anderen Anbieter.“
Ihre Nulllinie gibt es im Erstgespräch.
Wir messen Ihre aktuellen Nennungen in fünf Systemen und legen die Basis, an der sich alles Weitere messen lässt.