Wie wir messen — und was wir nicht behaupten

Was wir bewusst nicht anzeigen

Keine politische Links-Rechts-Einordnung von Medien. Es gab eine — sie beruhte auf einer handgepflegten Liste von Schätzwerten ohne Einzelbelege, und die Ereignis-Leiste zählte nur, welche Medien berichtet hatten: sechs Artikel von sechs Quellen ergaben immer dasselbe Bild, unabhängig vom Inhalt. Diese Werte sind entfernt, auch aus dem offenen Datensatz. Eine politische Achse kehrt nur zurück, wenn jeder Wert auf geprüfte Textstellen zurückführbar ist und an einem von Menschen annotierten Korpus kalibriert wurde.

Keine Gesamtnote und keine Prozentzahlen. Ein zusammengefasster „Bias-Score“ lässt sich nicht belegen: Auf die Frage, welche Textstelle ihn zu 68 macht, gibt es keine Antwort, weil keine einzelne Stelle das tut. Wir zeigen Stufen und die gezählten Merkmale dahinter.

Keine Aussage über Wahrheit oder Qualität. Die Werte beschreiben sprachliche Form, nicht Richtigkeit. Ein nüchterner Bericht über eine Katastrophe enthält berechtigt starke Wörter.

Was „belegt“ heißt — und was nicht

Drei Behauptungen werden oft vermischt. Nur die erste kann eine Maschine prüfen:

• Die Textstelle existiert. Prüfbar. Das Modell nennt Satznummern, den Wortlaut schneidet der Server aus dem gespeicherten Analysetext — ein Zitat kann also nicht erfunden werden.
• Die Stelle stützt den Wert. Nicht maschinell prüfbar. Deshalb steht in jeder Belegkarte, dass dies nicht geprüft wurde, und die Stelle wird im Volltext angezeigt, damit Sie selbst urteilen können.
• Die Skala ist kalibriert. Nicht erfüllt. Es gibt bislang keinen von Menschen annotierten deutschen Vergleichskorpus. Die Werte sind Einschätzungen, keine Messungen im metrologischen Sinn.

Daraus folgen vier Zustände:

• Textstellen gefunden — alle Prüfungen bestanden.
• Teilweise belegt — eine Prüfung ist fehlgeschlagen; welche, steht in der Karte.
• Nicht belegt — kein Wert, nur der Grund.
• Nicht prüfbar — kein auswertbarer Volltext, meist Paywall.

Die Belegstärke heißt bewusst nicht Konfidenz und wird nie als Prozentwert gezeigt: Ohne Kalibrierung wäre eine Prozentzahl genau die Scheingenauigkeit, die dieses System ersetzen soll.

Tonlage

Wie stark der Text mit sprachlichen Mitteln wertet, zugespitzt oder emotionalisiert — gezählt an Ausrufezeichen, Versalien, Superlativen, Verstärkern, Bewertungswörtern und Anreden, jeweils mit Fundstelle.

Stufen je Artikel: sachlich · überwiegend sachlich · wertend · reißerisch

Grenzen: Kein Urteil über Wahrheit oder Qualität. Ein nüchterner Bericht über eine Katastrophe enthält berechtigt starke Wörter. Textstellen aus Zitaten Dritter zählen nicht mit. Die Skala ist nicht an einem annotierten Korpus kalibriert.

Quellen: [1], [3], [4], [8], [9]

Bewertungsrichtung

Ob ein Text positiver oder negativer wertet als die anderen Quellen zum selben Ereignis — und, über alle Quellen hinweg, wie das Ereignis insgesamt beschrieben wird.

Stufen je Artikel: negativer · ähnlich · positiver

Stufen je Ereignis: negativ · neutral · positiv

Grenzen: Als Einzelwert nicht aussagekräftig und deshalb auch nicht angezeigt: Er hängt vor allem am Ereignis — ein nüchterner Bericht über eine Katastrophe ist negativ. Angezeigt wird nur die Abweichung von den übrigen Quellen desselben Ereignisses, und erst ab zwei lesbaren Quellen. Als „ähnlich“ gilt ein Abstand unterhalb der Streuung des Clusters, mindestens aber 10 Punkte — feiner ist die zugrunde liegende Zahl nicht.

Quellen: [2], [8]

Deutungsrahmen

Unter welchem Blickwinkel das Thema dargestellt wird — Sicherheit, Moral, Ökonomie, Humanitäres, Ordnung oder Identität.

Grenzen: Kategorien ohne Rangfolge, deshalb keine Leiste. Ein Rahmen wird nur angezeigt, wenn ein konkreter Satz ihn trägt.

Quellen: [5], [6], [7]

Begriffspaare im Wortwahl-Vergleich

Die Wortwahl-Anzeige vergleicht nur Begriffe aus dieser Liste. Dass zwei Wörter dieselbe Sache bezeichnen, ist eine redaktionelle Zuordnung von uns — keine maschinelle Erkennung. Deshalb steht die Liste hier vollständig: eine Zuordnung, die niemand nachlesen kann, ist nicht überprüfbar. Grammatische und gegenderte Formen zählen zum jeweiligen Grundwort; kein Begriff ist als besser oder schlechter markiert.

• Klimaprotest-Teilnehmende: Klimaaktivist · Klimakleber · Klimachaot · Klimademonstrant · Klimaschützer
• Zugewanderte Personen: Geflüchtete · Flüchtling · Asylbewerber · Asylsuchende · Migrant · illegale Migrant · Zuwanderer · Schutzsuchende
• Grundsicherung: Bürgergeld · Hartz IV · Arbeitslosengeld II · Sozialhilfe · Stütze
• Steuerliche Entlastung: Steuerentlastung · Steuergeschenk · Steuersenkung · Steuererleichterung
• Militärische Beschaffung: Aufrüstung · Nachrüstung · Wiederbewaffnung · Verteidigungsfähigkeit · Militarisierung
• Waffenlieferungen: Waffenlieferungen · Militärhilfe · Rüstungsexporte · Verteidigungshilfe
• Schwangerschaftsabbruch: Schwangerschaftsabbruch · Abtreibung · Fristenlösung
• Assistierter Suizid: Sterbehilfe · assistierter Suizid · Suizidbeihilfe · Sterbebegleitung
• Verbrennungsmotor-Regulierung: Verbrennerverbot · Verbrenner-Aus · Flottengrenzwerte · Antriebswende
• Kreditfinanzierte Sondermittel: Sondervermögen · Schuldenpaket · Kreditermächtigung · Schattenhaushalt
• Protestteilnehmende: Demonstrant · Demonstrierende · Randalierer · Chaot · Protestierende
• Impfkritische Personen: Impfgegner · Impfskeptiker · Impfkritiker · Ungeimpfte
• Rentenanpassung: Rentenreform · Rentenkürzung · Rentenanpassung · Rentenpaket
• Arbeitskräftebedarf: Fachkräftemangel · Arbeitskräftemangel · Personalnotstand · Fachkräftelücke

Listenversion tp1. Zählungen sind nur innerhalb einer Version vergleichbar.

Grenzen des Verfahrens

• Paywall-Quellen. Für Medien, deren Artikel nicht frei zugänglich sind, speichern wir keinen Volltext (kein Umgehen von Bezahlschranken). Dort ist keine Textstelle prüfbar — solche Artikel erscheinen als „nicht prüfbar“ und fließen nicht in Vergleiche ein.
• Nur ein Textausschnitt. Analysiert wird der Anfang eines Artikels (derzeit 8.000 Zeichen). Eine Aussage über den Rest ist nicht möglich, und „kommt im Artikel nicht vor“ heißt immer „kommt in diesem Ausschnitt nicht vor“.
• Ironie und Sarkasmus. Gezählte Merkmale erkennen sie nicht. Bei Kommentaren und Glossen ist die Tonlage entsprechend zu lesen.
• Zitate. Textstellen in Anführungszeichen, mit Redeeinleitung oder im Konjunktiv I werden ausgeschlossen — die Emotion einer zitierten Person ist nicht die der Redaktion. Der Filter irrt gelegentlich; im Zweifel schließt er aus, wodurch eher ein Wert fehlt als einer falsch zugeschrieben wird.
• Emotionalität ist ein Marker-Index, kein Arousal-Wert. Die zugrundeliegende Studie definiert ihn über psycholinguistische Normdaten (BAWL-R, ANGST), die nicht frei weitergegeben werden dürfen und deshalb hier nicht eingesetzt werden können. Wir zählen stattdessen sprachliche Oberflächenmerkmale — eine kleinere Behauptung, die dafür belegbar ist.
• Sprachmodelle sind nicht deterministisch. Auch bei identischen Einstellungen kann derselbe Text zweimal unterschiedlich eingeschätzt werden. Deshalb speichern wir zu jedem Wert das tatsächlich antwortende Modell und rechnen abgeleitete Werte nach, statt sie zu übernehmen.

Quellenverzeichnis

1. Martin & White (2005): The Language of Evaluation — Appraisal in English verifiziert
2. Wiebe, Wilson & Cardie (2005): Annotating expressions of opinions and emotions (MPQA) verifiziert
3. Journalistikon: Boulevardisierung verifiziert
4. Schwarz-Friesel (2013): Sprache und Emotion teilw. verifiziert
5. Card et al. (2015): The Media Frames Corpus verifiziert
6. Bhatia et al. (2021): OpenFraming verifiziert
7. Hamborg (2020): Media Bias by Word Choice and Labeling verifiziert
8. CheckThat! 2025 Task 1: Subjectivity in News Articles verifiziert
9. Võ et al. (2009): Berlin Affective Word List Reloaded (BAWL-R) — not redistributable, see caveat verifiziert

„Verifiziert“ heißt: gegen die Primärquelle geprüft. „Teilweise verifiziert“ heißt: über Sekundärquellen belegt.