IMAP GmbH | Logo

Wenn der Fragebogen zurückfragt

19.08.2026

CHUM: Warum wir für Studien und Evaluationen ein eigenes chatbot-gestütztes Befragungstool entwickelt haben – und was sich dadurch methodisch verschiebt.

Es gibt in fast jedem Befragungsprojekt diesen Moment in der Auswertung. Im Freitextfeld steht: „Kommt drauf an." Drei Wörter, in denen mit einiger Wahrscheinlichkeit die interessanteste Antwort des ganzen Fragebogens steckt – und die für die Analyse zunächst wenig hergeben, weil in der Erhebungssituation niemand nachfragen konnte.

Wer Befragungen im öffentlichen Sektor konzipiert, kennt diese Stelle. Sie ist kein Betriebsunfall, sondern ein Strukturmerkmal standardisierter Erhebung. Und sie ist der Ausgangspunkt für CHUM — unser hauseigenes Befragungstool, mit dem ein Fragebogen auch als Gespräch bearbeitet werden kann.

Ein Spannungsfeld, das älter ist als jedes Tool

Sozialwissenschaftliche Datenerhebung bewegt sich seit ihren Anfängen zwischen zwei berechtigten Ansprüchen.

  • Standardisierte Messung liefert Vergleichbarkeit, große Fallzahlen und statistisch auswertbare Ergebnisse. Der Preis dafür ist bekannt: Missverständnisse bleiben unentdeckt, Antwortkategorien engen ein, und wo Erklärungen nötig wären, steht ein Formularfeld.
  • Qualitative Interviews erschließen genau das Gegenteil — Kontext, individuelle Bedeutungen, Interpretationsspielraum. Dafür sind sie aufwendig, arbeiten mit kleinen Fallzahlen und lassen sich nur begrenzt vergleichen.

In der Projektpraxis wird dieses Spannungsfeld meist sequenziell aufgelöst: zuerst die Onlinebefragung, anschließend Interviews oder Fokusgruppen zur Vertiefung. Das funktioniert, kostet aber zwei Erhebungen, zwei Datensätze, zwei Zeitpunkte – und produziert einen Medienbruch dazwischen, der in der Analyse mühsam wieder zusammengeführt werden muss.

 

Was Forschung und Praxis bisher anbieten

Der Gedanke, Befragungen dialogisch zu führen, ist nicht neu. Unter dem Begriff Conversational Surveys – also Befragungen, die im Gesprächsformat statt im Formular ablaufen – zeigen Studien höhere Beteiligungsraten und längere, differenziertere Antworten. Die Mensch-Computer-Interaktionsforschung untersucht Chatbots seit Jahren als Interaktionsform. Dass Sprachmodelle Interviews inzwischen auch adaptiv führen können – also im Verlauf angepasst –, zeigt zuletzt die Arbeit von Wuttke et al.

Was bislang fehlt, ist die Übersetzung in belastbare Erhebungspraxis. Die vorliegenden Ansätze sind überwiegend experimentell angelegt und selten in eine tragfähige Survey-Methodik integriert. Chatbots im praktischen Einsatz finden sich vor allem im Service und im niedrigschwelligen Feedback, nicht in methodisch kontrollierten Studien. Genau an dieser Stelle setzt CHUM an.

CHUM: Chatbot-gestützte Umfrage

Entstanden ist CHUM nicht am Whiteboard, sondern aus einem konkreten Projektbedarf. Ein Fragebogen war abzubilden, der hochkomplex angelegt war, in großen Teilen ein qualitatives Erhebungsdesign hatte und sich an sehr unterschiedliche Bevölkerungsgruppen richtete – mit hohem Anspruch an Niedrigschwelligkeit und Anschlussfähigkeit. Kein verfügbares Standardtool konnte diese drei Anforderungen gleichzeitig erfüllen.

CHUM arbeitet auf zwei Ebenen:

Die erste ist Ebene ist ein vollständiges Befragungstool mit dem Funktionsumfang gängiger Survey-Systeme: Einfach- und Mehrfachauswahl, Matrixfragen, gruppierte Abfragen, Filter und Verzweigungen. Fragebogenentwürfe können als Word-Dokument eingelesen und automatisiert in eine lauffähige Befragung überführt werden, was die Programmierung deutlich verkürzt und weniger fehleranfällig macht.

Die zweite Ebene sind LLM-gestützte Fragen. Teilnehmende beantworten den Fragebogen dort in ihrer eigenen natürlichen Sprache, in einer Chat-Oberfläche, in der vorherige Antworten jederzeit einsehbar bleiben. Das Tool kann Verständnisprobleme aufgreifen und gezielt nachfragen – und die offenen Antworten werden anschließend modellbasiert den zugrundeliegenden Kategorien zugeordnet: bei quantitativen Designs den Antwortkategorien des Fragebogens, bei qualitativen den inhaltlichen Kategorien des Interviewleitfadens. Die Zuordnung wird validiert.

Entscheidend ist dabei die Richtung: Die Kategorien stammen aus der Forschungskonzeption. Das Modell ordnet zu, es erfindet die Auswertungslogik nicht.

Drei Verschiebungen in der Erhebungspraxis

Mixed Methods laufen gleichzeitig statt nacheinander

Standardisierte Items sichern die Vergleichbarkeit, die dialogische Exploration erschließt individuelle Bedeutungen – im selben Prozess, auf einer gemeinsamen Datenbasis. Aus einer Methodenkombination wird eine integrierte Erhebungslogik.

Die Erhebungssituation wird zur Interaktion.

Teilnehmende werden durch den Fragebogen geführt, statt ihn abzuarbeiten. Das wirkt besonders dort, wo Verständnis nicht voraussetzbar ist: bei komplexen oder sensiblen Themen und bei Zielgruppen, die von schriftlich-standardisierten Instrumenten regelmäßig schlecht erreicht werden. Effekte sind höhere Beteiligung, geringere Abbruchquoten und mehr inhaltliche Tiefe.

Interviewqualität wird skalierbar

Adaptive Nachfragen brauchen keine Interviewer:innen mehr im Feld. Damit lässt sich dialogische Tiefe auch bei großen Stichproben realisieren – der Trade-off zwischen Tiefe und Reichweite wird nicht aufgehoben, aber deutlich entschärft.

Rahmenbedingungen, die im öffentlichen Sektor zuerst geklärt werden

Bei Befragungen für Ministerien, Verwaltungen und Sozialversicherungen steht die Datenschutzfrage nicht am Ende der Prüfliste, sondern am Anfang. CHUM läuft auf Servern in Deutschland und arbeitet mit einem europäischen Sprachmodell. Die Verarbeitung offener Antworten verlässt diesen Rahmen nicht.

Barrierefreiheit ist der zweite Punkt, der regelmäßig und zu Recht früh gestellt wird. Die Screenreader-Tauglichkeit befindet sich derzeit in Prüfung und Anpassung mit dem Ziel der Zertifizierung; eine sprachbasierte Bearbeitung der Befragung ist in Vorbereitung. Barrierefreiheit, Niedrigschwelligkeit und die gesamte Nutzendenerfahrung sind die Felder, an denen wir im Rahmen laufender Projekte aktuell weiterarbeiten.

Was ein Chat nicht auflöst

Ein dialogisches Erhebungsformat bringt eigene methodische Fragen mit, und die gehören offen benannt.

Ein Modell, das Freitext Kategorien zuordnet, trifft Entscheidungen. Diese Entscheidungen müssen nachvollziehbar bleiben: durch transparente Kategoriensysteme, durch Validierung und durch manuelle Kontrolle an Stichproben. Wir behandeln die Zuordnung als Auswertungsschritt, der transparent und nachvollziehbar zu dokumentieren und durch wissenschaftliches Personal qualitätszusichern ist – nicht als Blackbox mit Ergebnisgarantie.

Adaptive Nachfragen erzeugen unterschiedliche Gesprächsverläufe. Für die Vergleichbarkeit heißt das: Standardisierte Items bleiben standardisiert, die Exploration setzt daneben an. Wo Vergleichbarkeit das oberste Ziel ist, bleibt der geschlossene Item die richtige Wahl.

Und ein Gespräch senkt die Hürde, es beseitigt sie nicht. Sensible Themen brauchen weiterhin Vertrauen, Transparenz über die Verwendung der Daten und ein sauberes Einwilligungsdesign. Ein freundlicher Chat ersetzt keinen belastbaren Erhebungsrahmen.

Wo der Einsatz naheliegt

Als Befragungstool deckt CHUM das gesamte Spektrum ab — von der kurzen, klar strukturierten Standardbefragung bis zum komplexen Erhebungsdesign. Die LLM-gestützten Fragen sind dabei kein zweites Instrument, sondern zusätzliche Fragetypen: neben klassischer Einfach- und Mehrfachauswahl gibt es dieselben Formate LLM-gestützt. Eingesetzt werden sie dort, wo eine Antwort erklärt werden muss, um verwertbar zu sein.

Das ist vor allem dort der Fall, wo Zahlen allein nicht erklären, was passiert ist: in Evaluationen mit erklärungsbedürftigen Wirkungsfragen, bei Befragungen zu sensiblen oder konflikthaften Themen, bei heterogenen Zielgruppen mit unterschiedlichen Sprach- und Bildungsvoraussetzungen und in Beteiligungsprozessen, in denen die Erhebung selbst schon ein Beteiligungsangebot ist.

Umgekehrt braucht nicht jede Frage ein Gespräch: Wo ein geschlossenes Item die Information vollständig erfasst, bleibt es die richtige Wahl. Die Entscheidung fällt damit nicht zwischen Tools, sondern zwischen Fragetypen innerhalb desselben Fragebogens.

 

Ein Schlussgedanke

CHUM beginnt als technische Frage — welches Tool, welches Modell, welcher Server. In der Anwendung wird schnell etwas anderes daraus: die Frage, was in einem Vorhaben eigentlich verstanden werden soll, wer die Kategorien definiert, wer die Ergebnisse interpretiert und wer daraus Entscheidungen ableitet.

Diese Verschiebung ist aus Reform- und Digitalisierungsvorhaben vertraut. Sie fällt hier nur früher auf, weil eine dialogische Befragung zwingt, vorab zu klären, was gefragt wird und warum. Insofern ist CHUM weniger eine Abkürzung als eine Präzisierungshilfe.

CHUM ist derzeit in mehreren Projekten im Einsatz und wird dort schrittweise weiterentwickelt. Wer im eigenen Vorhaben vor einer ähnlichen Erhebungsfrage steht, findet in unserem Team gerne Gesprächspartner:innen für eine methodische Einordnung.

 Sarah Perry

Sarah Perry

Senior Managerin

perry@imap-institut.de

+49 (0) 211 513 69 73 - 46

Projekte