Zwei Vorträge auf der Jahrestagung der Fachgruppe Methoden der Deutschen Gesellschaft für Publizistik- und Kommunikationswissenschaft (DGPuK) [18.09.25]
Im Vortrag "Prompting NeMo: Finding good prompting strategies for reliable automated LLM coding in the social sciences" untersuchen Tobias Schrimpf, Andreas Reich und Claudia Thoms, welche Prompting-Strategien bei automatisierter Codierung mit LLMs zuverlässig funktionieren. Im Vortrag "Konzeption einer automatisierten kontinuierlichen Nachrichtenforschung auf Basis einer KI-Pipeline" zeigen Jens Vogelgesang und Andreas Reich, wie man Videomaterial in visuelle, auditive und textuelle Daten automatisiert zerlegen kann und wie mithilfe von KI-Tools automatisch kodiert.
Prompting NeMo: Finding good prompting strategies for reliable automated LLM coding in the social sciences
Andreas Reich, Claudia Thoms & Tobias Schrimpf
Abstract
LLMs are seeing widespread use for task automation, including automated coding in the social sciences. However, even though researchers have proposed different prompting strategies, their effectiveness varies across LLMs and tasks. Often trial and error practices are still widespread. Our paper provides insights into the effectiveness of different prompting strategies, crucial influencing factors, and the identification of reliable prompts for two coding tasks using the LLM Mistral NeMo. Regarding possible influences on the quality of the codings, we found that the following factors strongly influenced coding reliability: having high-quality data as ground truth, determining a majority decision from multiple LLM requests, category difficulty, and choice of prompting strategy. We analyzed these factors to identify optimal prompting strategies and found combinations of prompting strategies that code reliably across two variables. Our work contributes to the methodological discourse on automated content analysis and presents valuable results on finding good prompts.
Konzeption einer automatisierten kontinuierlichen Nachrichtenforschung auf Basis einer KI-Pipeline
Jens Vogelgesang, Andreas Reich
Abstract
Nachdem im Jahr 2020 die Finanzierung der zentralen Studie („Nachrichtenmonitor") der kontinuierlichen Nachrichtenforschung eingestellt worden ist, präsentiert der Beitrag im Jahr 2025 eine automatisierte, KI-gestützte Pipeline zur inhaltsanalytischen Untersuchung von TV-Nachrichtensendungen wie der „Tagesschau“ nach dem Vorbild des Codebuchs des „Nachrichtenmonitors". Die vorzustellende Pipeline sieht vor, dass das Videomaterial in visuelle, auditive und textuelle Daten aufgespalten wird und mithilfe aktueller KI-Tools (u.a. ChatGPT-4.1, GEMMA 3 27B, spaCy) automatisch kodiert. Der Tagungsbeitrag bildet den Auftakt der Planung einer systematischen Machbarkeitsanalyse, welche die Potenziale für eine Wiederbelebung kontinuierlicher Nachrichtenforschung prüfen soll. Die Machbarkeitsanalyse wird dabei insbesondere Fragen der Validität und Reliabilität aber Fragen zum notwendigen Ressourcenbedarf in den Blick nehmen.
