Andreas Reich und Tobias Schrimpf präsentieren auf der Fachgruppentagung Methoden & DigiKomm 2024 Ergebnisse zum Einsatz von LLMs bei quantitativen Inhaltsanalysen [11.09.24]
Die gemeinsame Tagung der Fachgruppen Methoden & DigiKomm der Deutschen Gesellschaft für Publizistik- und Kommunikationswissenschaft (DGPuK) findet dieses Jahr vom 18. - 20. September in Hamburg statt.
Hier präsentieren Andreas Reich und Tobias Schrimpf gemeinsam mit Dr. Claudia Thoms, wie Large Language Models (LLMs) für die quantitative Inhaltsanalyse eingesetzt werden können.
Im Vortrag "Der Einfluss von Prompt-Strategien auf die Qualität und Konsistenz von LLM-Codierungen: Ein Kochbuch für Mistral" zeigen die Autor:innen Schritt für Schritt, wie ein Einsatz von LLMs für die kommunikationswissenschaftliche Praxis aussehen kann. Dabei geht es vor allem darum, passende Anfragen (Prompts) zu entwerfen, die Codieranweisungen an das LLM enthalten und dadurch die Arbeit eines menschlichen Codierers ersetzen. Dadurch versprechen sich die Autor:innen einen einfacheren Einsatz von LLMs, um großangelegte Codieraufgaben weitestgehend zu automatisieren.
Außerdem testen sie die Konsistenz und Qualität unterschiedlicher Prompt-Strategien. Dabei zeigt sich, dass die Varianz der Gütekriterien des LLMs stark schwankt, jedoch bei mehrfachen Codierungen insgesamt abnimmt. Außerdem sind Prompts, die gemessen an den Gütekriterien gut abschneiden, insgesamt konsistentere Prompts. Schlussendlich können sie bereits einzelne Empfehlungen für "gute" Prompts abgeben, die insgesamt zu besseren Codierungen durch das LLM führen.
