HELPER: Wie wir ein Korpus psychologisch aufgeladener Texte erstellten und Qwen für die lokale Emotionsanalyse feinabstimmten
Studenten und Forscher der HSE-Universität und von VK haben ein Korpus psychologisch aufgeladener russischsprachiger Texte mit lokaler Annotation von Emotionen und psychologischen Merkmalen erstellt. Das Annotationstool HELPER wurde entwickelt, und basierend auf dem Korpus wurden die Modelle Qwen-3 8B und 14B für die Aufgaben der Extraktion emotionaler Fragmente und der Bewertung des Autorenzustands feinabgestimmt.
Ein Team des Labors für Angewandte KI der HSE Universität und VK (Alexander Sabko, Victoria Belyavskaya, Sergey Pavlukhin) hat das Projekt HELPER vorgestellt, das die Analyse des emotionalen Zustands des Autors eines Textes unter Berücksichtigung lokaler emotionaler Äußerungen und deren Dynamik zum Ziel hat. Standardansätze der Sentimentanalyse (binäre oder Multiklassenklassifikation) eignen sich nicht für psychologisch belastete Texte, da Emotionen fragmentarisch und nicht als allgemeiner Hintergrund auftreten. Vorhandene russischsprachige Datensätze verwenden unterschiedliche Annotationsschemata und lassen sich nicht kombinieren. Das Team führte zehn Tiefeninterviews mit praktizierenden Psychologen durch und entwickelte auf der Grundlage der Analyse ein umfassendes Annotationsschema mit vier Komponenten: emotionale Segmentierung (14 Emotionen basierend auf Ekman und OCC), Bewertung der Antworten des Psychologen nach vier Kriterien, thematische Tags und abschließende Bewertung des Zustands des Klienten anhand von fünf Skalen. Das Korpus wurde aus drei Quellen zusammengestellt: Beratungsdialoge von B17.ru, Bewertungen von Yandex Maps und VKontakte-Beiträge mit Kommentaren. Derzeit umfasst das Korpus 786 Dialoge, die nach 7 Emotionen annotiert sind (etwa 9 Millionen Zeichenlabels), sowie 156 Dialoge nach dem erweiterten Schema mit 14 Emotionen, sowie Bewertungen und Beiträge. Für die Annotation wurde die Anwendung HELPER auf Basis von .NET 10, ASP.NET Core, Blazor und PostgreSQL mit Authentifizierung über Keycloak entwickelt. Die Anwendung unterstützt die Depth-First-Priorisierung von Dialogen, ein Punktesystem zur Bewertung der Annotatoren und einen Detektor für verdächtige Benutzer. Um die Verwendbarkeit der Daten zu demonstrieren, haben die Team die Modelle Qwen-3 8B und Qwen-3 14B mittels LoRA auf ihrem Korpus verfeinert (Berechnungen auf cHARISMa der HSE Universität). Dialoge werden vor der Eingabe normalisiert (Entfernung von BB-Codes, URLs), aber der Sprachstil bleibt erhalten, da sprachliche Besonderheiten für die Analyse wichtig sind. Das Projekt zeigte, dass das gesammelte Korpus im Vergleich zu verallgemeinerten Ansätzen bessere Ergebnisse für psycholinguistische Analyseaufgaben ermöglicht.
Quelle: Habr — хаб ML —
Original