KI-gestützte Auswertung von Bewerbungsvideos
Projektteam
Prof. Dr. David Scheffer, Prof. Dr. Jan Eichstaedt (NORDAKADEMIE Hochschule der Wirtschaft)
Projekt läuft seit
Mai 2025
Bewilligungszeitraum
3 Jahre
Fördersumme
129.000,00 Euro
Projektziel
Bereitstellung eines validen KI-gestützten Vorauswahltools
Projektbeschreibung
Verantwortlich für dieses Projekt an der NORDAKADEMIE Hochschule der Wirtschaft gAG sind Prof. Dr. Jan Eichstaedt und Prof. Dr. David Scheffer.
Fortschritte im Machine- und Deep Learning ermöglichen heute eine weitgehend automatische Analyse großer Textcorpora. Ein solcher Korpus wurde für textuelle Reaktionen auf psychometrisch kalibriertes Bildmaterial zusammengestellt. Auf der Basis dieser Vorarbeiten von David Scheffer und Zahurul Islam, der darauf aufbauend erste, KI-gestützte Modelle trainierte, können psychometrische Kriterien wie bspw. implizite Motive, Affekte und kognitive Stile computergestützt in Texten kodiert werden (siehe das bereits von der NORDAKADEMIE-Stiftung geförderte CAPTA-Projekt).
Um die Validität der Modelle mit echten Verhaltensdaten (bspw. Kooperation, Leistungserfüllung, Durchsetzung im Assessment Center; Schulnoten; Gesundheitsdaten etc.) zu bestimmen, müssen diese KI-basierten Modelle auf einer Plattform mit Schnittstellen auch von Studierenden, Forschenden und Gesundheitsexperten genutzt werden können. Dies wurde bereits in dem von der NORDAKADEMIE-Stiftung geförderten Projekt „Gesundheitsseismograph“ realisiert.
In der aktuellen Phase fördert die NORDAKADMIE-Stiftung die Validierung dieser Sprachmodelle. Zum einen im Kontext des Assessment Center an der NORDAKADEMIE, wo die Teilnehmenden Bewerbungsvideos hochladen müssen, die von den KI-basierten Modellen analysiert und die so gewonnen Variablen mit den oben erwähnten Performanz-Daten korreliert werden sollen. Potenziell wird sich hieraus ein für die Partnerunternehmen sehr interessantes Vorauswahl-Tool entwickeln lassen, das, im Gegensatz zu bereits in der Praxis verwendeten Lösungen aus den USA, DSGVO-konform sein wird und mittels Aufmerksamkeitsmechanismen aus Transformer-Netzarchitekturen erzielten Transparenz der Beurteilungsgrundlagen auch den neuesten Regulierungen der EU genügen wird. In der Partnerschaft mit PINKTUM können jetzt sogar ein Large Language Model (LLM) einsetzen.
Eine weitere Validierung der Sprachmodelle soll als virtueller Bewerbungscoach für Kandidierende auf Studienplätze an der NORDAKADEMIE Nutzen bringen. Können Studierende sich effektiver bei unseren Partnerunternehmen bewerben, wenn sie zuvor an ihren persönlichen Entwicklungsfeldern arbeiten, also ihre Persönlichkeitsentwicklung systematisch vorantreiben? Dies soll in einem feldexperimentellen Design empirisch untersucht werden. Hier wäre ein für die Partnerunternehmen besonders interessantes Produkt denkbar, welches datenschutzkonforme und validierte Analysen von Bewerbendenvideos liefert. Die NORDAKADEMIE könnte davon profitieren, dass mehr Bewerberinnen und Bewerber tatsächlich von Unternehmen akzeptiert werden und dann auch an der NORDAKADEMIE studieren dürfen.
Auf einer Veranstaltung des Unternehmensverbandes AGA wurden diese und andere Vorhaben Partnerunternehmen und Wissenschaftlern vorgestellt und in einer anschließenden Podiumsdiskussion Möglichkeiten und Gefahren großer Sprachmodelle in einem Expertenkreis besprochen. Einig waren sich die Diskutanten, dass Europa dringend ein eigenes großes Sprachmodell aufbauen sollte, um nicht in eine fatale Abhängigkeit von den USA und China zu gelangen. Die strenge Regulierung durch den EU AI Act sahen sie dabei sogar als Vorteil an, weil das Einhalten dieser regulatorischen Anforderungen einen nachhaltigen Erfolg bei den Anwendungen großer Sprachmodelle und zunehmend generischer, allgemeiner KI ermöglicht.
Vorgehensweise
Als Goldstandard, an dem die KI-gestützte Auswertung der Bewerbungsvideos kalibriert werden sollen, ist das seit dem Jahr 2000 stattfindende und permanent optimierte Potenzial-Assessment Center an der NORDAKADEMIE anzusehen. Dort werden die Studierenden von geschulten Beobachterinnen und Beobachtern, die größtenteils aus den Personalabteilungen der Partnerunternehmen der NORDAKADEMIE kommen, anhand bestimmter Kriterien beurteilt. Diese sind u. a. Durchsetzungs- und Kooperationsfähigkeit, strukturiertes Vorgehen und Aufgabenerfüllung. Zu den Aufgaben gehören die Vorbereitung und Performanz einer Präsentation, eine Verhandlungssituation und eine konzeptionelle Gruppenübung. Die Studierenden bekommen unmittelbar im Anschluss an die Aufgaben ein Feedback von den Beobachtern, so dass auch beurteilt werden kann, wie stark von einem Feedback gelernt wird (sog. „Lernpotenzial“).
Mit statistischen Methoden werden die Analyseergebnisse der KI mit den Ergebnissen aus dem AC korreliert und kalibriert, so dass die KI aus den Bewerbungsvideos letztlich die gleichen Prognosen ableiten kann, wie die geschulten Beobachter aus dem Assessment Center, das valide und bewährt ist. So kann am Ende sichergestellt werden, dass die KI valide Prognosen innerhalb des Vorauswahlprozesses liefern kann. Diese Hypothese wurde bereits in einer explorativen Studie bestätigt.
Publikationen
Rechenbach, T (2024). Bewerbervorauswahl in Zeiten von Künstlicher Intelligenz: empirische Untersuchung und Validierung einer KI-gestützten Sprachanalyse von Bewerbungsvideos auf Grundlage von Ergebnissen des Potenzial-Assessment-Centers der NORDAKADEMIE. Masterthesis im Studiengang Wirtschaftspsychologie an der NORDAKADEMIE.
Sarges, W., & Scheffer, D. (2016). Lernpotential-Assessment Center. In J. Erpenbeck (Ed.), Handbuch Kompetenzmessung: Erkennen, verstehen und bewerten von Kompetenzen in der betrieblichen, pädagogischen und psychologischen Praxis (3. Aufl., S. 44–50). Stuttgart: Schäffer-Poeschel.
Scheffer, D., Klöpper, J., Scheffer, N., Rose, G., Fraunholz, T., Klein, P., Fricke, K. R., & Herzberg, P. Y. (2024). Using dynamic item response theory and machine learning based on natural language processing to improve the reliability of the Operant Motive Test. Motivation Science. Advance online publication. https://dx.doi.org/10.1037/mot000035