CAPTA

Projektteam

Prof. Dr. David Scheffer (NORDAKADEMIE Hochschule der Wirtschaft), Prof. Dr. Zahurul Islam (NORDAKADEMIE Hochschule der Wirtschaft)

Projektpartner

CAPTA-Institut

Projekt läuft seit

Dezember 2018

Bewilligungszeitraum

3 Jahre

Fördersumme

190.400 Euro

Projektziel

Validierung und Automatisierung Computer-gestützter psychometrischer Textanalysen anhand umfangreicher Daten in Zusammenarbeit mit Doktoranden und Studierenden. Das Forschungsgebiet ist die Auswertung von digitalisierten Texten (Erarbeitung von KI-basierten Modellen zur psychometrischen Textanalyse).

Projektbeschreibung

Verantwortlich für dieses Projekt an der NORDAKADEMIE Hochschule der Wirtschaft gAG ist Herr Prof. Dr. David Scheffer.

Fortschritte im Machine- und Deep Learning ermöglichen heute die quasi-automatische Analyse großer Textcorpora. Auf der Basis von Vorarbeiten von David Scheffer únd Zahurul Islam, der darauf aufbauend erste, einfache Algorithmen trainierte, können psychometrische Kriterien wie bspw. implizite Motive, Affekte und kognitive Stile computergestützt in Texten kodiert werden. Diese Modelle erreichen bereits Gütemaße auf gutem Niveau, die aber noch durch die Kombination verschiedener Herangehensweisen (Deep Learning, also das Lernen anhand sog. Neuronaler Netze) verbessert werden können. Erste Experimente im Deep-Learning-Bereich erzielten F-Werte (harmonisches Mittel aus Precision und Recall) auf Niveau menschlicher Experten bei der Einordnung von impliziten Motiven.

Daneben muss die Validität der Modelle mit echten Verhaltensdaten (bspw. Kooperation, Leistungserfüllung, Durchsetzung im Assessment Center; Schulnoten etc.) geprüft und die verschiedenen Maschinenlern-Modelle verglichen werden. Es werden künftig Kontexte wie politische Kommunikation in den sozialen Medien für die Validierung herangezogen.

Projektergebnisse im Jahr 2019 und 2020

Im Rahmen des CAPTA Projekts wurde im Doktorandenprogramm für Herrn van Heteren-Frese erfolgreich eine Kooperation mit dem Fachbereich Psychologie der Universität Trier (Prof. Dr. Nicola Baumann) aufgebaut. Forschungsfrage ist die Optimierung der Validität von auf Maschinen-Lernen beruhenden Textauswertungs-modelle, die für Prognosen von menschlicher Arbeitsmotivation und die Person-Job-Passung wichtig sind, wie sie u.a. im jährlich stattfindenden Assessment Center der NORDAKADEMIE gemessen werden.

Ein weiterer Doktorand, Dirk Johannßen, wird im Rahmen des CAPTA Projekts an der Universität Hamburg von Prof. Dr. Chris Biemann betreut. Als studierter Wirtschaftsinformatiker fokussiert sich Dirk Johannßen auf die Möglichkeiten und Grenzen von Maschinen-Lernen, künstlicher Intelligenz und „Deep Learning“ bei der automatischen Auswertung von Texten nach psychometrischen Kriterien.

Beide Doktoranden setzen ihre Erfahrungen auch sehr erfolgreich in der Lehre an der NORDAKADEMIE ein.

Nach der von der Stiftung ermöglichten Berufung von Prof. Dr. Zahurul Islam auf eine halbe Professur in Computer Linguistik, begann das CAPTA Projekt offiziell mit einer Konferenz der beteiligten Universitäten am 4. Januar 2019. Es wurden erste Veröffentlichungen und Konferenzbeiträge geplant.

Im zweiten Projektjahr stand die Validität der Modelle im Fokus. Können diese echtes Verhalten prognostizieren? Dafür verwendete das Projektteam u.a. eigene Daten aus dem Auswahltest, Assessment Center und Noten. Zusätzlich wurde aber auch mit mehreren Hochschulen an weiteren Kontexten gearbeitet, mit denen die Gültigkeit der Modelle überprüft werden konnte.

Gemeinsam mit der Universität Hamburg wurde mit Daten aus Facebook gearbeitet, die politischen Parteien zugeordnet wurden sowie an einem internationalen „Shared Task“, um kognitive Leistungsfähigkeit prognostizieren zu können. In Zusammenarbeit mit der Universität St. Gallen sowie der TH Wildau konnten die ersten Anwendungskontexte im Bereich Human Resources realisiert werden.

Wissenschaftliche Gastvorträge

  • Johannßen, D. “Current research advancements of NLPsych, the CAPTA Institut, and future prospects”, Universität St. Gallen, Switzerland (CH): Institute for Computer Science (ICS), October 2019.
  • Johannßen, D., Biemann, C. (2019): “Language technological approaches for automatic prediction of psychometrics and psychological diseases”,Universität Hamburg, Germany: Invited Talk Series “Understanding health – digital humanities in dialogue”, July 2019.
  • Scheffer, D. & Johannßen, D. “Wie psychometrische Textanalyse-Verfahren und künstliche Intelligenz die Personalbeschaffung grundlegend verändern können“, April 2019 bei NORDMETALL, Juli 2019 beim     BUSINESS CLUB Hamburg.

Publikationen

  • Schröder, P.; Sali Salim, Y.; Paping, J.; Scheffer, D. (2021): Korrelationen zwischen Persönlichkeitsmerkmalen und EEG-erfasster Hirnaktivität: Eine Empirische Studie im Usability Labor der NORDAKADEMIE: Validierung der CAPTA Modelle. NORDBLICK, 1. 2021.
  • Scheffer, N.; Sturm, S.; Islam; Z. (2021): Implizite Motive in der politischen Kommunikation [Implicit motives in political communication]. In T. Straubhaar (Ed.), Neuvermessung der Datenökonomie. Hamburg: University Press.
  • Johannßen, D.; Biemann, C.; Remus S.; Baumann T.; Scheffer, D.; (2020): GermEval 2020 Task 1 on the Classification and Regression of Cognitive and Motivational style from Text. In Proceedings of the 5th SwissText & 16th KONVENS Joint Conference 2020, pages 1–10, Zurich, Switzerland (online)
  • Çekel, K.; Scheffer, D. (2019): Mitarbeiterbindung durch KI. Die Bedeutung impliziter Motive und individueller Karriereprogramme bei der Bindung von High-Performern. NORDBLICK, 8.
  • Johannßen, D.; Biemann, C. (2019): Neural classification with attention assessment of the implicit-association test. OMT and prediction of subsequent academic success. Proceedings of KONVENS 2019, Erlangen, Germany.
  • Johannßen, D.; Biemann, C.; Scheffer, D. (2019): Reviving a psychometric measure: Classification and prediction of the Operant Motive Test. Proceedings of CLPsych 2019, Minneapolis, MN, USA.
  • Richter-Mendau, S.; Scheffer, D. (2019). Persönlichkeitsbasierte Konversation mit virtuellen Agenten – eine empirische Untersuchung zur Messung des Erfolgs. NORDBLICK, 8.