100 Worte: ein KI-Ansatz auf dem Prüfstand

Das neue Zeitalter der Digitalisierung bringt es mit sich, dass auch im Bereich des Personalwesens immer mehr Beratungsunternehmen Dienstleistungen auf der Basis künstlicher Intelligenz anbieten. Mehrere Unternehmen wollen beispielsweise in Einstellungsinterviews die verbale Sprache, aber auch die Körpersprache von Bewerberinnen und Bewerbern nutzen, um mithilfe von Algorithmen Persönlichkeitsprofile zu erstellen. Das große Versprechen ist dabei, dass insbesondere KI-gestützte Tools bessere Entscheidungen fällen als Menschen. Begründet wird dies vor allem mit der Vielzahl der Informationen, die in Windeseile verarbeitet werden, und der größeren Objektivität der Software. Schließlich kennt ein Computer keine Tagesform und lässt sich auch nicht von Sympathie leiten.

Eines dieser Unternehmen ist die Firma "100 Worte Sprachanalyse". Wie der Name bereits verrät, geht es darum, Eigenschaften von Menschen aus ihrer Sprache – genauer gesagt, aus der geschriebenen Sprache – herauszulesen. Doch das Unternehmen geht noch einen Schritt weiter. Die Software soll auch bei der Verfassung von Texten helfen, damit diese eine hohe Wirkung beim Gegenüber erzielen. Eine lobenswerte Besonderheit besteht darin, dass das Unternehmen mehrere Studien zur Verfügung stellt, mit denen offenbar der Nutzen der Software belegt werden soll. Aber der Reihe nach. Schauen wir uns zunächst das Produkt näher an.

Welche Eigenschaften sollen erfasst werden?

So einfach die Frage nach den Eigenschaften auch ist, zumindest auf der Internetseite des Unternehmens findet sich hierauf keine klare Antwort. An einer Stelle heißt es, dass 100 Worte einen Einblick in die Persönlichkeit, Beziehungen, Gefühle, Denkweise und Bedürfnisse eines Menschen ermöglicht. An anderen Stellen ist dann nur noch von Persönlichkeit und vielfach von Motiven die Rede. In einem Überblicksartikel, der sich herunterladen lässt, wird deutlich, dass mithilfe der Software offenbar sehr viele Aspekte erfasst werden sollen. Dabei handelt es sich nicht nur um Merkmale von Menschen, sondern überwiegend um Eigenschaften von Texten. Es geht zum Beispiel um die Frage, inwieweit sich ein Text auf die Zukunft oder Vergangenheit bezieht, Schimpfworte oder Emotionen beinhaltet. Klassische Persönlichkeitsmerkmale, wie etwa die Gewissenhaftigkeit oder die Offenheit, tauchen in dieser Liste nicht auf.

Eine Besonderheit des Ansatzes besteht darin, dass keine expliziten, sondern implizite Motive diagnostiziert werden sollen. Explizite Motive sind den Betroffenen bewusst. Würde man eine Person danach befragen, wie wichtig ihr Geld ist, so würde sich die Frage auf das bewusste Selbstbild der Person beziehen und somit ein explizites Motiv erfassen. Implizite Motive sind den Betroffenen nicht bewusst. Zur Messung werden oft abstrakte Bilder eingesetzt, zu denen die Personen Geschichten erzählen müssen. Anschließend werden die Geschichten dahingehend ausgewertet, wie häufig Begriffe genannt wurden, die für bestimmte Motive stehen könnten. Die Ergebnisse beider Herangehensweisen führen zu unterschiedlichen Einschätzungen der Motivlage und korrelieren fast nicht miteinander. Hinzu kommt, dass die Ergebnisse unterschiedlicher Testverfahren zur Messung impliziter Motive auch kaum untereinander zusammenhängen. Bislang ist wenig darüber bekannt, inwieweit implizite Motive tatsächlich eine nennenswerte Verhaltensrelevanz im Berufsalltag besitzen. Hier einige Beispiele: Eine Untersuchung mit Studierenden in einem simulierten AC erbrachte geringfügige Zusammenhänge zwischen den Ergebnissen eines impliziten Testverfahrens und dem Abschneiden in AC-Übungen (Fußnote 1). Die Größe der Zusammenhänge lag im einstelligen Prozentbereich. Eine weitere Studie belegt einen Zusammenhang von etwa vier Prozent zu arbeitgeberschädigendem Verhalten (Fußnote 2). Eine dritte Studie findet geringe Beziehungen zur Arbeitszufriedenheit (weniger als zwei Prozent)(Fußnote 3). Eine Metaanalyse belegt schließlich einen Zusammenhang von maximal zwei Prozent bezogen auf die Entscheidung, selbst ein Unternehmen zu gründen und damit erfolgreich zu sein (Fußnote 4). Es ist also durchaus legitim, sich mit impliziten Motiven zu beschäftigen. Von einer großen Bedeutung für reales Verhalten kann aber sicherlich nicht die Rede sein. Insofern ist es verwunderlich, dass 100 Worte so großen Wert auf implizite Motive legt, während gleichzeitig klassische Persönlichkeitsmerkmale außen vor bleiben.

100 Worte: Zu welchen Zwecken werden die Eigenschaften erfasst?

Die Anwendungsfelder der Software liegen im Vertrieb, im Recruitment und im Marketing. Im Vertrieb geht es darum, Kundinnen und Kunden besser einzuschätzen, um sich anschließend besser auf die Person einstellen zu können. Im Recruiting versprechen die Anbieter, Stellenanzeigen vorteilhafter gestalten und somit positiv auf das Personalmarketing einwirken zu können. Darüber hinaus wird (oder wurde) die Software auch in der Vorauswahl von Bewerberinnen und Bewerbern eingesetzt. Gegenstand der Sprachanalyse ist dann das Anschreiben oder ein Motivationsschreiben. Zumindest in älteren Quellen wird die Personalauswahl noch explizit als Anwendungsfeld erwähnt. Dies gilt beispielsweise für den Beitrag einer Mitarbeiterin des Unternehmens im "Recrutainment-Blog“ aus dem Jahr 2018. Auf den aktuellen Internetseiten ist dies nicht mehr der Fall. Als letztes Anwendungsfeld wird das Marketing benannt. Hier geht es beispielsweise um die sprachliche Gestaltung von Werbematerialien.

Wie sollen die erfassten Eigenschaften einen Nutzen entfalten?

In der Personalauswahl geht es darum, Eigenschaften der Bewerberinnen und Bewerber zu untersuchen, die eine Bedeutung für die spätere Leistung im beruflichen Alltag haben, wobei der Begriff der Leistung hier sehr breit gefasst ist. Es geht nicht nur um Umsatzzahlen oder die Stückzahl produzierter Güter, sondern auch um die Frage, wie gut eine Person mit anderen zusammenarbeitet, Menschen führen kann oder Kundinnen und Kunden zufriedenstellt. Würde man die Software von 100 Worte zur Sichtung von Anschreiben oder Motivationsschreiben einsetzen, so müsste sie mindestens zwei Bedingungen erfüllen: Zum einen müsste sie in der Lage sein, bestimmte Eigenschaften der Menschen hinreichend gut zu erfassen, um eine valide Aussage über die Ausprägung dieser Eigenschaften zu ermöglichen (kriteriumsbezogene Validität). Zum anderen müsste gezeigt werden, dass die gemessenen Eigenschaften tatsächlich in der Lage sind, berufliche Leistung vorherzusagen (prognostische Validität). Ganz grundsätzlich ergeben sich hierbei einige Probleme. Etwa zwei Drittel der Bewerberinnen und Bewerber formulieren heute ihre Anschreiben nicht mehr selbst, sondern laden sich fertige Vorlagen aus dem Internet herunter und überarbeiten sie nur noch geringfügig (Fußnote 5). Das Anschreiben kann schon allein deshalb kaum valide Informationen über die sich bewerbende Person liefern. Dies bestätigt auch eine Studie mit realen Bewerberinnen und Bewerbern aus dem Jahr 2018 (Fußnote 6). Für Motivationsschreiben dürfte dasselbe gelten.

Jenseits der Personalauswahl geht es im Umgang mit Kundinnen und Kunden darum, etwa in E-Mails Eigenschaften der Personen – insbesondere ihre impliziten Motive – zu erfassen, um darauf individuell passend reagieren zu können. Das Ziel ist eine Art Matching, bei dem der Vertrieb über die Software unter anderem die impliziten Bedürfnisse identifizieren soll, um im nächsten Schritt die eigene Sprache so zu verändern, dass der Kunde oder die Kundin den Eindruck hat, bei seinem Serviceanbieter gut aufgehoben zu sein. Dieser Versuch der Manipulation von Kundinnen und Kunden kann allerdings nur dann gelingen, wenn die Software in der Lage ist, die impliziten Motive gut zu erfassen, und wenn die erfassten Motive tatsächlich verhaltensrelevant im Hinblick auf das laufende Geschäft sind. Beides müsste empirisch belegt werden.

Bei der Gestaltung von Stellenanzeigen oder der Beschreibung von Produkten in der Werbung ändert sich die Perspektive. Diesmal geht es nicht mehr darum, die Eigenschaften einzelner Menschen zu identifizieren, es soll vielmehr gezielt ein vorteilhafter Eindruck erzeugt werden. Der KI-Algorithmus soll bei der Gestaltung der Texte helfen, sie gewissermaßen mit Eigenschaften aufzuladen. Dasselbe wäre der Fall, wenn ein Kundenberater im Mailverkehr durch seine Sprache versucht, Kundinnen und Kunden individuell zugeschnitten zu manipulieren. Um die beabsichtigte Wirkung belegen zu können, muss der Anbieter zwei Fragen empirisch untersuchen:

1. Inwieweit wird ein Text, der mithilfe der Software beispielsweise darauf getrimmt wurde, positive Emotionen auszustrahlen, von den Kundinnen und Kunden auch tatsächlich so erlebt?
2. Führt dieses Erleben dazu, dass das Produkt am Ende auch besser vertrieben werden kann?
   
   Im Falle des Personalmarketings kommt eine weitere Frage hinzu:
3. Verbessert die neu gestaltete Stellenanzeige tatsächlich die Zusammensetzung des Bewerbungspools? 

Gender-Bias: Wie werden die Eigenschaften diagnostiziert?

Auf den Internetseiten des Unternehmens wird kaum erläutert, wie das genaue Vorgehen aussieht. Ja, es ist nicht einmal klar, welche Rolle die künstliche Intelligenz spielt. Eine frühe Variante der Software kam offensichtlich ohne KI aus. Heute scheint KI eine Rolle zu spielen. Welche, bleibt unklar.

Im Prinzip werden geschriebene Texte, die zum Beispiel aus dem E-Mail-Kontakt mit einem Kunden oder aus den Bewerbungsunterlagen stammen, von einer Software eingelesen und mithilfe eines Algorithmus im Hinblick auf die Ausprägung verschiedener Merkmale analysiert. Aus den vorgelegten Publikationen und dem Wissen über die üblichen Abläufe ist zu erwarten, dass die Entwicklung des KI-Algorithmus in etwa folgendermaßen ablief: Zunächst einmal benötigt der Anbieter eine sehr große Datenstichprobe, anhand derer der Algorithmus berechnet werden kann. Nehmen wir einmal an, dies wären die Daten von 2.000 Menschen, die zuvor gebeten wurden, umfangreiche Testverfahren zu bearbeiten, mit denen die interessierenden Eigenschaften gemessen werden. Zusätzlich wird von allen Personen ein umfangreicher, selbst geschriebener Text benötigt. Die KI-Software versucht nun, zunächst in einem Teildatensatz von vielleicht 500 Personen eine mathematische Beziehung zwischen Parametern des Textes (Häufigkeit bestimmter Personalpronomen, inhaltliche Bedeutung verschiedener Wörter et cetera) und den Ergebnissen der Testverfahren zu generieren. Die so entstandene Formel wird anschließend auf einen neuen Teildatensatz von vielleicht 200 Personen angewendet, und es wird nun geschaut, wie gut die Formel in der Lage ist, die Ausprägung der Eigenschaften in dieser Gruppe zu erschließen. Dies wird noch nicht hinreichend gut gelingen, sodass die Formel angepasst werden muss. Ein solcher Prozess der Anpassung geschieht mehrfach hintereinander mit immer neuen Teildatensätzen, bis schließlich keine bessere Formel gefunden werden kann.

Der so entstandene Algorithmus wird anschließend in der Praxis angewendet. Aus einer Textprobe eines Kunden oder einer Bewerberin wird mithilfe der Formel die Ausprägung der interessierenden Eigenschaften berechnet. Die Software simuliert somit in gewisser Weise die Ergebnisse der untersuchten Testverfahren, die de facto aber nicht mehr durchgeführt werden.

Dieses Vorgehen ist zwangsläufig mit grundlegenden Einschränkungen verbunden. Zunächst einmal erfasst der Algorithmus die interessierende Eigenschaft des Menschen nicht direkt, sondern nur das Ergebnis des Testverfahrens, dass in der Entwicklungsphase als Indikator für das jeweilige Merkmal herangezogen wurde. Das Testverfahren selbst erfasst die fragliche Eigenschaft leider nur unvollkommen. Je schlechter das ausgewählte Verfahren ist, desto schlechter wird daher auch der Algorithmus in der Lage sein, das eigentlich interessierende Merkmal zu erfassen. 

100 Worte Sprachanalyse: Welche Belege liefert der Anbieter?

Auf den Internetseiten des Unternehmens finden sich mehrere Artikel, in denen über eigene Forschungsergebnisse berichtet wird. 

Studie 1 untersucht den Zusammenhang zwischen dem Ergebnis eines impliziten Testverfahrens zur Erfassung grundlegender Motive (Streben nach Macht, Leistung, sozialen Beziehungen) und dem Ergebnis einer Untersuchung mit der 100-Worte-Software (Fußnote 7). Allerdings ist zu diesem Zeitpunkt offenbar noch kein KI-Algorithmus in der Software integriert. Die Teilnehmerinnen und Teilnehmer der Studie müssen Bilder anschauen und zu diesen kurze Texte schreiben. Anschließend werden in den entstandenen Schriftwerken entweder durch Menschen (herkömmliches Vorgehen im Test) oder durch die Software bestimmte Worte ausgezählt, die als Indikatoren für die drei impliziten Motive gelten. Die Untersuchung zeigt, dass es eine Übereinstimmung zwischen dem herkömmlichen Vorgehen und dem Ergebnis der Software gibt (14–45 Prozent), wobei die Messgenauigkeit der Software (Reliabilität) extrem schlecht ausfällt.

In Studie 2 wird dasselbe untersucht, diesmal mithilfe einer KI-gestützten Software (Fußnote 8). Die Befunde fallen etwas besser aus (45–50 Prozent Übereinstimmung zum Testergebnis). Bei der untersuchten KI-Software handelt es sich allerdings wohl nicht um die Software von 100 Worte. Insofern hilft die Untersuchung auch nicht weiter bei der Bewertung des Produktes.

Studie 3 geht der Frage nach, ob sich in Stellenanzeigen für typisch weibliche oder männliche Berufe Unterschiede in der Sprache finden lassen (Fußnote 9). Dies ist der Fall, die Unterschiede sind jedoch extrem gering. In Stellenanzeigen für typisch weibliche Berufe werden demzufolge zu weniger als einem Prozent mehr "weibliche Begriffe" verwendet als bei typisch männlichen Berufen. Diese Studie sagt leider nichts über den Nutzen der Software aus.

Studie 4 untersucht in einem Experiment mit Studierenden, die eine Art Computerspiel durchlaufen und dabei entweder positives oder negatives Feedback erhalten, ob dieses Feedback Auswirkungen auf ihre Stimmung hat (Fußnote 10). Zur Messung der Stimmung wurden die Sätze, die von den Teilnehmerinnen und Teilnehmern während des Computerspiels gesprochen wurden, mithilfe der Software von 100 Worte untersucht. Es zeigen sich minimale, statistisch signifikante Effekte: In der Frustrationsbedingung sinkt der Anteil positiver Emotionsbegriffe von 2,67 Prozent auf 2,34 Prozent. Gleichzeitig steigt der Anteil negativer Emotionsbegriffe von 0,61 Prozent auf 0,79 Prozent. Unterstreichen diese Befunde die praktische Relevanz der Software?

Studie 5 untersucht, wie sich die sprachliche Veränderung eines Werbetextes auf Leserinnen und Leser auswirkt (Fußnote 11). Mithilfe der Software des Unternehmens wird der Versuch unternommen, den Text in eine positive Richtung zu verändern. Im Ergebnis zeigt sich, dass dies nicht gelungen ist. Der veränderte Text wirkt vielmehr unterschiedlich auf verschiedene Leserinnen und Leser. Die Autoren ziehen daraus den Schluss, dass der Text zielgruppenspezifisch formuliert werden muss. Wusste man das nicht auch schon vorher? 

In einem weiteren Artikel wird ein Überblick über die Messgenauigkeit der untersuchten Merkmale gegeben (Fußnote 12). Fast alle Werte liegen deutlich unter den Mindestanforderungen, die in der Diagnostik an Messinstrumente gestellt werden, die Auskunft über die Eigenschaften eines Menschen geben (Cronbachs Alpha ≥ 0,70). Dies hat zur Folge, dass beispielsweise Aussagen über implizite Motive von Kundinnen und Kunden nur äußerst ungenau getroffen werden können. Zudem wurde bislang offenbar überhaupt nicht untersucht, ob die Aussagen der Software eine hinreichende zeitliche Stabilität besitzen. 

100 Worte Sprachanalyse: Zweifel am praktischen Nutzen

Die Software 100 Worte ist ein Instrument, um sprachliche Besonderheiten eines Texts als solche zu diagnostizieren. Dass sie dies kann, steht außer Frage. Zudem kann belegt werden, dass mithilfe der Software implizite Motive in ähnlicher Weise erfasst werden wie mit sehr viel aufwendigeren Testverfahren. Allerdings kommt es hierbei offenbar zu erheblichen Informationsverlusten. Für die Forschung ist die Software eine sinnvolle Erweiterung des Methodenspektrums, wenn es darum geht, Sprache quantitativ zu analysieren. Aber ist sie deshalb auch ein nützliches Instrument für die Praxis? Hier sind Zweifel angebracht. 

Die Software ist nicht zur Personalauswahl geeignet. Vielleicht wissen das die Verantwortlichen inzwischen auch selbst, denn im Gegensatz zu älteren Darstellungen wird die Sichtung von Arbeitszeugnissen oder Motivationsschreiben auf den aktuellen Internetseiten nicht mehr explizit erwähnt. Wer dennoch auf die Idee kommt, Anschreiben und Motivationsschreiben sprachanalytisch zu deuten, sei gewarnt. Beide Textformen spiegeln vor allem die Empfehlungen der Ratgeberliteratur wider und nicht die Eigenschaften der Personen, die sich bewerben. Doch selbst wenn dies nicht so wäre und jemand vollkommen frei und ehrlich zur Tat schreitet, verbietet sich eine Anwendung der Software, und dies hat vor allem zwei Gründe. Zum einen fällt die Messgenauigkeit sehr niedrig aus, viel zu niedrig, um eine präzise Aussage über Eigenschaften eines Menschen treffen zu können. Zum anderen wird an keiner Stelle belegt, dass die mit der Software gemessenen Eigenschaften tatsächlich eine nennenswerte Prognose beruflicher Leistung ermöglichen würden. Ja, es ist nicht einmal klar, welchen Zusammenhang die durch die Software diagnostizierten Motive überhaupt zu irgendwelchen berufsrelevanten Variablen haben. Einige wenige, schwache Korrelationen zu einem impliziten Textverfahren reichen bei weitem nicht aus, um den praktischen Nutzen zu belegen.

Soll die Software zur Gestaltung von Werbetexten eingesetzt werden, so müssten die Verantwortlichen wissen, wie ein Text genau zu gestalten ist, um bei Leserinnen und Lesern einen bestimmten Eindruck zu erzeugen. Leider liegen keine Untersuchungen vor, die zeigen, dass die Software von 100 Worte hierzu tatsächlich in der Lage wäre. Das Ganze bewegt sich in einem rein hypothetischen Raum. Eine einzige Studie des Anbieters zu diesem Themenfeld verdeutlicht eher das Problem, als dass sie eine Lösung präsentieren könnte. Selbst wenn ein solcher Nachweis zu erbringen wäre, bleibt immer noch offen, wie groß der Nutzen im Vergleich zum herkömmlichen Vorgehen ist. Auch heute machen sich viele Menschen Gedanken darüber, wie entsprechende Texte zu formulieren sind. Ist die Software am Ende tatsächlich besser oder auch nur gleich gut? In einem Artikel des Anbieters wird das Problem der geschlechtstypischen Ansprache von Bewerberinnen und Bewerben in Stellenanzeigen thematisiert. Das Phänomen ist seit langer Zeit bekannt. Wer bei der Ausschreibung von Stellen in einer typischen Männerdomäne den Anteil von Bewerberinnen steigern möchte, der benötigt hierzu eigentlich keine spitzfindige Sprachanalyse, sondern müsste ganz einfach einige Aspekte hervorheben, die den Arbeitsplatz insbesondere für viele Frauen attraktiver macht: hohe Vereinbarkeit von Familie und Beruf, Karriereförderprogramme für Frauen, gesunde Angebote in der Kantine.

"Es gibt wenig Anlass zur Hoffnung, dass die Software die geschürten Erwartungen jemals erfüllen wird." - Professor Uwe P. Kanning

Im Verkauf ist die Idee, dass sich Verkäuferinnen und Verkäufer sprachlich an Kundinnen und Kunden anpassen, um so bei der Gegenseite ein Gefühl von Nähe oder Verbundenheit zu erzeugen. Diese Annahme ist wissenschaftlich begründet – beispielsweise durch die Forschung zum Ähnlichkeits-Attraktivitäts-Effekt, der besagt, dass wir Menschen positiver bewerten, die uns ähnlicher sind. Die Tatsache, dass es wissenschaftliche Belege für einen solchen Effekt gibt, sagt aber leider nichts darüber aus, dass jede beliebige Sprachanalysesoftware diesen Effekt in der Realität auch tatsächlich erzeugen kann. Sofern die Software von 100 Worte trotz der sehr geringen Messgenauigkeit den Effekt erzielen könnte, stellt sich erneut die Frage nach der Größe des Effekts und ob sich der ganze Aufwand tatsächlich lohnt. Ist es nicht auch heute schon so, dass gute Verkäuferinnen und Verkäufer versuchen, auf ihr Gegenüber einzugehen, eine Beziehung aufzubauen und vertrauensvoll zu wirken? Ist die Software besser als ein Mensch, und kommt den impliziten Motiven, so wie sie von der Software diagnostiziert werden, überhaupt ein Mehrwert zu?

Die Software von 100 Worte ist ohne Zweifel ein Ansatz, der mehr Forschung verdient. Erst danach wird klar sein, ob die vielen Hypothesen der Anbieter der Realität entsprechen, und in welcher Nische der praktische Einsatz der Software gegebenenfalls sinnvoll wäre. Es ist gut, dass die Anbieter einige Schritte in diese Richtung unternommen haben. Es sind aber nur allererste Schritte, die die eigentlich wichtigen Fragen umgehen und insgesamt nicht als Beleg für den praktischen Nutzen dienen können. Leider wird die Software aber schon heute so vermarktet, als sei sie eine nahezu perfekte Lösung für viele Aufgaben. Davon ist sie de facto noch sehr weit entfernt und es gibt – ehrlich gesagt – wenig Anlass zur Hoffnung, dass sie diese Erwartungen jemals erfüllen wird. Zum gegenwärtigen Zeitpunkt rechtfertigt nichts ihren Einsatz in der Praxis.

Dieser Beitrag ist erschienen in Personalmagazin Ausgabe 6/2022. Lesen Sie das gesamte Heft auch in der Personalmagazin-App.

Fußnoten
1. Köhler, A., Erb, H.-P. & Eichstaedt, J. (2012). Zur Validität reaktionszeitbasierter Messung impliziter Motive im Kontext der Personalauswahl. Zeitschrift für Arbeits- und Organisationspsychologie, 56, 1-13.
2. Runge, J. M., Lang, J. W. B., Zettler, I. & Lievens, F. (2020). Predicting Counterproductive Work Behavior: Do Implicit Motives Have Incremental Validity Beyond Explicit Traits? Journal of Research in Personality, 89.
3. Thielgen, M. M., Krumm, S., Rauschenbach, C. & Hertel, G. (2015). Older but wiser: Age moderates congruency effects between implicit and explicit motives on job satisfaction. Motivation and Emotion, 39, 182-200.
4. Collins, C. J., Hanges, C. J. & Locke, E. A. (2004). The relationship of achievement motivation to entrepreneurial behavior: A meta-analysis. Human Performance, 17, 95-117.
5. Kanning, U. P. (2017). Strategisches Verhalten in der Personalauswahl – Wie Bewerber versuchen, ein gutes Ergebnis zu erzielen. Zeitschrift für Arbeits- und Organisationspsychologie, 61, 3-17. 
6. Kanning, U. P., Budde, L. & Hülskötter, M. (2018). Wie valide ist die regelkonforme Gestaltung von Bewerbungsunterlagen? PERSONALquaterly, 4, 38-45.
7. Spitzer, D.,  Dörr, S. & op ´t Roodt, H. (ohne Jahr). Die 100 Worte Textanalyse zur Messung impliziter Motive – eine Validierungsstudie.
8. Velutharambath, A. & Spitzer, D. (2020). Automatische Motiv–Vorhersage: Was kann ein Sprachmodell leisten?
9. Spitzer, D. & Burel, S. (2018). Deutsche Stellenausschreibungen unterscheiden zwischen Mann und Frau: Wie geschlechtsspezifische Sprache die Ungleichheit zwischen den Geschlechtern verfestigt. 
10. Spitzer, D. & Funke, J. (2017). Motive statt Emotionen: Wie sich die Alternativhypothese von Barth und Funke (2010) mit der 100 Worte Textanalyse untersuchen lässt.
11. Brenner, M. & Spitzer, D. (2017). Was bewirkt Veränderung? Bewertung von Texten in einer Crowd-Sourcing Studie.
12. Spitzer, D. (2019). 100 Worte: Von der Wissenschaft zur Anwendung – Entwicklung einer KI-unterstützten Textanalyse.

Das könnte Sie auch interessieren:

Sprachliche Diskriminierung in Stellenanzeigen

Schöne neue HR-Welt: Robot Recruiting und die rechtlichen Grenzen

Interview: Recruiting braucht Daten, Ethik und menschliche Expertise

Kolumne Wirtschaftspsychologie mit Uwe P. Kanning: "Schmidt sucht Schmidtchen – Ähnlichkeitseffekte in der Personalauswahl"