0001info@leibniz-psychology.org | © 1996-2018 ZPID

 

 



 Vollansicht des PSYNDEX Tests-Dokuments:
Postkorb "OfficeMail"

 PSYNDEX Tests-Dokument: 9007432
 

OfficeMail - Postkorb "OfficeMail" (PSYNDEX Tests Review)

 

In-Basket Exercise "OfficeMail"/zpid

 Lieberei, W.
 (2017). Postkorb "OfficeMail" [Testbox mit Manual, 5 Testheften W (Version für Frauen), 5 Testheften M (Version für Männer), 10 Organigrammen, 10 Terminkalendern und 10 Auswertungsbögen]. Göttingen: Hogrefe.

Preis: 428,00 Euro (Testbox komplett; Stand: 6.3.2018)

 Bezugsquelle: Testzentrale Hogrefe Verlag GmbH & Co. KG, Herbert-Quandt-Straße 4, D-37081 Göttingen ; E-Mail: testzentrale@hogrefe.de ; URL: http://www.testzentrale.de/ ; Stand: 1.11.2017.
 Adresse(n): o Dr. Walter Lieberei, Zentrum für Foren in der grafischen Datenverarbeitung (ZGDV) e. V., Forum digitale, interaktive Didaktik, Fraunhoferstraße 5, D-64283 Darmstadt ; E-Mail: info@zgdv.de ; URL: https://www.forum-did.de/ueber-uns/ ; Stand: 1.11.2017
 WWW-Informationen:
 

Abstract

Diagnostische Zielsetzung:
Das Postkorbverfahren "OfficeMail" kann zur berufsbezogenen Eignungsdiagnostik bei Bewerbern um Führungspositionen im unteren und mittleren Management im Alter zwischen 20 und 60 Jahren eingesetzt werden.


Aufbau:
Die Testperson übernimmt die Rolle einer Abteilungsleiterin bzw. eines Abteilungsleiters in einer Versicherung, die innerhalb von 10 Minuten Vorbereitungszeit und 50 Minuten eigentlicher Bearbeitungszeit insgesamt 19 E-Mails (davon 10 mit Anhängen) zu berufsbezogenen und vereinzelt auch privaten Inhalten bearbeiten muss. Den E-Mails sind 78 Items in Form von Handlungsalternativen zugeordnet, die je E-Mail zwei bis sechs Multiple-Choice-Antwortoptionen zum Ankreuzen bilden. Die Items sind einer Gesamtskala Komplexes Problemlöseverhalten (78 Items, Differenzwert aus 32 Pluspunkt- und 46 Minuspunkt-Items) sowie ergänzend den drei Sekundärskalen Analyseverhalten (17 Items, Differenzwert aus 8 Pluspunkt- und 9 Minuspunkt-Items), Organisations- und Planungsverhalten (32 Items, Differenzwert aus 15 Pluspunkt- und 17 Minuspunkt-Items) sowie Entscheidungsverhalten (29 Items, Differenzwert aus 9 Pluspunkt- und 20 Minuspunkt-Items) zugeordnet.


Grundlagen und Konstruktion:
Die Items wurden auf der Basis von systematischen Arbeits- und Anforderungsanalysen und in Anlehnung an bereits auf dem Markt befindliche Postkorbverfahren entwickelt. Anhand der Ergebnisse eines Vortests mit N = 26 berufserfahrenen Personen und auf der Basis von Itemanalysen wurden die 78 Items für die Endversion zusammengestellt. Einige Items wurden trotz niedriger Trennschärfen beibehalten, um den Charakter eines geschlossenen Problemlöseszenarios zu wahren und eine ausreichende Anzahl plausibler Distraktoren anzubieten.


Empirische Prüfung und Gütekriterien:
Reliabilität: Die internen Konsistenzen (Cronbachs Alpha) liegen für die Differenzwerte bei Alpha = .78 für die Gesamtskala Komplexes Problemlösen sowie zwischen Alpha = .33 und Alpha = .65 für die Sekundärskalen; die Split-half-Reliabilitäten für die Differenzwerte liegen bei rtt = .60 für die Gesamtskala sowie zwischen rtt = .41 und rtt = .45 für die Sekundärskalen.
Validität: Die konvergente Validität wurde durch den Vergleich mit dem Grundintelligenztest CFT 3 erhoben; der Differenzwert der Gesamtskala Komplexes Problemlösen korreliert zu r = .40 mit dem CFT-3-Gesamtergebnis. Die diskriminante Validität wurde durch Vergleich des Differenzwertes für Komplexes Problemlöseverhalten mit zusammengefassten Assessment-Center-Ergebnissen zu Gruppendiskussionen, Präsentationen und Kunden- oder Mitarbeitergesprächen von 71 Teilnehmern erhoben. Es zeigte sich eine korrigierte, gemittelte Korrelation von r = .01, was vom Testautor als Hinweis auf die inkrementelle Validität des Postkorbs "OfficeMail" gewertet wird (Lieberei, 2017, S. 43).
Normen: Es liegen Gesamtnormen und nach Alter und Geschlecht differenzierte Normen (Standard-, Stanine- und Prozentrangwerte) aus einer Repräsentativerhebung aus 2010 bis 2014 vor (N = 342).

 

Testkonzept

 

Theoretischer Hintergrund

Der Postkorb "OfficeMail" (Lieberei, 2017) ist ein simulationsorientiertes Verfahren zur berufsbezogenen Eignungsdiagnostik bei Bewerbern um Führungspositionen im unteren und mittleren Management, beispielsweise als Team- oder Gruppenleiter oder als Abteilungsleiter.
Als Erfolgsfaktoren für Führungskräfte gelten überdurchschnittliche intellektuelle Fähigkeiten (kognitive Aspekte), ausgeprägte zwischenmenschliche Fähigkeiten (sozial-interaktive Aspekte) sowie Leistungs- und Erfolgsstreben (motivationale Aspekte; Sarges, 2013). Postkorbübungen dienen der Erfassung intellektuell-kognitiver Fähigkeiten sowie methodischer Fähigkeiten, wie sie bei Führungstätigkeiten gefordert sind. Sie sind weit verbreitet in der Personalauswahldiagnostik und genießen eine hohe Augenscheinvalidität und Akzeptanz bei Bewerbern, da sie - wie im Manageralltag auch - die Bearbeitung vieler Schriftstücke erfordern (Funke, 1993). Allerdings sind Validierungsstudien zu Postkorbverfahren eher selten. Zu den wenigen validierten Verfahren zählen die Bonner Postkorb-Module (Musch, Rahn & Lieberei, 2001), die sich als analoge Vorgänger des OfficeMail-Verfahrens ansehen lassen (Lieberei, 2017, S. 5).
Bezogen auf die Verfahrensart zählen Postkorbverfahren zu den simulationsorientierten Verfahren der Eignungsdiagnostik, die den beruflichen Arbeitsalltag möglichst realitätsnah simulieren und insofern auch als eine Arbeitsprobe angesehen werden können (Funke, 1993). Es werden administrative Tätigkeiten als reine "Schreibtischtätigkeiten" ohne direkte Interaktion mit anderen Personen des Arbeitsumfeldes simuliert. Die Testperson muss schriftliche Materialien bearbeiten, die dem typischen Postkorb oder E-Mailsystem eines Stelleninhabers mit Führungsaufgaben entsprechen. Typischerweise enthält der Postkorb verschiedene Arten von Schriftstücken (Briefe bzw. E-Mails, Protokolle, Notizen, Rundschreiben usw.). Die Postkorbaufgabe gehört zu den häufigsten Aufgaben in Assessment Centern für die berufliche Eignungsdiagnostik (Lieberei, 2017, S. 6). Grundlage für die Entwicklung sollte eine systematische und regelgeleitete Arbeits- und Anforderungsanalyse sein, um seine Validität im Hinblick auf die zu besetzende Position sicherzustellen.
Postkorbübungen sind als Speedtest angelegt, der i. d. R. innerhalb von circa einer Stunde zu bearbeiten ist und etwa 15 bis 20 Schriftstücke enthält. Es finden sich sowohl offene als auch geschlossene Formate. Bei einem offenen Postkorbformat formuliert die Testperson beispielsweise Instruktionen für Mitarbeiter, verfasst Antwortschreiben oder vereinbart Meetings. Im Ergebnis sind dann entsprechend offene Antworten auszuwerten. Die hierzu berichteten Interrater-Reliabilitäten schwanken erheblich zwischen r = -.20 und r = .97 (Lieberei, 2017, S. 7). Geschlossene Formate beschränken sich auf eindeutig lösbare Aufgabenstellungen aus dem Führungs- und Managementalltag und verwenden Multiple-Choice-Antworten, um eine höhere Auswertungsobjektivität zu erreichen.
Nach Lieberei (2017, S. 7) erfordert die Postkorbbearbeitung im Wesentlichen komplexe Problemlöseleistungen: So ist der Postkorb komplex, weil eine große Informationsmenge zu verarbeiten ist, er stellt hohe Anforderungen an die kognitive Verarbeitungskapazität und Merkfähigkeit der Bewerber, ebenso an ihre Fähigkeit zum vernetzten Denken und zum Umgang mit dynamischen Szenarien. Intelligenz lässt sich als valider Prädiktor sowohl für Berufserfolg als auch für komplexe Problemlöseleistungen ansehen, so Lieberei die Forschungslage zusammenfassend (2017, S. 8). Allerdings haben Intelligenztests in der Managementdiagnostik eine deutlich geringere Augenscheinvalidität und Akzeptanz als simulationsorientierte Verfahren wie der Postkorb (S. 8). Bezogen auf das im deutschsprachigen Raum gängige Kompetenzmodell lässt sich der Postkorb als Instrument zur Erfassung der Methodenkompetenz sehen, teilweise auch zur Erfassung von Sozial- und Selbstkompetenz (S. 9).
 

Testaufbau

Die Testperson übernimmt die Rolle einer Abteilungsleiterin bzw. eines Abteilungsleiters in einer Versicherung, die nach zwei berufsbedingten Abwesenheitstagen ihre zwischenzeitig eingegangenen E-Mails bearbeiten muss. Es sind insgesamt 19 E-Mails zu bearbeiten, 10 davon mit Anhängen, die sich auf berufsbezogene und private Inhalte beziehen. Insgesamt 78 Items sind diesen E-Mails in Form von Handlungsalternativen zugeordnet, die beschreiben, wie in der Folge mit den Informationen der E-Mails umzugehen ist. Sie bilden Multiple-Choice-Antwortoptionen zum Ankreuzen; je E-Mail stehen zwischen zwei bis sechs solcher Handlungs- bzw. Antwortalternativen zur Verfügung. Aufgabe der Testperson ist es, diejenigen Alternativen anzukreuzen, die sie für richtig hält. Es kann jeweils keine oder eine oder es können mehrere oder alle Alternativen richtig sein. Für richtig erkannte Items wird ein Pluspunkt vergeben. Für falsch angekreuzte Items werden Minuspunkte vergeben, um den möglichen Nachteil des Multiple-Choice-Antwortformates auszugleichen, dass es durch bereits vorgegebene Antwortmöglichkeiten leichter ist in dem Sinne, dass man keine eigenen Inhalte produzieren muss und sich nicht unbedingt intensiv mit der Entscheidungssituation auseinandersetzen muss (Lieberei, 2017, S. 13). Als Bearbeitungshilfen stehen der Testperson ein Terminkalender sowie ein Organigramm des fiktiven Unternehmens zur Verfügung.
Die 78 Items sind einer Gesamtskala Komplexes Problemlöseverhalten und drei Sekundärskalen Analyseverhalten, Organisations- und Planungsverhalten sowie Entscheidungsverhalten zugeordnet (Lieberei, 2017, S. 13-18). Es werden jeweils Differenzwerte (Pluspunkte abzüglich Minuspunkte) berechnet:
(1) Gesamtskala Komplexes Problemlöseverhalten (78 Items, Differenzwert aus 32 Pluspunkt-Items und 46 Minuspunkt-Items). Kompetenz, Hindernisse zwischen einem gegebenen Ausgangs- und Zielzustand durch kognitive Tätigkeiten und Verhaltensweisen überwinden; relevante Situationsmerkmale effizient berücksichtigen; kognitive, emotionale und soziale Ressourcen sowie Problemlösungswissen situationsangemessen einsetzen.
(2) Sekundärskala Analyseverhalten (17 Items, Differenzwert aus 8 Pluspunkt-Items und 9 Minuspunkt-Items). Kompetenz, bei einer Problemstellung alle relevanten Strukturen, Prozesse, Elemente und Beziehungen vollständig und logisch-systematisch zu erfassen.
(3) Sekundärskala Organisations- und Planungsverhalten (32 Items, Differenzwert aus 15 Pluspunkt-Items und 17 Minuspunkt-Items). Kompetenz, bei einer Problemstellung die erforderlichen und wirksamen Handlungsschritte zwischen Ausgangs- und Zielsituation auszuwählen und in eine effiziente Abfolge zu bringen, dabei auch Handlungsalternativen für Hindernisse oder Störungen zu berücksichtigen.
(4) Sekundärskala Entscheidungsverhalten (29 Items, 9 Pluspunkt-Items und 20 Minuspunkt-Items). Kompetenz, eine Entscheidungsnotwendigkeit zu erkennen, mögliche Handlungsoptionen systematisch auf ihre Güte und Brauchbarkeit zu prüfen, angemessene Entscheidungskriterien heranzuziehen und sich rasch und eindeutig für eine Option zu entscheiden.

Neben einer computergestützten Version steht eine Papier-Bleistift-Version des Postkorbverfahrens zur Verfügung. Beide Versionen sind inhaltlich identisch aufgebaut.
 

Auswertungsmodus

Nachfolgend wird die Auswertung der Papier-Bleistift-Version beschrieben. Die Auswertung der Computerversion erfolgt automatisch, ansonsten nach dem gleichen Prinzip.

Zunächst werden die im Testheft angekreuzten Handlungsalternativen in den Auswertungsbogen übertragen, indem die von der Testperson angekreuzten Optionen umkreist werden. In einem Zwischenschritt werden am Ende jeder der vier Seiten des Auswertungsbogens die Plus- und Minuspunktsummen für die drei Sekundärskalen gebildet. Anschließend werden diese Zwischensummen für jede Sekundärskala differenziert nach Plus- und Minuspunkten aufaddiert und in einer Ergebnistabelle eingetragen. Für die Gesamtskala Komplexes Problemlöseverhalten werden jeweils die Plus- und Minuspunkte über alle drei Sekundärskalen addiert und in den letzten beiden Spalten dieser Ergebnistabelle eingetragen. Sodann wird ein Wert für das Aktivitätslevel als Summe der Plus- und Minuspunkte berechnet. Ein Aktivitätslevel-Wert von 10 oder kleiner ist kritisch und ein Hinweis darauf, dass der Test möglicherweise nicht ernsthaft bearbeitet wurde (Lieberei, 2017, S. 24, S. 43). In diesem Fall ist auf dem Antwortbogen anzukreuzen, dass der Cut-off-Wert für oberflächliche Testbearbeitung erreicht wurde. Abschließend werden die Differenzwerte für die Gesamtskala sowie für die Sekundärskalen ermittelt (Pluspunkte abzüglich Minuspunkte), anhand der Normtabellen in Standardwerte, Staninewerte und Prozentränge umgerechnet und im Auswertungsbogen eingetragen. Dazu ist zu vermerken, welche Vergleichsstichproben gewählt wurden (Gesamtstichprobe, Altersgruppe 20-30 Jahre oder 31-60 Jahre und Frauen oder Männer).
 

Auswertungshilfen

Bei der Papier-Bleistift-Version steht zur Ermittlung der Rohwertsummen ein Auswertungsbogen zur Verfügung. Die Rohwerte können anhand von Normtabellen in Standardwerte, Staninewerte und Prozentrangwerte für die Gesamtstichprobe sowie für Teilstichproben (nach Geschlecht und Altersgruppen) umgerechnet werden.
Die Auswertung der Computerversion erfolgt automatisch. Es kann ein Kurzbericht (Narrativer Report) für die Testperson ausgedruckt werden, in dem die Komponenten von OfficeMail erläutert werden und die erzielten Prozentränge zusammen mit erläuternden Textbausteinen enthalten sind. Die Zuordnung der Staninewerte zu den Textbausteinen des Ergebnisberichtes ist im Manual erläutert (Lieberei, 2017, S. 55). Wenn sowohl die Computer- als auch die Papier-Bleistift-Version zur Verfügung stehen, so können die Testheft-Antworten über die Funktion Datenschnelleingabe erfasst werden und so die weiteren Auswertungsoptionen (automatische Auswertung und Narrativer Report) genutzt werden (S. 27).
Als zusätzliche Interpretationshilfe für den Testleiter werden im Manual zwei Fallbeispiele (Anwendung im Rahmen eines Assessment Centers sowie zusammen mit Strukturierten Interviews) vorgestellt (Lieberei, 2017, S. 46 f.). Des Weiteren werden für die Differenzwerte Tabellenwerte zur Bestimmung der Vertrauensintervalle und kritischen Differenzen der Standardwerte (M = 100, SD = 10) angegeben (S. 40).
 

Auswertungszeit

Die Auswertung der Papier-Bleistift-Version nimmt 10 Minuten in Anspruch (Lieberei, 2017, S. 45). Für die computergestützte Version ist nur ein minimaler Zeitaufwand erforderlich.
 

Itembeispiele

Anmerkung: Angegeben sind pro Skala jeweils ein Beispiel für ein Item mit Plus- und ein Item mit Minuspunktwertung; ausgewählt wurden die jeweils trennschärfsten Items, die zugehörigen Trennschärfekoeffizienten stehen in Klammern (Lieberei, 2017, S. 15-18 und S. 33-37).

Gesamtskala Komplexes Problemlösen: (a) E-Mail Nr. 5 "Nachbesetzung Teamleitung SK4", Pluspunkt für Item 18 "Sagt Interviewtermin für Frau Götz ab" (rit = .50); (b) E-Mail Nr. 7 "Protokoll Projektmeeting", Minuspunkt für Item 25 "Leitet E-Mail zur Information an die Teamleiter/-innen in der Abteilung SK weiter" (rit = .40).

Sekundärskala Analyseverhalten: (a) E-Mail Nr. 11 "Ergebnisse Potenzialanalyseverfahren", Pluspunkt für Item 46 "Erkennt, dass Herr Hertl beim Potenzialanalyseverfahren im Bereich 'Fach & Methodenkompetenz' ein besseres Ergebnis als Frau Mohr erzielen konnte" (rit = .44); (b) E-Mail Nr. 10 "Projekt 'Prozessstandardisierung' (Protokoll)", Minuspunkt für Item 42 "Erkennt, dass der Termin für das Seminar 'Prozesskostenrechnung' noch in den Terminkalender einzutragen ist" (rit = .20).

Sekundärskala Organisations- und Planungsverhalten: (a) E-Mail Nr. 5 "Nachbesetzung Teamleitung SK4", Pluspunkt für Item 20 "Sagt Interviewtermin für Herrn Klein ab" (rit = .55); (b) E-Mail Nr. 7 "Protokoll Projektmeeting", Minuspunkt für Item 25 "Leitet E-Mail zur Information an die Teamleiter/-innen in der Abteilung SK weiter" (rit = .39).

Sekundärskala Entscheidungsverhalten: (a) E-Mail Nr. 1 "Diverse Anmerkungen", Pluspunkt für Item 2 "Stellt sich dem Betriebsrat als Ansprechpartner/-in für das Projekt 'Prozessstandardisierung' zur Verfügung" (rit = .32); (b) E-Mail Nr. 9 "Monatsreport Controlling", Minuspunkt für Item 34 "Sendet E-Mail an alle SK-Mitarbeiter, um auf die gestiegenen Telefonkosten hinzuweisen" (rit = .34).
 

Durchführung

 

Testformen

Der Postkorb "OfficeMail" kann als Einzel- oder Gruppentest durchgeführt werden. Neben einer Computerform liegt eine Papier-Bleistift-Form vor. Frauen und Männer bearbeiten jeweils eigene Fassungen mit passenden Anreden für die fiktive Identifikationsfigur in den zu bearbeitenden Schriftstücken (Frau Anna Wagner bzw. Herr Robert Wagner).
 

Altersbereiche

Das Verfahren eignet sich für den Altersbereich 20 bis 60 Jahre.
 

Durchführungszeit

Die Durchführungszeit beträgt maximal 60 Minuten (max. 10 Minuten Instruktionszeit und max. 50 Minuten Bearbeitungszeit).
 

Material

Die Testbox enthält das Manual und das vollständige Testmaterial. Daneben ist nur Schreibgerät erforderlich. Verbrauchsmaterial (Testhefte, Auswertungsbögen, Terminkalender, Organigramme) kann separat bezogen werden.
Für die Computerversion sind die entsprechenden Hard- und Softwarevoraussetzungen zu erfüllen. Außerdem ist ein Internetzugang für das Login über das Hogrefe Online-Portal erforderlich.

Materialliste Testbox (Stand: 20.10.2017):
- 1 Manual
- 5 Testhefte W (Version für Frauen)
- 5 Testhefte M (Version für Männer)
- 10 Organigramme
- 10 Terminkalender
- 10 Auswertungsbögen.
 

Instruktion

Die ausführliche Instruktion erfolgt schriftlich zu Beginn des Tests. In maximal 10 Minuten liest sich die Testperson in das Postkorb-Szenario ein und macht sich mit der Aufgabenstellung vertraut. Nach Ablauf dieser Zeit startet bei der Computerversion die eigentliche Bearbeitung automatisch. Bei Verwendung der Papier-Bleistift-Version werden die Testpersonen durch den Testleiter aufgefordert, mit der Bearbeitung der Schriftstücke zu beginnen (Lieberei, 2017, S. 22).
 

Durchführungsvoraussetzungen

Für die computergestützte Durchführung erstellt der Testleiter einen Zugangscode auf dem Online-Portal und sendet ihn der Testperson (in der Regel per E-Mail) zu. Zudem sind vor der Durchführung Alter und Geschlecht der Testperson zu erfassen, letzteres, um die passenden Normen und die passende Testform bereitzustellen. Am PC bzw. Notebook sind die Browsereinstellungen zu prüfen, um eine einwandfreie Darstellung sicherzustellen (Lieberei, 2017, S. 21).
Für die papiergestützte Durchführung sind vor der Testdurchführung die erforderlichen Materialien für jede Testperson bereitzulegen (Testheft, Organigramm und Kalender). Aufgabe des Testleiters ist es, für die Einhaltung der Zeiten bei Instruktion und Bearbeitung zu sorgen, eine ungestörte Arbeitsatmosphäre sicherzustellen sowie darauf zu achten, dass keine unerlaubten Hilfsmittel (Notizblock etc.) verwendet werden (Lieberei, 2017, S. 22).
 

Testkonstruktion

Die Testkonstruktion erfolgte behelfsweise nach den Kriterien der Klassischen Testtheorie. Behelfsweise deshalb, weil deren Kriterien für die Prüfung der Gütekriterien bei Postkörben nur bedingt anwendbar sind, da zum einen die Bearbeitungsreihenfolge der E-Mails und der ihnen zugeordneten Items nicht festgelegt ist und zum anderen die Forderung nach lokaler stochastischer Unabhängigkeit der Einzelitems fraglich ist (Lieberei, 2017, S. 38).
Ziel war es, ein zeitgemäßes Postkorbverfahren in Form eines E-Mailsystems zu entwickeln, das modular aufgebaut ist und als Bestandteil praxisüblicher Auswahlverfahren genutzt werden kann, z. B. als Teil eines Assessment Centers oder als Ergänzung eines strukturierten Interviews (Lieberei, 2017, S. 11). Bei der Konstruktion wurden bis dato vorliegende Erkenntnisse zur Testgüte vergleichbarer Verfahren berücksichtigt (S. 11):
- So zeigten bisherige Befunde hohe Interkorrelationen von Postkorb-Subskalen und wenig überzeugende Ergebnisse von Faktorenanalysen (Musch et al., 2001; Höft & Funke, 2006). Deshalb wurde die Kompetenz Komplexes Problemlöseverhalten auf aggregierter Ebene erfasst. Sie wird als Teil der Methodenkompetenz angesehen und als Gesamtwert gebildet (Primäre Skala; Lieberei, 2017, S. 11).
- Trotz dieser Befundlage, die gegen eine Binnendifferenzierung spricht, wurden zu Forschungszwecken und zur weiteren Differenzierung die Subskalen Analyseverhalten, Organisations- und Planungsverhalten sowie Entscheidungsverhalten zusätzlich ausgewiesen und im Verfahren als "sekundäre Skalen" bezeichnet (Lieberei, 2017, S. 11).
- Das Verfahren wurde ausschließlich ergebnisorientiert gestaltet. Zwar könnte es diagnostisch interessant sein, auch Prozessmerkmale zu untersuchen. Da der Forschungsstand bislang jedoch keine hinreichend fundierten Indikatoren zur Prozessdiagnostik beim Problemlösen bietet, wurde hierauf verzichtet (Lieberei, 2017, S. 11).
Adressaten. Mit dem Verfahren soll das Potenzial von Bewerbern untersucht werden, die bereits über ein bis fünf Jahre Berufserfahrung verfügen und eine Position als Führungskraft im unteren bis mittleren Management anstreben, beispielsweise als Team- oder Gruppenleiter oder als Abteilungsleiter (Lieberei, 2017, S. 11).
Die Testentwicklung erfolgte in sechs Phasen (Lieberei, 2017, S. 11-19):
(1) Analysephase. Zunächst wurde eine systematische Arbeits- und Anforderungsanalyse als Basis für die inhaltliche und formale Postkorbgestaltung durchgeführt. Empirische Grundlage waren Interviews mit Branchenvertretern sowie Dokumentenanalysen (Originalschriftverkehr, Strategiepapiere, Branchenstudien). Des Weiteren wurden bereits auf dem Markt befindliche Postkorbverfahren begutachtet (Lieberei, 2017, S. 11).
(2) Gestaltungsphase. Hier wurde das Bearbeitungsszenario im Bereich der Versicherungsbranche detailliert festgelegt und es wurden auf Basis der vorhergehenden Materialsammlung Items entwickelt und den Kompetenzbereichen (Komplexes Problemlöseverhalten bzw. Analyseverhalten, Organisations- und Planungsverhalten sowie Entscheidungsverhalten) zugeordnet.
(3) Testphase. Es wurde eine Vorversion des Postkorbs als Online-Verfahren programmiert und an einer Teststichprobe von n = 26 berufserfahrenen Mitarbeitern, Führungskräften, Personalern sowie wissenschaftlichen Experten erprobt. Anhand der Erprobungsergebnisse wurden die 78 Items für die Endversion ausgewählt. Vorrangige Selektionskriterien waren dabei die Trennschärfen und Schwierigkeiten, ergänzend wurden auch Rückmeldungen der Testteilnehmer berücksichtigt (Lieberei, 2017, S. 12). Einige Items wurden trotz niedriger Trennschärfeindizes beibehalten, um den Charakter eines geschlossenen Problemlöseszenarios zu wahren und eine ausreichende Anzahl plausibler Distraktoren anzubieten (S. 33, S. 38).
(4) Datenerhebungsphase. Im Zeitraum von Anfang 2010 bis Mitte 2014 wurden insgesamt sieben Stichproben mit N = 342 Teilnehmern für die Validierungs- und Normierungsstichprobe rekrutiert. Es handelte sich dabei um berufserfahrene Probanden, die sich beruflich neu orientierten, oder um Studenten, die als potenzielle Berufseinsteiger für ein Traineeprogramm in Frage kamen (Lieberei, 2017, S. 18).
(5) Auswertungsphase. Hier wurden die testtheoretischen Gütekriterien für das Verfahren berechnet (Lieberei, 2017, S. 18).
6) Berichtphase. Zusammenfassung der Befunde im Manual.
Das Hauptaugenmerk bei der Testentwicklung lag auf der computergestützten Version. Parallel dazu wurde eine gleichwertige Papier-Bleistift-Fassung entwickelt und erprobt, deren Einsatz für diejenigen Fälle denkbar ist, bei denen Wert auf Sicherheit gegenüber technischen Ausfällen gelegt wird oder bei denen Datenschutzeinwänden des Betriebsrates oder des Datenschutzbeauftragten Rechnung getragen werden soll (Lieberei, 2017, S. 21).
Itemanalysen wurden mit den Daten der Eichstichprobe durchgeführt. Tabelle 1 zeigt die Itemkennwerte der Endfassung.

Tabelle 1
Itemkennwerte (Schwierigkeit und Part-whole-korrigierte Trennschärfen) der Gesamtskala und der Sekundärskalen des Postkorbs "OfficeMail" (Lieberei, 2017, S. 33-37)
-------------------------------------------------------------------------------- 
Schwierigkeit Trennschärfe
Skala .20 <= P <= .80 Min. Max. .30 <= P <= .50 Min. Max.
--------------------------------------------------------------------------------
Komplexes Problemlösen
- Pluspunkte (32 Items) 90% .15 .85 56% .06 .50
- Minuspunkte (46 Items) 63% .01 .69 4% -.11 .40
--------------------------------------------------------------------------------
Sekundärskalen
--------------------------------------------------------------------------------
Analyseverhalten
- Pluspunkte (8 Items) 100% .29 .69 8% .04 .44
- Minuspunkte (9 Items) 67% .10 .64 0% .07 .20
Organisations- und Planungsverhalten
- Pluspunkte (15 Items) 80% .15 .86 27% .11 .55
- Minuspunkte (17 Items) 88% .15 .68 6% -.08 .39
Entscheidungsverhalten
- Pluspunkte (9 Items) 100% .39 .65 11% .06 .32
- Minuspunkte (20 Items) 40% .01 .51 0% -.14 .26
--------------------------------------------------------------------------------
Anmerkungen. P = Schwierigkeit, rit = Trennschärfe, Min. = Minimum, Max. = Maximum.

Interkorrelationen. Die Plus- und Minuspunkte der Gesamtskala Komplexes Problemlöseverhalten korrelieren untereinander mit r = .28 schwach und lassen einen gemeinsamen Einfluss des Aktivitätslevels vermuten (Lieberei, 2017, S. 40). Erwartungsgemäß besteht ein stark positiver Zusammenhang des Differenzwertes mit den Pluspunkten (r = .71) und ein mittlerer negativer Zusammenhang mit den Minuspunkten (r = -.48). Somit wird das Gesamtergebnis im Postkorbverfahren stärker von dem Abschneiden bei den Plus- als bei den Minuspunkten bestimmt (S. 41). Die Interkorrelationen der Sekundärskalen liegen bei den Pluspunkten zwischen r = .40 und r = .54, bei den Minuspunkten zwischen r = .31 und r = .36 (S. 41). Nach Auspartialisieren des Aktivitätslevels (operationalisiert als "Anklickrate" bzw. als die Summe aller Plus- und Minuspunkte) senken sich die Interkorrelationen der Sekundärskalen deutlich ab. Dies lässt vermuten, dass ein generelles Aktivitätslevel als Störgröße auf den Zusammenhang zwischen Plus- und Minuspunkten wirkt. Um dies zu berücksichtigen, wurde ein Cut-off-Wert von 10 Punkten als Indikator einer auffälligen Testbearbeitung festgelegt (S. 42; siehe unter "Auswertungsmodus").
Zur Überprüfung der Konstruktvalidität wurden explorative Faktorenanalysen (Hauptkomponentenanalysen mit Varimaxrotation) getrennt für alle Items sowie für Plus- und Minuspunkte durchgeführt (Lieberei, 2017, S. 44 f.). Sie erbrachten erwartungsgemäß keine zufriedenstellenden Ergebnisse (S. 10, S. 44 f.).
 

Gütekriterien

 

Objektivität

Durchführungs-, Auswertungs- und Interpretationsobjektivität sind aufgrund der standardisierten Durchführung und einfachen Auswertungsregeln gegeben.
 

Reliabilität

Zur Ermittlung der Reliabilität wurden die interne Konsistenz (Cronbachs Alpha) sowie die Split-half-Reliabilität berechnet. Der Autor weist auf den Behelfscharakter dieser Maße hin: Da die Forderung nach lokaler stochastischer Unabhängigkeit der Einzelitems in aller Regel bei Postkörben verletzt ist (die Nicht-Bearbeitung eines Problems impliziert häufig, dass ein anderes Problem ebenfalls nicht gelöst werden kann), ist auch die Konsistenzanalyse problematisch. Deshalb wären beim Postkorb prinzipiell Retestreliabilitäten vorzuziehen. Sie konnten aber nicht realisiert werden, weil sich hierfür kein geeignetes betriebliches Untersuchungsumfeld ergab (Lieberei, 2017, S. 38).
Die internen Konsistenzen (Cronbachs Alpha) liegen für die Differenzwerte bei Alpha = .78 für die Gesamtskala Komplexes Problemlösen sowie zwischen Alpha = .33 und Alpha = .65 für die Sekundärskalen; die Split-half-Reliabilitäten für die Differenzwerte liegen bei rtt = .60 für die Gesamtskala sowie zwischen rtt = .41 und rtt = .45 für die Sekundärskalen. In Tabelle 2 finden sich die Reliabilitätskoeffizienten für die Differenzwerte sowie für die Plus- und Minuspunkte.

Tabelle 2
Interne Konsistenzen (Cronbachs Alpha) und Split-half-Reliabilitäten (rtt) der Gesamtskala und der Sekundärskalen des Postkorbs "OfficeMail" (Lieberei, 2017, S. 38 f.)
---------------------------------------------------------------------- 
Skala Anzahl Interne Split-half-
Items Konsistenz Reliabilität
----------------------------------------------------------------------
Komplexes Problemlöseverhalten
- Differenzwert 78 .78 .60
- Pluspunkte 32 .81 .60
- Minuspunkte 46 .62 .60
----------------------------------------------------------------------
Sekundärskalen
----------------------------------------------------------------------
Analyseverhalten
- Differenzwert 17 .60 .41
- Pluspunkte 8 .62 .50
- Minuspunkte 9 .37 .30
Organisations- und Planungsverhalten
- Differenzwert 32 .65 .42
- Pluspunkte 15 .70 .46
- Minuspunkte 17 .38 .37
Entscheidungsverhalten
- Differenzwert 29 .33 .45
- Pluspunkte 9 .43 .31
- Minuspunkte 20 .30 .38
----------------------------------------------------------------------
Gesamtstichprobe (N) 342 342 342
----------------------------------------------------------------------

Für die drei Sekundärskalen sind die Reliabilitätskennwerte als niedrig einzustufen, wenngleich der Autor darauf hinweist, dass sie in ihrer Höhe den Vergleichswerten in der Literatur entsprechen. Für diagnostische Zwecke empfiehlt er jedoch, nur den Differenzwert der Gesamtskala Komplexes Problemlöseverhalten zu verwenden (Lieberei, 2017, S. 40). Für die zugehörigen Standardwerte können zudem Vertrauensintervalle (95%) und kritische Differenzen (95%) berechnet werden (S. 40).
 

Validität

Nach Lieberei (2017, S. 40) ist die Inhaltsvalidität des Verfahrens dadurch gesichert, dass es auf systematischen Arbeits- und Anforderungsanalysen basiert und die Berufsrealität des unteren bis mittleren Managements branchenübergreifend abbildet (siehe unter "Testkonstruktion").
Konvergente Validität. Zur Überprüfung der konvergenten Validität wurden Korrelationen mit dem Grundintelligenztest CFT 3 (Weiß, 1971; PSYNDEX Tests-Nr. 9000093) bei 102 Probanden berechnet: Es ergaben sich mittlere Zusammenhänge zwischen Intelligenztest und Differenzwert Komplexes Problemlöseverhalten (r = .40) sowie den zugehörigen Pluspunkten (r = .34); die Minuspunkte korrelierten schwach negativ mit dem CFT 3 Gesamtwert (r = -.17). Damit bietet die Gesamtskala Komplexes Problemlöseverhalten nach Ansicht des Autors eine gute Ergänzung kognitiver Leistungstests, zumal Postkorbverfahren bei Auswahlprozessen eine höhere Augenscheinvalidität aufweisen als Intelligenztests (Lieberei, 2017, S. 42).
Diskriminante Validität. In zwei Studien mit 71 Teilnehmern (Bewerber um eine Führungsposition bzw. eine innerbetriebliche Fortbildung; 14 Frauen, 57 Männer; Lieberei, 2017, S. 29) an zwei verschiedenen Assessment Centern (AC) wurden Koeffizienten zur diskriminanten Validität berechnet. Hierzu wurde jeweils der AC-Wert in verhaltensbasierten und sozial-kommunikativen Aufgabenstellungen (Gruppendiskussionen, Präsentation, Kunden- oder Mitarbeitergespräch) zusammengefasst und mit dem Postkorb-Ergebnis korreliert. Als gemittelte Korrelation aus den beiden Studien ergab sich ein Wert von r = .01 für den Differenzwert der Gesamtskala Komplexes Problemlöseverhalten, was der Autor als Hinweis auf die inkrementelle Validität des Postkorbs "OfficeMail" wertet (Lieberei, 2017, S. 43).
 

Normierung

Es liegen nach Alter und Geschlecht differenzierte Normen (Standard-, Stanine- und Prozentrangwerte) aus einer Repräsentativerhebung zwischen 2010 und 2014 vor (N = 342; 45% Frauen, 55% Männer; 43% 20-30 Jahre, 57% 31-60 Jahre; 63% Abitur, 33% Hochschulabschluss; Lieberei, 2017, S. 29 f., S. 50). Des Weiteren stehen als Vergleichswerte Mittelwerte und Standardabweichungen der Differenzwerte für die Gesamtgruppe sowie differenziert nach Altersgruppe und Geschlecht zur Verfügung (S. 50-53).
 

Anwendungsmöglichkeiten

Das Verfahren kann in der Personalauswahl zur berufsbezogenen Eignungsdiagnostik bei Bewerbern um Führungspositionen im unteren und mittleren Management eingesetzt werden. Daneben kann es auch zur Status- oder Prozessdiagnostik in der Personalentwicklung und Berufsberatung genutzt werden (Lieberei, 2017, S. 46-49).
 

Bewertung

Mit dem Postkorb "OfficeMail" wird ein sorgsam konstruiertes und gut dokumentiertes Instrument für die simulationsorientierte Eignungsdiagnostik im Managementbereich vorgelegt. Das Manual ist sehr gut strukturiert und stellt die wesentlichen Informationen kompakt und übersichtlich dar. Positiv hervorzuheben ist auch, dass im Anhang die Informationen des Manuals den "Anforderungen an Handhabungs- und Verfahrenshinweisen" der DIN 33430-2016-07 (nach Checkliste Nr. 1, Version 3 von Kersting, 2017) zugeordnet sind und so methodische Qualitätsansprüche in vorbildlicher Weise erfüllt werden.
Das Verfahren weist akzeptable Werte für die Reliabilität und konstruktbezogene Validität auf und ist vor allem in der Computerversion ökonomisch. Bezüglich weiterer Testgütekriterien besteht jedoch noch Forschungsbedarf, wie der Testautor selbstkritisch anmerkt (Lieberei, 2017, S. 49). Insbesondere ist weitere Forschung zur Retestreliabilität sowie zur Vorhersagevalidität erforderlich. Hier sei aber auch ein weiterer wichtiger Hinweis des Autors erwähnt: Die Klassische Testtheorie lässt sich bei Postkörben nur beschränkt anwenden. Versucht man, ihre Kriterien zu optimieren, so steht man vor einem grundsätzlichen Dilemma, weil man in der Regel gleichzeitig die Komplexität des Problemlöseszenarios reduzieren muss. Da Führungs- und Managementsituationen aber komplexe Problemlöseszenarien darstellen, reduziert man damit zugleich die Praxisnähe des Instrumentes (Lieberei, 2017, S. 49). Als einen denkbaren Kompromiss schlägt der Testautor vor, analog zum Prinzip von Situational Judgment Tests (Whetzel & McDaniel, 2009) Postkorbverfahren zu entwickeln, die aus mehreren, aber weniger komplexen Problemlöseszenarien bestehen. Dies scheint nach vorliegender Auffassung ein lohnenswerter Weg zu sein, auf dessen Umsetzung man gespannt sein darf.
Angesichts des noch ausstehenden Nachweises zur prädiktiven Validität erscheint eine vom Autor erwähnte Verwendungsmöglichkeit ein guter Zwischenweg zu sein (Lieberei, 2017, S. 43): Der Postkorb "OfficeMail" könnte zusammen mit einem Intelligenztest wie z. B. dem CFT 3 eingesetzt werden. Durch die Kombination könnten wichtige Prädiktoren von Berufserfolg und komplexen Problemlöseleistungen zugleich valide und praxisnah untersucht werden. Zudem genießen Postkorbverfahren im Gegensatz zu Intelligenztests eine hohe Augenscheinvalidität und Akzeptanz bei Bewerbern (Funke, 1993, S. 121), was für die Personalgewinnung ein ebenfalls wichtiger Aspekt ist.
Im Großen und Ganzen handelt es sich bei dem Postkorb "OfficeMail" um ein sehr brauchbares Instrument, das mit seinem zeitgemäßen und alltagsnahen Szenario der E-Mailbearbeitung unter Zeitdruck gute Dienste bei der wissenschaftlich fundierten Bewerberauswahl leisten kann.
 

Literatur

  • Funke, J. (1993). Computergestützte Arbeitsproben: Begriffsklärung, Beispiele sowie Entwicklungspotentiale. Zeitschrift für Arbeits- und Organisationspsychologie, 37 (3), 119-129.
  • Höft, S. & Funke, U. (2006). Simulationsorientierte Verfahren in der Personalauswahl. In H. Schuler (Hrsg.), Lehrbuch der Personalpsychologie (2., überarbeitete und erweiterte Auflage, S. 145-188). Göttingen: Hogrefe.
  • Kersting, M. (2017). Zur Information über und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens - Die DIN SCREEN Checkliste 1, Version 3. In Diagnostik- und Testkuratorium (Hrsg.), Personalauswahl kompetent gestalten: Grundlagen und Praxis der Eignungsdiagnostik nach DIN 33430 (S. 223-244). Berlin: Springer.
  • Lieberei, W. (2017). Postkorb "OfficeMail". Göttingen: Hogrefe.
  • Musch, J., Rahn, B. & Lieberei, W. (2001). BPM. Bonner Postkorb-Module. Die Postkörbe CaterTrans, Chronos, Minos und Aerowings. Göttingen: Hogrefe.
  • Sarges, W. (2013). Eignungsdiagnostik im Managementbereich. In W. Sarges (Hrsg.), Management-Diagnostik (4., vollständig überarbeitete und erweiterte Auflage). Göttingen: Hogrefe.
  • Weiß, R. (1971). Grundintelligenztest Skala 3. Braunschweig: Westermann.
  • Whetzel, D. & McDaniel, M. A. (2009). Situational Judgment Tests: An overview of current research. Human Resource Management Review, 19, 188-202.

 APA-Schlagworte/PSYNDEX Terms:

Classical Test Theory; Selection Tests; Test Norms; Industrial and Organizational Psychology; Management Personnel; Personnel Evaluation; Problem Solving; Personnel Selection; Management Personnel; Job Applicant Screening

Klassische Testtheorie; Auslesetests; Testnormen; Arbeits- und Organisationspsychologie; Führungskräfte; Personalbeurteilung; Problemlösen; Personalauswahl; Führungskräfte; Bewerberauslese

 weitere Schlagworte:

2017; Arbeitsverhalten; Untere bis mittlere Hierarchieebene; 78 Items; ab 20 Jahre; bis 60 Jahre; Gesamtskala: Komplexes Problemlöseverhalten; Sekundärskalen: 1 Analyseverhalten, 2 Organisations- und Planungsverhalten, 3 Entscheidungsverhalten; Normierungs-/Untersuchungsjahr: 2014; Stichprobe(n): 342
 Klassifikation:

Berufs- und arbeitspsychologische Tests; Personalmanagement, Personalauslese und Personalausbildung; Personalbewertung und Arbeitsleistung
Auslesetests; Personalauswahl- und Personalbeurteilungsverfahren sowie Assessment-Center-Verfahren
4.4; 7.3.2.4
 Anwendungstyp: Selection
 Art der Publikation: Test; Test in Print (90; 911)
 Sprache: German
 Land: Germany
 Publikationsjahr: 2017
 Änderungsdatum: 201803
 info@leibniz-psychology.org | © 1996-2018 ZPID