Validierung der (Pearson) PTE‑Core‑Sprechkriterien und ‑Bewertung im Vergleich zu nicht‑lehrenden Beurteilenden hinsichtlich der allgemeinen Englischkompetenz für Beruf und Alltag

Diese Validierungsstudie untersucht, ob die Sprechbewertung des PTE Core widerspiegelt, wie Nicht‑Expertinnen und ‑Experten Englisch in Berufs‑ und Alltagssituationen einschätzen. Mittels Verbalprotokollen wird analysiert, welche Aspekte der Sprache Laienurteile prägen und wie diese mit der automatisierten Bewertung zusammenhängen.

Eckdaten

Kontakt

Beschreibung

Hintergrund

Der Pearson PTE Core bewertet die allgemeine Englischkompetenz für berufliche und alltägliche Kommunikationssituationen und ist an die Canadian Language Benchmarks (CLB) angebunden. Die Sprechbewertung erfolgt über automatisierte Scoring‑Modelle, die auf Expertinnen‑ und Expertenurteilen basieren. Für einen Test, der auf allgemeine Kommunikation ausgerichtet ist, ist es jedoch entscheidend, dass die zugrunde liegenden Kriterien die Wahrnehmungen nicht‑lehrender Personen widerspiegeln. Dieses Projekt untersucht die mögliche Lücke zwischen expertengesteuerten Kriterien und realen Hörerwahrnehmungen.

Ziele

Das Projekt untersucht, ob die Sprechkriterien und automatisierten Scores des PTE Core mit den Urteilen nicht‑lehrender Personen übereinstimmen. Es analysiert:

wie linguistische Laien PTE‑Core‑Sprechleistungen bewerten,
welche sprachlichen Aspekte ihre Entscheidungen beeinflussen, und
wie ihre Urteile mit den offiziellen automatisierten Scores verglichen werden können.

Ziel ist es, Evidenz zur Validität der PTE‑Core‑Sprechbewertung zu liefern.

Vorgehen

Die Studie nutzt Verbal Protocol Analysis (VPA), um die Denkprozesse der Teilnehmenden während der Bewertung authentischer PTE‑Core‑Sprechproben (CLB 3–10) zu erfassen. Die Teilnehmenden bewerten die kommunikative Fähigkeit der Sprecherinnen und Sprecher und verbalisieren die Gründe für ihre Entscheidungen. Die verbalen Daten werden transkribiert, kodiert und mittels Code‑Häufigkeits‑ und Korrespondenzanalysen ausgewertet. Die Laienurteile werden mit den offiziellen PTE‑Core‑Scores verglichen, um Übereinstimmungen oder Abweichungen sichtbar zu machen. Die Ergebnisse tragen zur Verbesserung der Repräsentativität und Fairness automatisierter Sprechbewertung bei.