Please use this identifier to cite or link to this item:
https://doi.org/10.48548/pubdata-463
| Resource type | Dissertation |
| Title(s) | Ein Validitätsargument für den Mathematiktest der National Educational Panel Study für die neunte Klassenstufe |
| Alternative title(s) | A Validity Argument for the Mathematics Test of the National Educational Panel Study for Ninth Graders |
| DOI | 10.48548/pubdata-463 |
| Handle | 20.500.14123/498 |
| Creator | Ham, Ann-Katrin van den  1136031731 |
| Referee | Ehmke, Timo  0000-0001-9572-2185 136665438Freund, Philipp Alexander 131751328Heinze, Aiso 0000-0002-7408-0395 123296420 |
| Advisor | Ehmke, Timo 0000-0001-9572-2185 136665438 |
| Abstract | The National Educational Panel Study (NEPS) analyzes how competencies, e.g. mathematical competence, develop over the lifespan, how they influence educational careers and how far competence development is related to learning opportunities. For data collection a multicohort-sequence design with different instruments at each educational stage is used (Blossfeld & von Maurice, 2011). A requirement for appropriate data use is the valid interpretation of the test scores. This dissertation contributes to the validation of the NEPS test score interpretations by an extensive analysis of the mathematics test for ninth graders (K9). Therefore, it was examined whether the differences in the observed performance reflect differences in the mathematics competence as defined in the NEPS framework. To validate this test score interpretation a chain of arguments based on the Argument Based Approach from Kane (2013) was developed for the NEPS K9 mathematics test. The analyses were based on the scientific use file of the NEPS main study in 2010. The sample consisted of 15.239 ninth graders. An additional validation study was conducted to examine the relationship of the NEPS mathematics tests with other measures of mathematical and non-mathematical competencies. For the assessment of mathematics and science competence, items from the Programme for International Student Assessment (PISA) and from the German National Assessment (LV) were used. In addition a cognitive ability test was applied. Overall 1.965 students from 80 schools were selected. To prepare the validity argument, literature reviews of already published analyses and an expert review of the NEPS mathematics item characteristics were conducted. Furthermore, the competence data were scaled using Item Response Theory. Additionally, dimensional analyses were performed and correlations with criteria of mathematics competence were calculated. The outcomes provided evidence for the validity of the NEPS test score interpretation. Yet, limitations and the need of further research were found. For example, there was no evidence supporting the assumption of one dimensionality of the NEPS mathematics test. Furthermore, additional analyses of the relationship with appropriate criteria of the target domain mathematics competence are desirable. The evidence found in this dissertation supports the test score interpretation ´differences in the rank order of the observed performance point to differences in the rank order of mathematics competence, as defined in the NEPS framework´. Relevant competence domains of the target domain could be identified, the scoring criteria were adequate and the relationship with the PISA and LV mathematics test fulfilled the expectations. In this manner, a complete chain of arguments was developed and recommendations for strengthening and extending the interpretation of test scores were formulated. The Argument Based Approach from Kane was proven to be a beneficial approach, which also allowed taking into account the Standards for Educational and Psychological Testing (American Educational Research Association, American Psychological Association, National Council on Measurement in Education, 2014). Das Nationale Bildungspanel (NEPS) untersucht wie sich Kompetenzen, unter anderem die mathematische Kompetenz, über die Lebensspanne entwickeln, wie diese die Bildungskarriere beeinflussen und inwiefern die Kompetenzentwicklung von Lerngelegenheiten abhängig ist. Erhoben werden die Daten mit Hilfe eines Multi-Kohorten-Sequenz-Designs, wobei in allen Bildungsetappen verschiedene Instrumente zum Einsatz kommen (Blossfeld & von Maurice, 2011). Um diese Daten sinnvoll nutzen zu können, müssen sie valide Testwertinterpretationen zulassen. Diese Arbeit leistet einen Beitrag zur Validierung der National Educational Panel Study (NEPS)-Testwertinterpretationen, indem der Mathematiktest für die neunte Klassenstufe (K9) umfassend analysiert wurde. Dabei wurde geprüft, ob die Unterschiede in der beobachteten Testleistung die Unterschiede in der mathematischen Fähigkeit wiedergeben, wie diese im NEPS-Rahmenkonzept definiert sind. Für die Validierung wurde eine Argumentationskette für den NEPS-K9-Mathematiktest, angelehnt an den Argument Based Approach von Kane (2013), entwickelt. Für die Auswertung wurde der scientific use file der NEPS-Haupterhebung 2010 verwendet. Die Stichprobe dieser Studie bestand aus 15239 Schülerinnen und Schülern der neunten Jahrgangsstufe. Für die Untersuchung der Zusammenhänge des NEPS-Mathematiktests mit anderen Messungen mathematischer und nicht mathematischer Kompetenz wurde zusätzlich eine Validierungsstudie durchgeführt. Zur Erfassung der mathematischen und naturwissenschaftlichen Kompetenz wurden in dieser Studie neben den NEPS-Testinstrumenten Aufgaben aus dem Programme for International Student Assessment (PISA) und dem IQB-Ländervergleich (LV) eingesetzt. Zusätzlich wurde ein kognitiver Fähigkeitstest verwendet. Insgesamt wurden 80 Schulen mit 1965 Schülerinnen und Schülern der neunten Klassenstufe für die Teilnahme an der Studie ausgewählt. Zur Vorbereitung des Validitätsargumentes wurden Literaturreviews bereits veröffentlichter Analysen und ein Expertenreview zu den Merkmalen der NEPS-Mathematikaufgaben durchgeführt. Des Weiteren wurden die Kompetenzdaten mit Hilfe von Modellen der Item Response Theorie skaliert und dimensional analysiert. Außerdem wurden korrelative Zusammenhänge mit Kriterien mathematischer Kompetenz berechnet. Die Ergebnisse liefern viele Hinweise bezüglich der Validität der Testwertinterpretationen, jedoch wurden auch einige Einschränkungen und weiterer Forschungsbedarf aufgezeigt. Beispielsweise ließ sich die Annahme der Eindimensionalität des NEPS-Mathematiktests nicht bestätigen. Außerdem wären weitere Analysen bezüglich des Zusammenhanges mit geeigneten Kriterien für die Zieldomäne Mathematische Kompetenz für eine Erweiterung der Testwertinterpretationen wünschenswert. Die gefundenen Evidenzen stützen jedoch die Testwertinterpretation ´die Unterschiede in der Rangfolge der beobachteten Testleistung deuten auf Unterschiede in der Rangfolge der Ausprägung der mathematischen Kompetenz, wie diese im Rahmenkonzept definiert wird´. So konnten für die Zieldomäne relevante Teilkompetenzen in den NEPS-Aufgaben identifiziert werden, waren die Bewertungskriterien angemessen und wurden erwartungsgemäße Zusammenhänge mit den Mathematiktests aus dem LV und PISA gefunden. Auf diese Weise konnte eine vollständige Argumentationskette für den NEPS-K9-Mathematiktest entwickelt, sowie Empfehlungen für die Stärkung und Erweiterung der Testwertinterpretation empfohlen werden. Der Argument Based Approach von Kane erwies sich dabei als hilfreicher Ansatz, in welchem die Vorgaben der Standards for Educational and Psychological Testing (American Educational Research Association, American Psychological Association, National Council on Measurement in Education, 2014) berücksichtigt werden konnten. |
| Language | German |
| Keywords | Unterricht |
| Date of defense | 2016-06-28 |
| Year of publication in PubData | 2016 |
| Publishing type | First publication |
| Date issued | 2016-09-27 |
| Creation context | Research |
| Granting Institution | Leuphana Universität Lüneburg |
| Published by | Medien- und Informationszentrum, Leuphana Universität Lüneburg |
Files in This Item:
| File | Size | Format | |
|---|---|---|---|
Diss_2016_vdHam_Dissertation_Validity_NEPS.pdf License: Nutzung nach Urheberrecht open-access | 4.12 MB | Adobe PDF | View/Open |
Items in PubData are protected by copyright, with all rights reserved, unless otherwise indicated.
Views
BibTeX
RIS
Item Export Bar
Datacite XML
OpenAIRE4
Access statistics
Page view(s): 77
Download(s): 12