Evaluating Essay Assessment: Teacher-Developed Criteria versus Rubrics. Intra/Inter Reliability and Teachers’ Opinions /Procjena vrednovanja eseja: kriteriji vrednovanja koje su izradili nastavnici i rubrike. Individualna i međusobna pouzdanost ocjenjivač

Abstract

Abstract

Rater reliability plays a key role in essay assessment, which has to be valid, reliable and effective. The aims of this study are: to determine intra/inter reliability variations based on two sets of grades that five teachers/raters produced via assessing argumentative essays written by 10 students learning French as a foreign language in accordance with the criteria they had developed and with a rubric; to understand the criteria they used in the assessment process; and to note what the raters/teachers who used rubrics for the first time within the scope of this study think about rubrics. Quantitative data set has revealed that intra-rater reliability between the grades assigned, through the use of teacher-developed criteria and the rubrics, is low, that inter-rater reliability is again low for the grades based on teacher-developed criteria, and that inter-rater reliability is more consistent for assessments completed through the use of rubrics. Qualitative data obtained during individual interviews have shown that raters employed different criteria. During the second round of individual interviews following the use of rubrics, raters have noted that rubrics helped them to become more objective, contributed positively to the assessment process, and can be utilized to support students’ learning and to enhance teachers’ instruction. 

Key words: evaluation; mixed-method research design; writing.

---

Sažetak

Pouzdanost ocjenjivača ima ključnu ulogu u vrednovanju eseja, koje mora biti valjano, pouzdano i učinkovito. Ciljevi ovoga istraživanja su: odrediti individualnu i međusobnu pouzdanost ocjenjivača na temelju dviju skupina ocjena koje je pet nastavnika/ocjenjivača dalo tijekom vrednovanja 10 raspravljačkih eseja koje su napisali studenti koji uče francuski jezik kao strani jezik, a vrednovanje se provodilo u skladu s kriterijima koje su nastavnici sami izradili i uz pomoć rubrika; razumjeti kriterije kojima su se koristili u procesu vrednovanja; zabilježiti što ocjenjivači/nastavnici koji su se prvi put u procesu vrednovanja koristili rubrikama misle o takvom načinu vrednovanja. Kvantitativni podaci pokazali su da je individualna pouzdanost ocjenjivača s obzirom na ocjene koje su dali na temelju vlastitih kriterija vrednovanja i na temelju rubrika niska; da je međusobna pouzdanost ocjenjivača niska i kada se radi o ocjenama na temelju vlastitih kriterija te da je međusobna pouzdanost ocjenjivača veća u procesu vrednovanja uz pomoć rubrika. Kvalitativni podaci dobiveni putem metode individualnih intervjua pokazali su da su se ocjenjivači koristili različitim kriterijima. Tijekom drugoga kruga individualnih intervjua nakon primjene rubrika ocjenjivači su primijetili da su im rubrike pomogle u postizanju veće objektivnosti, da su pozitivno utjecale na proces vrednovanja i da se mogu koristiti kako bi pomogli studentima u procesu učenja i kako bi poboljšali provedbu nastavnoga procesa. 

Ključne riječi: procjena; mješovit model istraživanja; pisanje