dagpsiИзвестия Дагестанского государственного педагогического университета. Психолого-педагогические наукиDagestan State Pedagogical University. Journal. Psychological and Pedagogical Sciences1995-0659Dagestan State Pedagogical University10.31161/1995-0659-2018-12-2-43-50dagpsi-543Research ArticleПЕДАГОГИЧЕСКИЕ НАУКИPEDAGOGICAL SCIENCEАРГУМЕНТАЦИИ И ДОКАЗАТЕЛЬСТВА НАДЕЖНОСТИ ОЦЕНОК КОМПЕТЕНЦИЙ СТУДЕНТОВARGUMENTS AND EVIDENCE OF RELIABILITY ASSESSMENT OF STUDENTS’ COMPETENCESЕфремоваН. Ф.EfremovaN. F.

Ефремова Надежда Федоровна, доктор педагогических наук, профессор, заведующая кафедрой педагогических измерений.

Ростов-на-Дону.

Nadezhda F. Efremova, Doctor of Pedagogy, professor, the head of the chair of Pedagogical Measurements. 

Rostov-on-Don.

nefremova61@donstu.ruДонской государственный технический университетюРоссияDon State Technical University (DSTU).Russian Federation2018130920181224350Copyright © Ефремова Н.Ф., 20182018Ефремова Н.Ф.Efremova N.F.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://dagpsi.elpub.ru/jour/article/view/543

Целью данного исследования является новый подход к обеспечению надежного оценивания компетенций обучающихся.

Метод

Метод. Анализ возможностей нового метода проектирования педагогических измерителей на основе паттерн-дизайна Evidence-Centered Design (ECD), обеспечивающего доказательства и аргументацию оценок испытуемых. Метод ECD нашел широкое применение в зарубежном образовании, но мало известен в отечественной системе образования.

Результаты

Результаты. Предложен алгоритм проектирования средств оценки подготовленности студентов на основе ECD путем сопряжения модели студента (знаний и компетенций) и модели значимого задания с набором доказательств и аргументации наблюдаемых результатов деятельности обучающегося. Использование доказательного дизайна при разработке оценочных средств создает надежную основу для установления связи между оценкой и корректировкой образовательной политики.

Выводы

Выводы. Для эффективной организации образовательного процесса существенную роль играет обратная связь, обеспечиваемая достоверностью оценок, что в свою очередь требует разработки надежного оценочного инструментария. Проблема связана с тем, что конструирование оценочных средств вызывает сложности у преподавателей. Такой подход может успешно применяться как при оценке знаний обучающихся, так и при оценке компетенций, обеспечивая повышение надежности результатов, связь между процессами разработки системы оценки и обеспечением условий деятельности, чтобы с применением знаний студенты показали, что и как могут делать.  

The aim of this study is a new approach to ensuring the reliable evaluation of the students’ competencies.

Method

Method. Analysis of the possibilities of the new method of designing the pedagogical meters based on the pattern-design Evidence-Centered Design (ECD), providing the evidence and argumentation of assessments of subjects. The ECD method has found wide application in foreign education, but is little known in the domestic education system.

Results

Results. The algorithm for designing students' assessment tools based on ECD is proposed by connecting the model of the student (knowledge and competences) and the model of a significant task with a set of evidence and argumentation of the observed results of the student's activity. The use of evidence-based design in the development of evaluation tools creates a reliable basis for establishing a link between the assessment and adjustment of educational policies.

Conclusions

Conclusions. For effective organization of the educational process a feedback plays an important role, which is ensured by the reliability of estimates, which in turn requires the development of a reliable evaluation tool. The problem is related to the fact that the construction of evaluation tools causes difficulties for teachers. This approach can be successfully applied both in the evaluation of students’ knowledge and in the evaluation of competencies, ensuring the reliability of results, the relationship between the processes of developing the assessment system and ensuring the conditions of activity, so that with the use of knowledge, students show what and how they can do.

оценкакомпетенциидоказательный дизайноценочное средствоEvidenceCentered Designassessmentcompetenceevidence designevaluative toolEvidence-Centered DesignЭРАЗМУС+ 575456-EPP-1-2016-1-RU-EPPJMO-CHAIRReferencesЕфремова Н. Ф. Подходы к оцениванию компетенций студентов первого курса, приступающих к освоению основных образовательных программ // Вестник Донского государственного технического университета. 2010. Т. 10. № 5 (48). С. 774-782.Efremova N. F. Approaches to assessing the competence of first-year students, embarking on the development of basic educational programs. Vestnik Donskogo gosudarstvennogo tekhnicheskogo universiteta [Bulletin of Don State Technical University]. 2010. Vol. 10. No. 5 (48). Pp. 774-782. (In Russian)Ефремова Н. Ф. Учебные достижения как объект тестирования и показатель качества в образовании // Вопросы тестирования в образовании. 2004. № 9. С. 39-50.Efremova N. F. Educational achievements as an object of testing and an indicator of quality in education. Voprosy testirovaniya v obrazovanii [Issues of Testing in Education]. 2004. No. 9. Pp. 39-50. (In Russian)Assessing model-based reasoning using evidence-centered design: a suite of research-based design patterns by R. J. Mislevy, G. Haertel, M. Riconscente, D. Rutstein, C. Ziker. 2017, Springer Publ. 130 p.Assessing model-based reasoning using evidence-centered design: a suite of research-based design patterns by R. J. Mislevy, G. Haertel, M. Riconscente, D. Rutstein, C. Ziker. 2017, Springer Publ. 130 p. (In Russian)Griffin P., McGaw B., Editors E. Assessment and Teaching of 21st Century Skills. Springer Dordrecht Heidelberg. London, New York, 2014. 362 p.Griffin P., McGaw B., Editors E. Assessment and Teaching of 21st Century Skills. Springer Dordrecht Heidelberg. London, New York, 2014. 362 p. (In Russian)Messick S. The interplay of evidence and consequences in the validation of performance assessments. Education Researcher, 1994. 32 (2). Pp. 13–23.Messick S. The interplay of evidence and consequences in the validation of performance assessments. Education Researcher, 1994. 32 (2). Pp. 13–23. (In Russian)Mislevy R. J., Almond R. G., & Lukas J. F. (2003). A brief introduction to evidence-centered design. (ETS Research Report RR-03-16). Princeton, NJ: Educational Testing Service. 2003. 37 p.Mislevy R. J., Almond R. G., & Lukas J. F. (2003). A brief introduction to evidence-centered design. (ETS Research Report RR-03-16). Princeton, NJ: Educational Testing Service. 2003. 37 p.Mislevy R. J., Levy R. Bayesian psychometric modeling from an evidence-centered design perspective. In: Rao, C.R., Sinharay, S. eds. Handbook of statistics. Elsevier, Amsterdam, 2007. Pp. 839-865.Mislevy R. J., Levy R. Bayesian psychometric modeling from an evidence-centered design perspective. In: Rao, C.R., Sinharay, S. eds. Handbook of statistics. Elsevier, Amsterdam, 2007. Pp. 839-865.Sukin T., Dunn J. Validity Argument for a Statewide Alternative Assessment. Addressing Inferences with Novel Approaches. National Council for Educational Measurement. Vancouver, 2012. 33 p.Sukin T., Dunn J. Validity Argument for a Statewide Alternative Assessment. Addressing Inferences with Novel Approaches. National Council for Educational Measurement. Vancouver, 2012. 33 p.Toulmin S. E. The uses of argument. Cambridge, Cambridge University Press Publ., 1958. 264 p.Toulmin S. E. The uses of argument. Cambridge, Cambridge University Press Publ., 1958. 264 p.Van der Linden, W. J., & Glas, C.A.W. (2010). Elements of adaptive testing. New York, Springer Publ., 2010. 462 p.Van der Linden, W. J., & Glas, C.A.W. (2010). Elements of adaptive testing. New York, Springer Publ., 2010. 462 p.

The authors declare that there are no conflicts of interest present.