D Development of a Performance Measurement Tool for Analyzing Small Engine ProblemsFor Vocational Certificate StudentsA Sequential  Exploratory Mixed Method Research: -

จักรกรินทร์  นครชัย; ภัทราพร  เกษสังข์; ชัยมงคล ปินะสา

Authors

จักรกรินทร์ นครชัย มหาวิทยาลัยราชภัฏเลย
รองศาสตราจารย์ ดร.ภัทราพร เกษสังข์ มหาวิทยาลัยราชภัฏเลย
ดร.ชัยมงคล ปินะสา มหาวิทยาลัยราชภัฏเลย

Keywords:

Troubleshooting Competency, Small Engines, Mixed Methods Research, Quality, Competency-Based Assessment

Abstract

The objectives of this research were: 1) to study the components and behavioral indicators of small engine diagnostic competencies from the perspectives of stakeholders, and 2) to develop and validate assessment tools for small engine diagnostic competencies. The study employed an exploratory sequential mixed methods design, conducted in two phases. Phase 1 involved qualitative research through focus group discussions with 12 purposively selected key informants, including 5 instructors and 7 students. Phase 2 focused on the development and validation of quantitative assessment tools, which were pilot tested with 30 automotive technology students selected through stratified random sampling. Data were analyzed using content analysis, Item-Objective Congruence (IOC), item difficulty (𝑝) discrimination index (𝑟) and reliability coefficients (𝐾𝑅−20, 𝛼) Additionally, 95% Confidence Intervals (CI) and the Standard Error of Measurement (SEM) were reported The results revealed that. 1) Small engine diagnostic competencies comprise five dimensions: Safety and Discipline, Responsibility, Perseverance in Problem Solving, Teamwork, and Technology Utilization and Professional Ethics. 2) The developed assessment suite demonstrated high-quality standards across three instruments: Instrument 1: Knowledge Test exhibited an IOC range of 0.67–1.00, (𝑝)values of 0.43–0.76, (𝑟)values of 0.40–0.82, a reliability of 0.941 [95% CI: 0.915, 0.965], and an SEM of 0.013. Instrument 2: Performance Rubrics showed an I-CVI range of 0.67–1.00, a reliability of 0.920 [95% CI: 0.879, 0.961], and an SEM of 0.021. Instrument 3: Attribute Scale demonstrated an I-CVI range of 0.67–1.00, a reliability of 0.936 [95% CI: 0.899, 0.973], and an SEM of 0.019.

References

บุญชม ศรีสะอาด. (2560). การวิจัยเบื้องต้น. พิมพ์ครั้งที่ 10. สุวีริยาสาส์น.

ประสิทธิ์ พงษ์ศิริและคณะ. (2563). การพัฒนารูปแบบการฝึกอบรมเพื่อเสริมสร้างสมรรถนะการวิเคราะห์ปัญหาเครื่องยนต์เล็กสำหรับนักเรียนอาชีวศึกษา. วารสารวิชาการครูอาชีวศึกษา, 4(2), 45-56.

พิเชษฐ์ มณีวงษ์. (2562). การสร้างและหาคุณภาพเครื่องมือวัดและประเมินผลตามฐานสมรรถนะรายวิชาเครื่องยนต์เล็ก. วารสารครุศาสตร์อุตสาหกรรม มหาวิทยาลัยเทคโนโลยีราชมงคลธัญบุรี, 7(2), 89-102.

Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1956). Taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive domain. David McKay.

Creswell, J. W., & Plano Clark, V. L. (2018). Designing and conducting mixed methods research (3rd ed.). SAGE Publications.

Hodge, S. (2014). Interpreting vocational education and training: Classifications and practices. Springer. https://doi.org/10.1007/978-3-319-27209-2

Jonassen, D. H. (2011). Learning to solve problems: A handbook for designing problem-solving learning environments. Routledge.

Krathwohl, D. R., Bloom, B. S., & Masia, B. B. (1964). Taxonomy of educational objectives: The classification of educational goals. Handbook II: Affective domain. David McKay.

Mulder, M. (Ed.). (2017). Competence-based vocational and professional education: Bridging the worlds of work and education. Springer. https://doi.org/10.1007/978-3-319-41713-4

Stiggins, R. J., & Chappuis, J. (2012). An introduction to student-involved assessment for learning. 6th ed. Pearson.

Sullivan, R. (2005). The competency-based approach to training. McGraw-Hill Education