การประเมินการเรียนรู้ของนักศึกษาและการพัฒนาระบบมาตรฐานที่ครอบคลุมสำหรับการวัดประสิทธิผลการสอนในโรงเรียนแพทย์ | BMC Medical Education

การประเมินหลักสูตรและคณาจารย์มีความสำคัญอย่างยิ่งสำหรับสถาบันอุดมศึกษาทุกแห่ง รวมถึงโรงเรียนแพทย์ การประเมินการสอนโดยนักศึกษา (SET) มักอยู่ในรูปแบบของแบบสอบถามที่ไม่ระบุชื่อ และถึงแม้ว่าเดิมทีจะพัฒนาขึ้นเพื่อประเมินหลักสูตรและโปรแกรมต่างๆ แต่เมื่อเวลาผ่านไป แบบสอบถามเหล่านี้ก็ถูกนำมาใช้เพื่อวัดประสิทธิผลของการสอนและนำไปสู่การตัดสินใจที่สำคัญเกี่ยวกับการสอน รวมถึงการพัฒนาวิชาชีพครู อย่างไรก็ตาม ปัจจัยและอคติบางอย่างอาจส่งผลต่อคะแนน SET และประสิทธิผลของการสอนไม่สามารถวัดได้อย่างเป็นกลาง แม้ว่าวรรณกรรมเกี่ยวกับการประเมินหลักสูตรและคณาจารย์ในสถาบันอุดมศึกษาทั่วไปจะได้รับการจัดทำขึ้นอย่างดีแล้ว แต่ก็ยังมีข้อกังวลเกี่ยวกับการใช้เครื่องมือเดียวกันนี้ในการประเมินหลักสูตรและคณาจารย์ในโปรแกรมทางการแพทย์ โดยเฉพาะอย่างยิ่ง SET ในสถาบันอุดมศึกษาทั่วไปไม่สามารถนำไปใช้กับการออกแบบและการดำเนินการหลักสูตรในโรงเรียนแพทย์ได้โดยตรง บทความนี้ให้ภาพรวมเกี่ยวกับวิธีการปรับปรุง SET ในระดับเครื่องมือ การจัดการ และการตีความ นอกจากนี้ บทความนี้ยังชี้ให้เห็นว่าโดยการใช้วิธีการต่างๆ เช่น การประเมินโดยเพื่อนร่วมงาน กลุ่มเป้าหมาย และการประเมินตนเอง เพื่อรวบรวมและตรวจสอบข้อมูลจากหลายแหล่ง รวมถึงนักศึกษา เพื่อนร่วมงาน ผู้จัดการโปรแกรม และการตระหนักรู้ในตนเอง สามารถสร้างระบบการประเมินที่ครอบคลุมได้ วัดประสิทธิผลการสอนอย่างมีประสิทธิภาพ สนับสนุนการพัฒนาวิชาชีพของนักการศึกษาทางการแพทย์ และปรับปรุงคุณภาพการสอนในการศึกษาทางการแพทย์
การประเมินหลักสูตรและโปรแกรมเป็นกระบวนการควบคุมคุณภาพภายในในสถาบันอุดมศึกษาทุกแห่ง รวมถึงโรงเรียนแพทย์ การประเมินการสอนโดยนักศึกษา (SET) มักอยู่ในรูปแบบของแบบสอบถามกระดาษหรือออนไลน์ที่ไม่ระบุชื่อ โดยใช้มาตราส่วนการให้คะแนน เช่น มาตราส่วนลิเคิร์ต (โดยปกติคือ 5, 7 หรือสูงกว่า) ซึ่งช่วยให้ผู้คนสามารถระบุความเห็นด้วยหรือไม่เห็นด้วยกับข้อความเฉพาะได้ [1,2,3] แม้ว่า SET จะถูกพัฒนาขึ้นเพื่อประเมินหลักสูตรและโปรแกรมเป็นหลัก แต่เมื่อเวลาผ่านไปก็ถูกนำมาใช้เพื่อวัดประสิทธิผลของการสอนด้วย [4, 5, 6] ประสิทธิผลของการสอนถือว่ามีความสำคัญ เนื่องจากสันนิษฐานว่ามีความสัมพันธ์เชิงบวกระหว่างประสิทธิผลของการสอนและการเรียนรู้ของนักศึกษา [7] แม้ว่าวรรณกรรมจะไม่ได้กำหนดประสิทธิผลของการฝึกอบรมไว้อย่างชัดเจน แต่โดยทั่วไปจะระบุผ่านลักษณะเฉพาะของการฝึกอบรม เช่น "ปฏิสัมพันธ์กลุ่ม" "การเตรียมการและการจัดการ" "การให้ข้อเสนอแนะแก่นักศึกษา" [8]
ข้อมูลที่ได้จาก SET สามารถให้ข้อมูลที่เป็นประโยชน์ เช่น จำเป็นต้องปรับสื่อการสอนหรือวิธีการสอนที่ใช้ในหลักสูตรใดหลักสูตรหนึ่งหรือไม่ SET ยังใช้ในการตัดสินใจที่สำคัญเกี่ยวกับการพัฒนาวิชาชีพครูอีกด้วย [4,5,6] อย่างไรก็ตาม ความเหมาะสมของแนวทางนี้เป็นที่น่าสงสัยเมื่อสถาบันอุดมศึกษาทำการตัดสินใจเกี่ยวกับคณาจารย์ เช่น การเลื่อนตำแหน่งทางวิชาการที่สูงขึ้น (ซึ่งมักเกี่ยวข้องกับอาวุโสและการเพิ่มเงินเดือน) และตำแหน่งบริหารที่สำคัญภายในสถาบัน [4, 9] นอกจากนี้ สถาบันมักกำหนดให้คณาจารย์ใหม่ต้องแนบ SET จากสถาบันเดิมมาในใบสมัครงานใหม่ ซึ่งไม่เพียงแต่ส่งผลต่อการเลื่อนตำแหน่งของคณาจารย์ภายในสถาบันเท่านั้น แต่ยังส่งผลต่อผู้ว่าจ้างใหม่ที่มีศักยภาพอีกด้วย [10]
แม้ว่าวรรณกรรมเกี่ยวกับหลักสูตรและการประเมินครูจะเป็นที่ยอมรับในสาขาการศึกษาระดับอุดมศึกษาทั่วไป แต่ก็ไม่ใช่เช่นนั้นในสาขาการแพทย์และการดูแลสุขภาพ [11] หลักสูตรและความต้องการของนักการศึกษาทางการแพทย์แตกต่างจากการศึกษาระดับอุดมศึกษาทั่วไป ตัวอย่างเช่น การเรียนรู้แบบทีมมักถูกนำมาใช้ในหลักสูตรการศึกษาทางการแพทย์แบบบูรณาการ ซึ่งหมายความว่าหลักสูตรของโรงเรียนแพทย์ประกอบด้วยหลักสูตรต่างๆ ที่สอนโดยคณาจารย์หลายท่านที่มีการฝึกอบรมและประสบการณ์ในสาขาวิชาทางการแพทย์ต่างๆ แม้ว่านักศึกษาจะได้รับประโยชน์จากความรู้เชิงลึกของผู้เชี่ยวชาญในสาขาภายใต้โครงสร้างนี้ แต่พวกเขามักเผชิญกับความท้าทายในการปรับตัวให้เข้ากับรูปแบบการสอนที่แตกต่างกันของครูแต่ละคน [1, 12, 13, 14]
แม้ว่าจะมีข้อแตกต่างระหว่างการศึกษาระดับอุดมศึกษาทั่วไปและการศึกษาทางการแพทย์ แต่ SET ที่ใช้ในระดับอุดมศึกษาทั่วไปก็ถูกนำมาใช้ในหลักสูตรการแพทย์และการดูแลสุขภาพด้วยเช่นกัน อย่างไรก็ตาม การนำ SET มาใช้ในการศึกษาระดับอุดมศึกษาทั่วไปนั้นก่อให้เกิดความท้าทายหลายประการในแง่ของหลักสูตรและการประเมินคณาจารย์ในโปรแกรมวิชาชีพด้านสุขภาพ [11] โดยเฉพาะอย่างยิ่ง เนื่องจากความแตกต่างในวิธีการสอนและคุณสมบัติของครู ผลการประเมินหลักสูตรอาจไม่รวมความคิดเห็นของนักเรียนเกี่ยวกับครูหรือชั้นเรียนทั้งหมด งานวิจัยของ Uytenhaage และ O'Neill (2015) [5] ชี้ให้เห็นว่าการขอให้นักเรียนให้คะแนนครูแต่ละคนในตอนท้ายของหลักสูตรอาจไม่เหมาะสม เนื่องจากนักเรียนแทบจะเป็นไปไม่ได้เลยที่จะจดจำและแสดงความคิดเห็นเกี่ยวกับคะแนนของครูหลายคน นอกจากนี้ ครูผู้สอนทางการแพทย์หลายคนยังเป็นแพทย์ ซึ่งการสอนเป็นเพียงส่วนเล็ก ๆ ของความรับผิดชอบของพวกเขา [15, 16] เนื่องจากพวกเขามีส่วนร่วมในการดูแลผู้ป่วยเป็นหลัก และในหลายกรณีก็เกี่ยวข้องกับการวิจัย พวกเขามักจะมีเวลาน้อยในการพัฒนาทักษะการสอนของตน อย่างไรก็ตาม แพทย์ในฐานะครูควรได้รับเวลา การสนับสนุน และข้อเสนอแนะเชิงสร้างสรรค์จากองค์กรของพวกเขา [16]
นักศึกษาแพทย์มักเป็นบุคคลที่มีแรงจูงใจสูงและขยันหมั่นเพียร ซึ่งประสบความสำเร็จในการเข้าศึกษาในโรงเรียนแพทย์ (ผ่านกระบวนการแข่งขันและเข้มงวดในระดับนานาชาติ) นอกจากนี้ ในระหว่างเรียนแพทย์ นักศึกษาแพทย์จะต้องได้รับความรู้จำนวนมากและพัฒนาทักษะจำนวนมากในระยะเวลาอันสั้น รวมถึงประสบความสำเร็จในการประเมินภายในที่ซับซ้อนและการประเมินระดับชาติที่ครอบคลุม [17,18,19,20] ดังนั้น เนื่องจากมาตรฐานที่สูงที่คาดหวังจากนักศึกษาแพทย์ นักศึกษาแพทย์อาจมีความคิดวิพากษ์วิจารณ์และมีความคาดหวังสูงกว่าต่อการสอนที่มีคุณภาพสูงกว่านักศึกษาในสาขาวิชาอื่น ๆ ด้วยเหตุนี้ นักศึกษาแพทย์อาจได้รับการประเมินจากอาจารย์ต่ำกว่านักศึกษาในสาขาวิชาอื่น ๆ ด้วยเหตุผลที่กล่าวมาข้างต้น ที่น่าสนใจคือ การศึกษาในอดีตแสดงให้เห็นถึงความสัมพันธ์เชิงบวกระหว่างแรงจูงใจของนักศึกษาและการประเมินอาจารย์แต่ละคน [21] นอกจากนี้ ในช่วง 20 ปีที่ผ่านมา หลักสูตรโรงเรียนแพทย์ส่วนใหญ่ทั่วโลกได้มีการบูรณาการในแนวดิ่ง [22] ทำให้นักศึกษาได้สัมผัสกับการปฏิบัติทางคลินิกตั้งแต่ปีแรก ๆ ของหลักสูตร ดังนั้นในช่วงไม่กี่ปีที่ผ่านมา แพทย์จึงมีส่วนร่วมในการให้ความรู้แก่นักศึกษาแพทย์มากขึ้น โดยสนับสนุนความสำคัญของการพัฒนา SET ที่ปรับให้เหมาะกับกลุ่มคณาจารย์เฉพาะกลุ่มตั้งแต่ช่วงต้นของหลักสูตร [22]
เนื่องจากลักษณะเฉพาะของการศึกษาทางการแพทย์ที่กล่าวถึงข้างต้น SET ที่ใช้ในการประเมินหลักสูตรการศึกษาระดับสูงทั่วไปที่สอนโดยอาจารย์เพียงคนเดียว ควรได้รับการปรับให้เหมาะสมเพื่อประเมินหลักสูตรแบบบูรณาการและคณาจารย์ทางคลินิกของโปรแกรมทางการแพทย์ [14] ดังนั้นจึงจำเป็นต้องพัฒนารูปแบบ SET ที่มีประสิทธิภาพมากขึ้นและระบบการประเมินที่ครอบคลุมเพื่อการประยุกต์ใช้ที่มีประสิทธิภาพมากขึ้นในการศึกษาทางการแพทย์
บทความวิจารณ์ฉบับนี้อธิบายถึงความก้าวหน้าล่าสุดในการใช้ SET ในการศึกษาระดับอุดมศึกษา (ทั่วไป) และข้อจำกัดของ SET จากนั้นจึงสรุปความต้องการต่างๆ ของ SET สำหรับหลักสูตรและคณาจารย์ด้านการศึกษาทางการแพทย์ บทความนี้ให้ข้อมูลล่าสุดเกี่ยวกับวิธีการปรับปรุง SET ในระดับเครื่องมือ การบริหาร และการตีความ และมุ่งเน้นไปที่เป้าหมายของการพัฒนารูปแบบ SET ที่มีประสิทธิภาพและระบบการประเมินที่ครอบคลุม ซึ่งจะวัดประสิทธิผลการสอนได้อย่างมีประสิทธิภาพ สนับสนุนการพัฒนานักการศึกษาด้านสุขภาพมืออาชีพ และปรับปรุงคุณภาพการสอนในการศึกษาทางการแพทย์
การศึกษานี้ปฏิบัติตามการศึกษาของ Green et al. (2006) [23] สำหรับคำแนะนำและ Baumeister (2013) [24] สำหรับคำแนะนำในการเขียนบทวิจารณ์เชิงบรรยาย เราตัดสินใจเขียนบทวิจารณ์เชิงบรรยายในหัวข้อนี้เพราะบทวิจารณ์ประเภทนี้ช่วยนำเสนอมุมมองที่กว้างขึ้นเกี่ยวกับหัวข้อนี้ ยิ่งไปกว่านั้น เนื่องจากบทวิจารณ์เชิงบรรยายดึงเอาการศึกษาที่มีวิธีการที่หลากหลายมาใช้ จึงช่วยตอบคำถามที่กว้างขึ้นได้ นอกจากนี้ ความคิดเห็นเชิงบรรยายยังสามารถช่วยกระตุ้นความคิดและการอภิปรายเกี่ยวกับหัวข้อได้อีกด้วย
SET ถูกนำมาใช้ในการศึกษาทางการแพทย์อย่างไร และมีความท้าทายอะไรบ้างเมื่อเปรียบเทียบกับการใช้ SET ในการศึกษาระดับอุดมศึกษาทั่วไป
ได้ทำการค้นหาฐานข้อมูล Pubmed และ ERIC โดยใช้คำค้นหาผสมผสานกัน ได้แก่ “การประเมินการสอนของนักศึกษา” “ประสิทธิผลของการสอน” “การศึกษาทางการแพทย์” “การศึกษาระดับอุดมศึกษา” “การประเมินหลักสูตรและคณาจารย์” และสำหรับ Peer Review 2000 ได้ใช้ตัวดำเนินการเชิงตรรกะ บทความที่ตีพิมพ์ระหว่างปี 2021 ถึง 2021 เกณฑ์การรวม: งานวิจัยที่รวมอยู่ต้องเป็นงานวิจัยต้นฉบับหรือบทความทบทวน และงานวิจัยนั้นต้องเกี่ยวข้องกับประเด็นคำถามวิจัยหลักทั้งสามข้อ เกณฑ์การยกเว้น: งานวิจัยที่ไม่ใช่ภาษาอังกฤษ หรืองานวิจัยที่ไม่สามารถหาบทความฉบับเต็มได้ หรือไม่เกี่ยวข้องกับคำถามวิจัยหลักทั้งสามข้อ จะถูกยกเว้นจากเอกสารทบทวนฉบับนี้ หลังจากเลือกสิ่งพิมพ์แล้ว สิ่งพิมพ์เหล่านั้นจะถูกจัดเรียงตามหัวข้อและหัวข้อย่อยที่เกี่ยวข้องดังต่อไปนี้: (ก) การใช้ SET ในการศึกษาระดับอุดมศึกษาทั่วไปและข้อจำกัด (ข) การใช้ SET ในการศึกษาทางการแพทย์และความเกี่ยวข้องกับการแก้ไขปัญหาที่เกี่ยวข้องกับการเปรียบเทียบ SET (ค) การปรับปรุง SET ในระดับเครื่องมือ การจัดการ และการตีความ เพื่อพัฒนารูปแบบ SET ที่มีประสิทธิภาพ
ภาพที่ 1 แสดงผังงานของบทความที่คัดเลือกและนำมาอภิปรายในส่วนนี้ของการทบทวนวรรณกรรม
SET ถูกนำมาใช้ในระดับอุดมศึกษามาโดยตลอด และหัวข้อนี้ได้รับการศึกษาอย่างละเอียดในเอกสารทางวิชาการ [10, 21] อย่างไรก็ตาม มีการศึกษาวิจัยจำนวนมากที่ตรวจสอบข้อจำกัดต่างๆ และความพยายามในการแก้ไขข้อจำกัดเหล่านั้น
งานวิจัยแสดงให้เห็นว่ามีตัวแปรหลายอย่างที่ส่งผลต่อคะแนน SET [10, 21, 25, 26] ดังนั้น ผู้บริหารและครูจึงควรเข้าใจตัวแปรเหล่านี้เมื่อตีความและใช้ข้อมูล ส่วนถัดไปจะให้ภาพรวมโดยย่อของตัวแปรเหล่านี้ รูปที่ 2 แสดงปัจจัยบางประการที่ส่งผลต่อคะแนน SET ซึ่งจะอธิบายรายละเอียดในส่วนต่อไป
ในช่วงไม่กี่ปีที่ผ่านมา การใช้ชุดทดสอบออนไลน์เพิ่มขึ้นเมื่อเทียบกับชุดทดสอบแบบกระดาษ อย่างไรก็ตาม หลักฐานในเอกสารทางวิชาการชี้ให้เห็นว่า SET ออนไลน์สามารถดำเนินการให้เสร็จสมบูรณ์ได้โดยที่นักเรียนไม่ต้องให้ความสนใจกับกระบวนการดำเนินการให้เสร็จสมบูรณ์อย่างที่จำเป็น ในการศึกษาที่น่าสนใจโดย Uitdehaage และ O'Neill [5] ได้มีการเพิ่มครูที่ไม่มีอยู่จริงเข้าไปใน SET และนักเรียนจำนวนมากได้ให้ข้อเสนอแนะ [5] ยิ่งไปกว่านั้น หลักฐานในเอกสารทางวิชาการชี้ให้เห็นว่านักเรียนมักเชื่อว่าการทำ SET ให้เสร็จสมบูรณ์ไม่ได้นำไปสู่ผลสัมฤทธิ์ทางการศึกษาที่ดีขึ้น ซึ่งเมื่อรวมกับตารางเวลาที่ยุ่งของนักศึกษาแพทย์ อาจส่งผลให้มีอัตราการตอบกลับที่ต่ำลง [27] แม้ว่างานวิจัยจะแสดงให้เห็นว่าความคิดเห็นของนักเรียนที่ทำการทดสอบนั้นไม่แตกต่างจากความคิดเห็นของกลุ่มทั้งหมด แต่อัตราการตอบกลับที่ต่ำก็ยังอาจทำให้ครูให้ความสำคัญกับผลลัพธ์น้อยลง [28]
SET ออนไลน์ส่วนใหญ่ดำเนินการแบบไม่ระบุชื่อ แนวคิดคือการอนุญาตให้นักเรียนแสดงความคิดเห็นได้อย่างอิสระโดยไม่ต้องกังวลว่าความคิดเห็นเหล่านั้นจะมีผลกระทบต่อความสัมพันธ์ในอนาคตกับครู ในการศึกษาของ Alfonso et al. [29] นักวิจัยใช้การให้คะแนนแบบไม่ระบุชื่อและการให้คะแนนที่ผู้ให้คะแนนต้องระบุชื่อ (การให้คะแนนแบบเปิดเผย) เพื่อประเมินประสิทธิภาพการสอนของคณาจารย์ในโรงเรียนแพทย์โดยผู้พักอาศัยและนักศึกษาแพทย์ ผลลัพธ์แสดงให้เห็นว่าโดยทั่วไปแล้วครูจะได้คะแนนต่ำกว่าในการประเมินแบบไม่ระบุชื่อ ผู้เขียนโต้แย้งว่านักเรียนมีความซื่อสัตย์มากกว่าในการประเมินแบบไม่ระบุชื่อเนื่องจากอุปสรรคบางประการในการประเมินแบบเปิดเผย เช่น ความสัมพันธ์ในการทำงานที่เสียหายกับครูที่เข้าร่วม [29] อย่างไรก็ตาม ควรสังเกตด้วยว่าการไม่ระบุชื่อที่มักเกี่ยวข้องกับ SET ออนไลน์อาจทำให้นักเรียนบางคนไม่เคารพและตอบโต้ผู้สอนหากคะแนนการประเมินไม่ตรงตามความคาดหวังของนักเรียน [30] อย่างไรก็ตาม งานวิจัยแสดงให้เห็นว่านักเรียนไม่ค่อยให้ข้อเสนอแนะที่ไม่เคารพ และสามารถจำกัดสิ่งนี้ได้โดยการสอนนักเรียนให้ให้ข้อเสนอแนะเชิงสร้างสรรค์ [30]
การศึกษาหลายชิ้นแสดงให้เห็นว่ามีความสัมพันธ์ระหว่างคะแนน SET ของนักเรียน ความคาดหวังในผลการสอบ และความพึงพอใจในการสอบ [10, 21] ตัวอย่างเช่น Strobe (2020) [9] รายงานว่านักเรียนให้รางวัลกับวิชาที่ง่าย และครูให้รางวัลกับเกรดที่ไม่ดี ซึ่งอาจส่งเสริมการสอนที่ไม่ดีและนำไปสู่ภาวะเงินเฟ้อของเกรด [9] ในการศึกษาล่าสุด Looi et al. (2020) [31] นักวิจัยรายงานว่า SET ที่เป็นที่น่าพอใจมากขึ้นมีความสัมพันธ์กันและประเมินได้ง่ายกว่า ยิ่งไปกว่านั้น มีหลักฐานที่น่ากังวลว่า SET มีความสัมพันธ์แบบผกผันกับผลการเรียนของนักเรียนในวิชาต่อๆ ไป กล่าวคือ ยิ่งคะแนนสูง ผลการเรียนของนักเรียนในวิชาต่อๆ ไปก็จะยิ่งแย่ลง Cornell et al. (2016) [32] ได้ทำการศึกษาเพื่อตรวจสอบว่านักศึกษาวิทยาลัยเรียนรู้จากครูที่มี SET ที่พวกเขาให้คะแนนสูงได้มากกว่าหรือไม่ ผลการศึกษาแสดงให้เห็นว่าเมื่อประเมินการเรียนรู้ในตอนท้ายของหลักสูตร ครูที่มีคะแนนสูงสุดก็มีส่วนช่วยในการเรียนรู้ของนักเรียนมากที่สุด อย่างไรก็ตาม เมื่อวัดการเรียนรู้จากผลการเรียนในวิชาที่เกี่ยวข้องในภายหลัง ครูที่ได้คะแนนค่อนข้างต่ำกลับมีประสิทธิภาพมากที่สุด นักวิจัยตั้งสมมติฐานว่า การทำให้หลักสูตรมีความท้าทายมากขึ้นในเชิงสร้างสรรค์ อาจทำให้คะแนนประเมินลดลง แต่จะช่วยปรับปรุงการเรียนรู้ได้ ดังนั้น การประเมินจากนักเรียนจึงไม่ควรเป็นเกณฑ์เดียวในการประเมินการสอน แต่ควรนำมาพิจารณาด้วย
การศึกษาหลายชิ้นแสดงให้เห็นว่าประสิทธิภาพของ SET ได้รับอิทธิพลจากตัวหลักสูตรเองและการจัดการหลักสูตร Ming และ Baozhi [33] พบในการศึกษาของพวกเขาว่ามีความแตกต่างอย่างมีนัยสำคัญในคะแนน SET ระหว่างนักเรียนในวิชาต่างๆ ตัวอย่างเช่น วิทยาศาสตร์คลินิกมีคะแนน SET สูงกว่าวิทยาศาสตร์พื้นฐาน ผู้เขียนอธิบายว่านี่เป็นเพราะนักศึกษาแพทย์สนใจที่จะเป็นแพทย์ ดังนั้นจึงมีความสนใจส่วนตัวและแรงจูงใจที่สูงกว่าในการเข้าร่วมหลักสูตรวิทยาศาสตร์คลินิกมากกว่าหลักสูตรวิทยาศาสตร์พื้นฐาน [33] เช่นเดียวกับกรณีของวิชาเลือก แรงจูงใจของนักเรียนที่มีต่อวิชานั้นมีผลในเชิงบวกต่อคะแนนด้วย [21] การศึกษาอื่นๆ อีกหลายชิ้นยังสนับสนุนว่าประเภทของหลักสูตรอาจมีอิทธิพลต่อคะแนน SET [10, 21]
ยิ่งไปกว่านั้น การศึกษาอื่นๆ แสดงให้เห็นว่ายิ่งขนาดชั้นเรียนเล็กเท่าไร ระดับ SET ที่ครูบรรลุได้ก็จะยิ่งสูงขึ้นเท่านั้น [10, 33] คำอธิบายที่เป็นไปได้ประการหนึ่งคือ ขนาดชั้นเรียนที่เล็กลงจะเพิ่มโอกาสในการมีปฏิสัมพันธ์ระหว่างครูและนักเรียน นอกจากนี้ สภาพแวดล้อมในการประเมินอาจส่งผลต่อผลลัพธ์ ตัวอย่างเช่น คะแนน SET ดูเหมือนจะได้รับอิทธิพลจากเวลาและวันที่สอนหลักสูตร รวมถึงวันในสัปดาห์ที่ทำการประเมิน SET (เช่น การประเมินที่เสร็จสิ้นในวันหยุดสุดสัปดาห์มักจะได้คะแนนที่เป็นบวกมากกว่าการประเมินที่เสร็จสิ้นในช่วงต้นสัปดาห์) [10]
การศึกษาวิจัยที่น่าสนใจโดย Hessler et al ยังตั้งคำถามถึงประสิทธิภาพของ SET อีกด้วย [34] ในการศึกษานี้ มีการทดลองแบบสุ่มควบคุมในหลักสูตรเวชศาสตร์ฉุกเฉิน นักศึกษาแพทย์ปี 3 ได้รับการสุ่มให้เข้าร่วมกลุ่มควบคุมหรือกลุ่มที่ได้รับคุกกี้ช็อกโกแลตชิปฟรี (กลุ่มคุกกี้) ทุกกลุ่มได้รับการสอนโดยอาจารย์คนเดียวกัน และเนื้อหาการฝึกอบรมและสื่อการเรียนการสอนเหมือนกันสำหรับทั้งสองกลุ่ม หลังจากจบหลักสูตร นักเรียนทุกคนถูกขอให้ทำแบบทดสอบ ผลลัพธ์แสดงให้เห็นว่ากลุ่มคุกกี้ให้คะแนนอาจารย์ดีกว่ากลุ่มควบคุมอย่างมีนัยสำคัญ ซึ่งทำให้เกิดข้อสงสัยเกี่ยวกับประสิทธิภาพของ SET [34]
หลักฐานในวรรณกรรมยังสนับสนุนว่าเพศอาจมีอิทธิพลต่อคะแนน SET [35,36,37,38,39,40,41,42,43,44,45,46] ตัวอย่างเช่น บางการศึกษาแสดงให้เห็นความสัมพันธ์ระหว่างเพศของนักเรียนและผลการประเมิน: นักเรียนหญิงได้คะแนนสูงกว่านักเรียนชาย [27] หลักฐานส่วนใหญ่ยืนยันว่านักเรียนให้คะแนนครูหญิงต่ำกว่าครูชาย [37, 38, 39, 40] ตัวอย่างเช่น Boring et al. [38] แสดงให้เห็นว่าทั้งนักเรียนชายและหญิงเชื่อว่าผู้ชายมีความรู้มากกว่าและมีทักษะความเป็นผู้นำที่แข็งแกร่งกว่าผู้หญิง ข้อเท็จจริงที่ว่าเพศและแบบแผนมีอิทธิพลต่อ SET ยังได้รับการสนับสนุนจากการศึกษาของ MacNell et al. [41] ซึ่งรายงานว่านักเรียนในการศึกษาของเขาให้คะแนนครูหญิงต่ำกว่าครูชายในด้านต่างๆ ของการสอน [41] นอกจากนี้ Morgan et al [42] ยังให้หลักฐานว่าแพทย์หญิงได้รับคะแนนการสอนที่ต่ำกว่าในการฝึกปฏิบัติทางคลินิกหลักสี่ด้าน (ศัลยกรรม กุมารเวชศาสตร์ สูติศาสตร์และนรีเวชวิทยา และอายุรศาสตร์) เมื่อเทียบกับแพทย์ชาย
ในการศึกษาของ Murray et al. (2020) [43] นักวิจัยรายงานว่าความน่าดึงดูดของอาจารย์และความสนใจของนักเรียนในหลักสูตรมีความสัมพันธ์กับคะแนน SET ที่สูงขึ้น ในทางกลับกัน ความยากของหลักสูตรมีความสัมพันธ์กับคะแนน SET ที่ต่ำลง นอกจากนี้ นักเรียนยังให้คะแนน SET สูงกว่าแก่อาจารย์สอนวิชามนุษยศาสตร์ที่เป็นชายผิวขาวอายุน้อย และอาจารย์ที่ดำรงตำแหน่งศาสตราจารย์เต็มขั้น ไม่มีความสัมพันธ์ระหว่างการประเมินการสอน SET กับผลการสำรวจครู การศึกษาอื่นๆ ยังยืนยันถึงผลกระทบเชิงบวกของความน่าดึงดูดทางกายภาพของครูที่มีต่อผลการประเมิน [44]
Clayson et al. (2017) [45] รายงานว่าถึงแม้จะมีความเห็นพ้องกันโดยทั่วไปว่า SET ให้ผลลัพธ์ที่เชื่อถือได้ และค่าเฉลี่ยของชั้นเรียนและครูมีความสอดคล้องกัน แต่ความไม่สอดคล้องกันยังคงมีอยู่ในการตอบสนองของนักเรียนแต่ละคน โดยสรุป ผลการประเมินนี้แสดงให้เห็นว่านักเรียนไม่เห็นด้วยกับสิ่งที่พวกเขาถูกขอให้ประเมิน มาตรวัดความน่าเชื่อถือที่ได้จากการประเมินการสอนของนักเรียนนั้นไม่เพียงพอที่จะใช้เป็นพื้นฐานในการสร้างความถูกต้อง ดังนั้น SET อาจให้ข้อมูลเกี่ยวกับนักเรียนมากกว่าครูในบางครั้ง
SET ด้านการศึกษาด้านสุขภาพแตกต่างจาก SET แบบดั้งเดิม แต่ผู้สอนมักใช้ SET ที่มีอยู่ในการศึกษาระดับอุดมศึกษาทั่วไปมากกว่า SET ที่เฉพาะเจาะจงสำหรับหลักสูตรวิชาชีพด้านสุขภาพตามที่รายงานไว้ในเอกสาร อย่างไรก็ตาม การศึกษาที่ดำเนินการมาหลายปีได้ระบุปัญหาหลายประการ
Jones et al (1994). [46] ได้ทำการศึกษาเพื่อกำหนดคำถามเกี่ยวกับวิธีการประเมินคณาจารย์ในโรงเรียนแพทย์จากมุมมองของคณาจารย์และผู้บริหาร โดยรวมแล้ว ประเด็นที่กล่าวถึงบ่อยที่สุดเกี่ยวข้องกับการประเมินการสอน ที่พบบ่อยที่สุดคือข้อร้องเรียนทั่วไปเกี่ยวกับความไม่เพียงพอของวิธีการประเมินผลการปฏิบัติงานในปัจจุบัน โดยผู้ตอบแบบสอบถามยังได้ร้องเรียนเฉพาะเจาะจงเกี่ยวกับ SET และการขาดการยอมรับการสอนในระบบการให้รางวัลทางวิชาการ ปัญหาอื่นๆ ที่รายงาน ได้แก่ ขั้นตอนการประเมินและเกณฑ์การเลื่อนตำแหน่งที่ไม่สอดคล้องกันในแต่ละแผนก การขาดการประเมินอย่างสม่ำเสมอ และความล้มเหลวในการเชื่อมโยงผลการประเมินกับเงินเดือน
Royal et al (2018) [11] ได้สรุปข้อจำกัดบางประการของการใช้ SET เพื่อประเมินหลักสูตรและคณาจารย์ในหลักสูตรวิชาชีพด้านสุขภาพในระดับอุดมศึกษาทั่วไป นักวิจัยรายงานว่า SET ในระดับอุดมศึกษาเผชิญกับความท้าทายต่างๆ เนื่องจากไม่สามารถนำไปใช้กับการออกแบบหลักสูตรและการสอนในโรงเรียนแพทย์ได้โดยตรง คำถามที่พบบ่อย รวมถึงคำถามเกี่ยวกับผู้สอนและหลักสูตร มักจะรวมอยู่ในแบบสอบถามเดียว ทำให้ผู้เรียนมักมีปัญหาในการแยกแยะความแตกต่างระหว่างคำถามเหล่านั้น นอกจากนี้ หลักสูตรในโปรแกรมทางการแพทย์มักสอนโดยคณาจารย์หลายท่าน ซึ่งทำให้เกิดคำถามเกี่ยวกับความถูกต้อง เนื่องจากจำนวนปฏิสัมพันธ์ระหว่างนักเรียนและครูที่ประเมินโดย Royal et al (2018)[11] อาจมีจำกัด ในการศึกษาของ Hwang et al (2017) [14] นักวิจัยได้ตรวจสอบแนวคิดว่าการประเมินหลักสูตรย้อนหลังสะท้อนให้เห็นถึงการรับรู้ของนักเรียนเกี่ยวกับหลักสูตรของผู้สอนต่างๆ ได้อย่างครอบคลุมอย่างไร ผลการศึกษาชี้ให้เห็นว่าการประเมินชั้นเรียนแบบรายบุคคลมีความจำเป็นในการจัดการหลักสูตรหลายภาควิชาภายในหลักสูตรโรงเรียนแพทย์แบบบูรณาการ
Uitdehaage และ O'Neill (2015) [5] ได้ตรวจสอบขอบเขตที่นักศึกษาแพทย์ตั้งใจทำ SET ในหลักสูตรห้องเรียนที่มีอาจารย์หลายท่าน โดยแต่ละหลักสูตรพรีคลินิกทั้งสองหลักสูตรมีอาจารย์ผู้สอนสมมติ นักศึกษาต้องให้คะแนนแบบไม่ระบุชื่อแก่อาจารย์ผู้สอนทุกคน (รวมถึงอาจารย์ผู้สอนสมมติ) ภายในสองสัปดาห์หลังจากจบหลักสูตร แต่สามารถปฏิเสธที่จะประเมินอาจารย์ผู้สอนได้ ในปีถัดมา เหตุการณ์นี้เกิดขึ้นอีกครั้ง แต่คราวนี้มีรูปภาพของอาจารย์ผู้สอนสมมติรวมอยู่ด้วย ร้อยละ 66 ของนักศึกษาให้คะแนนอาจารย์ผู้สอนเสมือนจริงโดยไม่มีความคล้ายคลึงกัน แต่มีนักศึกษาน้อยกว่า (ร้อยละ 49) ที่ให้คะแนนอาจารย์ผู้สอนเสมือนจริงโดยมีความคล้ายคลึงกัน ผลการวิจัยเหล่านี้ชี้ให้เห็นว่านักศึกษาแพทย์จำนวนมากทำ SET โดยไม่พิจารณาอย่างรอบคอบว่าพวกเขากำลังประเมินใคร หรือแม้แต่ประสิทธิภาพของอาจารย์ผู้สอน ซึ่งขัดขวางการพัฒนาคุณภาพของหลักสูตรและอาจเป็นอันตรายต่อความก้าวหน้าทางวิชาการของอาจารย์ นักวิจัยจึงเสนอกรอบการทำงานที่นำเสนอแนวทางที่แตกต่างอย่างสิ้นเชิงสำหรับ SET ที่มีส่วนร่วมกับนักศึกษาอย่างกระตือรือร้น
หลักสูตรการศึกษาทางการแพทย์มีความแตกต่างกับหลักสูตรการศึกษาระดับอุดมศึกษาทั่วไปอื่นๆ อีกมากมาย [11] การศึกษาทางการแพทย์ เช่นเดียวกับการศึกษาด้านสุขภาพระดับมืออาชีพ มุ่งเน้นไปที่การพัฒนาบทบาทวิชาชีพที่กำหนดไว้อย่างชัดเจน (การปฏิบัติทางคลินิก) ส่งผลให้หลักสูตรการศึกษาทางการแพทย์และสุขภาพมีความคงที่มากขึ้น โดยมีตัวเลือกหลักสูตรและคณาจารย์ที่จำกัด ที่น่าสนใจคือ หลักสูตรการศึกษาทางการแพทย์มักเปิดสอนในรูปแบบกลุ่ม โดยนักเรียนทุกคนเรียนหลักสูตรเดียวกันในเวลาเดียวกันในแต่ละภาคการศึกษา ดังนั้น การลงทะเบียนนักเรียนจำนวนมาก (โดยปกติ n = 100 หรือมากกว่า) อาจส่งผลกระทบต่อรูปแบบการสอนรวมถึงความสัมพันธ์ระหว่างครูและนักเรียน นอกจากนี้ ในโรงเรียนแพทย์หลายแห่ง คุณสมบัติทางจิตวิทยาของเครื่องมือส่วนใหญ่ไม่ได้ถูกประเมินเมื่อใช้งานครั้งแรก และคุณสมบัติของเครื่องมือส่วนใหญ่อาจยังไม่เป็นที่รู้จัก [11]
การศึกษาหลายชิ้นในช่วงไม่กี่ปีที่ผ่านมาได้ให้หลักฐานว่า SET สามารถปรับปรุงได้โดยการแก้ไขปัจจัยสำคัญบางประการที่อาจส่งผลต่อประสิทธิภาพของ SET ในระดับเครื่องมือ การบริหาร และการตีความ รูปที่ 3 แสดงขั้นตอนบางส่วนที่สามารถนำมาใช้สร้างแบบจำลอง SET ที่มีประสิทธิภาพ ส่วนต่อไปนี้จะให้คำอธิบายโดยละเอียดเพิ่มเติม
ปรับปรุง SET ในระดับเครื่องมือ การจัดการ และการตีความ เพื่อพัฒนารูปแบบ SET ที่มีประสิทธิภาพ
ดังที่กล่าวไว้ก่อนหน้านี้ วรรณกรรมยืนยันว่าอคติทางเพศสามารถส่งผลต่อการประเมินครูได้ [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46] Peterson et al. (2019) [40] ได้ทำการศึกษาวิจัยที่ตรวจสอบว่าเพศของนักเรียนมีอิทธิพลต่อการตอบสนองของนักเรียนต่อความพยายามในการลดอคติหรือไม่ ในการศึกษานี้ ได้มีการใช้ SET กับนักเรียน 4 ชั้นเรียน (2 ชั้นเรียนสอนโดยครูผู้ชาย และ 2 ชั้นเรียนสอนโดยครูผู้หญิง) ในแต่ละหลักสูตร นักเรียนจะถูกสุ่มให้ได้รับเครื่องมือประเมินมาตรฐาน หรือเครื่องมือเดียวกันแต่ใช้ภาษาที่ออกแบบมาเพื่อลดอคติทางเพศ การศึกษาพบว่านักเรียนที่ใช้เครื่องมือประเมินที่ต่อต้านอคติให้คะแนน SET แก่ครูผู้หญิงสูงกว่านักเรียนที่ใช้เครื่องมือประเมินมาตรฐานอย่างมีนัยสำคัญ นอกจากนี้ ยังไม่มีความแตกต่างในการให้คะแนนครูผู้ชายระหว่างสองกลุ่ม ผลการศึกษาครั้งนี้มีความสำคัญและแสดงให้เห็นว่าการแทรกแซงทางภาษาที่ค่อนข้างง่ายสามารถลดอคติทางเพศในการประเมินการสอนของนักเรียนได้อย่างไร ดังนั้น การปฏิบัติที่ดีคือการพิจารณา SET ทั้งหมดอย่างรอบคอบและใช้ภาษาเพื่อลดอคติทางเพศในการพัฒนา [40]
เพื่อให้ได้ผลลัพธ์ที่มีประโยชน์จาก SET ใดๆ สิ่งสำคัญคือต้องพิจารณาวัตถุประสงค์ของการประเมินและถ้อยคำของคำถามอย่างรอบคอบล่วงหน้า แม้ว่าแบบสำรวจ SET ส่วนใหญ่จะระบุส่วนเกี่ยวกับด้านการจัดการของหลักสูตร เช่น “การประเมินหลักสูตร” และส่วนเกี่ยวกับคณาจารย์ เช่น “การประเมินครู” อย่างชัดเจน แต่ในแบบสำรวจบางฉบับ ความแตกต่างอาจไม่ชัดเจน หรืออาจมีความสับสนในหมู่นักเรียนเกี่ยวกับวิธีการประเมินแต่ละด้านเหล่านี้แยกกัน ดังนั้น การออกแบบแบบสอบถามต้องเหมาะสม ชี้แจงส่วนต่างๆ ของแบบสอบถามทั้งสองส่วน และทำให้นักเรียนตระหนักถึงสิ่งที่ควรได้รับการประเมินในแต่ละด้าน นอกจากนี้ ขอแนะนำให้ทำการทดสอบนำร่องเพื่อตรวจสอบว่านักเรียนตีความคำถามในแบบที่ตั้งใจไว้หรือไม่ [24] ในการศึกษาของ Oermann et al. (2018) [26] นักวิจัยได้ค้นหาและสังเคราะห์วรรณกรรมที่อธิบายการใช้ SET ในหลากหลายสาขาวิชาในการศึกษาระดับปริญญาตรีและบัณฑิตศึกษา เพื่อให้คำแนะนำแก่นักการศึกษาเกี่ยวกับการใช้ SET ในการพยาบาลและโปรแกรมวิชาชีพด้านสุขภาพอื่นๆ ผลการวิจัยชี้ให้เห็นว่า ควรมีการประเมินเครื่องมือ SET ก่อนนำไปใช้ รวมถึงการทดสอบนำร่องเครื่องมือกับนักเรียนที่อาจไม่สามารถตีความรายการหรือคำถามของเครื่องมือ SET ได้ตามเจตนารมณ์ของผู้สอน
มีการศึกษาหลายชิ้นที่ตรวจสอบว่ารูปแบบการกำกับดูแลของ SET มีอิทธิพลต่อการมีส่วนร่วมของนักเรียนหรือไม่
Daumier et al. (2004) [47] เปรียบเทียบการให้คะแนนของนักเรียนเกี่ยวกับการฝึกอบรมผู้สอนที่เสร็จสิ้นในชั้นเรียนกับการให้คะแนนที่รวบรวมทางออนไลน์โดยการเปรียบเทียบจำนวนการตอบและการให้คะแนน งานวิจัยแสดงให้เห็นว่าแบบสำรวจออนไลน์มักมีอัตราการตอบต่ำกว่าแบบสำรวจในชั้นเรียน อย่างไรก็ตาม การศึกษาพบว่าการประเมินออนไลน์ไม่ได้ทำให้เกรดเฉลี่ยแตกต่างจากการประเมินในชั้นเรียนแบบดั้งเดิมอย่างมีนัยสำคัญ
มีรายงานว่าขาดการสื่อสารสองทางระหว่างนักเรียนและครูในระหว่างการทำ SET ออนไลน์ (แต่ส่วนใหญ่มักพิมพ์ออกมา) ส่งผลให้ขาดโอกาสในการชี้แจง ดังนั้น ความหมายของคำถาม ความคิดเห็น หรือการประเมินนักเรียนใน SET อาจไม่ชัดเจนเสมอไป [48] บางสถาบันได้แก้ไขปัญหานี้โดยการให้นักเรียนมารวมกันเป็นเวลาหนึ่งชั่วโมงและจัดสรรเวลาเฉพาะสำหรับการทำ SET ออนไลน์ (โดยไม่ระบุชื่อ) [49] ในการศึกษาของ Malone et al. (2018) [49] ได้จัดการประชุมหลายครั้งเพื่อหารือกับนักเรียนเกี่ยวกับวัตถุประสงค์ของ SET ใครจะเป็นผู้เห็นผลของ SET และจะนำผลลัพธ์ไปใช้อย่างไร รวมถึงประเด็นอื่นๆ ที่นักเรียนยกขึ้นมา SET ดำเนินการคล้ายกับการสนทนากลุ่ม: กลุ่มโดยรวมตอบคำถามปลายเปิดผ่านการลงคะแนน การอภิปราย และการชี้แจงอย่างไม่เป็นทางการ อัตราการตอบกลับสูงกว่า 70–80% ซึ่งให้ข้อมูลมากมายแก่ครู ผู้บริหาร และคณะกรรมการหลักสูตร [49]
ดังที่กล่าวไว้ข้างต้น ในการศึกษาของ Uitdehaage และ O'Neill [5] นักวิจัยรายงานว่านักเรียนในการศึกษาของพวกเขามีคะแนนครูที่ไม่มีอยู่จริง ดังที่กล่าวไว้ก่อนหน้านี้ นี่เป็นปัญหาทั่วไปในหลักสูตรโรงเรียนแพทย์ ซึ่งแต่ละหลักสูตรอาจสอนโดยคณาจารย์หลายท่าน แต่นักเรียนอาจจำไม่ได้ว่าใครมีส่วนร่วมในแต่ละหลักสูตรหรือคณาจารย์แต่ละท่านทำอะไรบ้าง สถาบันบางแห่งได้แก้ไขปัญหานี้โดยการจัดเตรียมรูปถ่ายของอาจารย์แต่ละท่าน ชื่อ และหัวข้อ/วันที่นำเสนอ เพื่อช่วยฟื้นความทรงจำของนักเรียนและหลีกเลี่ยงปัญหาที่ส่งผลกระทบต่อประสิทธิภาพของ SET [49]
ปัญหาที่สำคัญที่สุดที่เกี่ยวข้องกับ SET อาจเป็นเพราะครูไม่สามารถตีความผลลัพธ์ SET เชิงปริมาณและเชิงคุณภาพได้อย่างถูกต้อง ครูบางคนอาจต้องการเปรียบเทียบทางสถิติระหว่างปี บางคนอาจมองว่าการเพิ่มขึ้น/ลดลงเล็กน้อยของคะแนนเฉลี่ยเป็นการเปลี่ยนแปลงที่มีความหมาย บางคนต้องการเชื่อแบบสำรวจทุกฉบับ และบางคนก็ไม่เชื่อถือแบบสำรวจใดๆ เลย [45,50, 51]
การตีความผลลัพธ์หรือการประมวลผลข้อเสนอแนะของนักเรียนที่ไม่ถูกต้องอาจส่งผลต่อทัศนคติของครูที่มีต่อการสอน ผลการศึกษาของ Lutovac et al. (2017) [52] ระบุว่าการฝึกอบรมครูที่ให้การสนับสนุนมีความจำเป็นและเป็นประโยชน์สำหรับการให้ข้อเสนอแนะแก่นักเรียน การศึกษาทางการแพทย์จำเป็นต้องมีการฝึกอบรมเกี่ยวกับการตีความผลลัพธ์ SET อย่างถูกต้อง ดังนั้น คณาจารย์ในโรงเรียนแพทย์ควรได้รับการฝึกอบรมเกี่ยวกับวิธีการประเมินผลลัพธ์และประเด็นสำคัญที่พวกเขาควรให้ความสำคัญ [50, 51]
ดังนั้น ผลลัพธ์ที่กล่าวมาแสดงให้เห็นว่า การทดสอบ SET ควรได้รับการออกแบบ ดำเนินการ และตีความอย่างรอบคอบ เพื่อให้มั่นใจว่าผลลัพธ์ของการทดสอบ SET จะมีผลกระทบอย่างมีนัยสำคัญต่อผู้มีส่วนได้ส่วนเสียที่เกี่ยวข้องทั้งหมด รวมถึงคณาจารย์ ผู้บริหารโรงเรียนแพทย์ และนักศึกษา
เนื่องจากข้อจำกัดบางประการของ SET เราจึงควรพยายามอย่างต่อเนื่องเพื่อสร้างระบบการประเมินที่ครอบคลุม เพื่อลดอคติในการประเมินประสิทธิผลการสอน และสนับสนุนการพัฒนาวิชาชีพของนักการศึกษาทางการแพทย์
ความเข้าใจที่สมบูรณ์ยิ่งขึ้นเกี่ยวกับคุณภาพการสอนของคณาจารย์ทางคลินิกสามารถทำได้โดยการรวบรวมและตรวจสอบข้อมูลจากหลายแหล่ง รวมถึงนักศึกษา เพื่อนร่วมงาน ผู้บริหารโครงการ และการประเมินตนเองของคณาจารย์ [53, 54, 55, 56, 57] ส่วนต่อไปนี้จะอธิบายเครื่องมือ/วิธีการอื่นๆ ที่อาจนำมาใช้เพิ่มเติมจาก SET ที่มีประสิทธิภาพ เพื่อช่วยพัฒนาความเข้าใจที่เหมาะสมและสมบูรณ์ยิ่งขึ้นเกี่ยวกับประสิทธิผลของการฝึกอบรม (รูปที่ 4)
วิธีการที่สามารถนำมาใช้ในการพัฒนารูปแบบที่ครอบคลุมของระบบประเมินประสิทธิผลของการสอนในโรงเรียนแพทย์
กลุ่มโฟกัสถูกนิยามว่า “การสนทนากลุ่มที่จัดขึ้นเพื่อสำรวจประเด็นเฉพาะชุดหนึ่ง” [58] ในช่วงไม่กี่ปีที่ผ่านมา โรงเรียนแพทย์ได้จัดตั้งกลุ่มโฟกัสขึ้นเพื่อรับข้อเสนอแนะที่มีคุณภาพจากนักศึกษาและแก้ไขปัญหาบางประการของ SET ออนไลน์ การศึกษาเหล่านี้แสดงให้เห็นว่ากลุ่มโฟกัสมีประสิทธิภาพในการให้ข้อเสนอแนะที่มีคุณภาพและเพิ่มความพึงพอใจของนักศึกษา [59, 60, 61]
ในการศึกษาของ Brundle et al. [59] นักวิจัยได้นำกระบวนการประเมินกลุ่มนักเรียนมาใช้ ซึ่งอนุญาตให้ผู้อำนวยการหลักสูตรและนักเรียนได้พูดคุยเกี่ยวกับหลักสูตรในกลุ่มสนทนา ผลลัพธ์บ่งชี้ว่าการสนทนากลุ่มช่วยเสริมการประเมินออนไลน์และเพิ่มความพึงพอใจของนักเรียนต่อกระบวนการประเมินหลักสูตรโดยรวม นักเรียนให้คุณค่ากับโอกาสในการสื่อสารโดยตรงกับผู้อำนวยการหลักสูตรและเชื่อว่ากระบวนการนี้สามารถนำไปสู่การปรับปรุงการศึกษาได้ พวกเขายังรู้สึกว่าพวกเขาสามารถเข้าใจมุมมองของผู้อำนวยการหลักสูตรได้ นอกจากนักเรียนแล้ว ผู้อำนวยการหลักสูตรยังให้คะแนนว่ากลุ่มสนทนาช่วยให้การสื่อสารกับนักเรียนมีประสิทธิภาพมากขึ้น [59] ดังนั้น การใช้กลุ่มสนทนาสามารถช่วยให้โรงเรียนแพทย์เข้าใจคุณภาพของแต่ละหลักสูตรและประสิทธิภาพการสอนของคณาจารย์ที่เกี่ยวข้องได้อย่างสมบูรณ์ยิ่งขึ้น อย่างไรก็ตาม ควรสังเกตว่ากลุ่มสนทนาเองก็มีข้อจำกัดบางประการ เช่น มีนักเรียนเข้าร่วมเพียงจำนวนน้อยเมื่อเทียบกับโปรแกรม SET ออนไลน์ ซึ่งมีให้สำหรับนักเรียนทุกคน นอกจากนี้ การจัดกลุ่มสนทนาสำหรับหลักสูตรต่างๆ อาจเป็นกระบวนการที่ใช้เวลานานสำหรับที่ปรึกษาและนักเรียน ซึ่งก่อให้เกิดข้อจำกัดที่สำคัญ โดยเฉพาะอย่างยิ่งสำหรับนักศึกษาแพทย์ที่มีตารางเวลาที่ยุ่งมากและอาจต้องเข้ารับการฝึกงานทางคลินิกในสถานที่ทางภูมิศาสตร์ที่แตกต่างกัน นอกจากนี้ การจัดกลุ่มสนทนายังต้องการผู้ดำเนินรายการที่มีประสบการณ์จำนวนมาก อย่างไรก็ตาม การรวมกลุ่มสนทนาเข้าไว้ในกระบวนการประเมินสามารถให้ข้อมูลที่ละเอียดและเฉพาะเจาะจงมากขึ้นเกี่ยวกับประสิทธิผลของการฝึกอบรมได้ [48, 59, 60, 61]
Schiekierka-Schwacke et al. (2018) [62] ได้ตรวจสอบการรับรู้ของนักศึกษาและคณาจารย์เกี่ยวกับเครื่องมือใหม่สำหรับการประเมินผลการปฏิบัติงานของคณาจารย์และผลลัพธ์การเรียนรู้ของนักศึกษาในโรงเรียนแพทย์ของเยอรมนี 2 แห่ง การสนทนากลุ่มและการสัมภาษณ์รายบุคคลได้ดำเนินการกับคณาจารย์และนักศึกษาแพทย์ อาจารย์ชื่นชมข้อเสนอแนะส่วนบุคคลที่ได้รับจากเครื่องมือประเมิน และนักศึกษารายงานว่าควรสร้างวงจรการให้ข้อเสนอแนะ ซึ่งรวมถึงเป้าหมายและผลที่ตามมา เพื่อกระตุ้นให้มีการรายงานข้อมูลการประเมิน ดังนั้น ผลการศึกษาครั้งนี้จึงสนับสนุนความสำคัญของการปิดวงจรการสื่อสารกับนักศึกษาและแจ้งผลการประเมินให้พวกเขาทราบ
โปรแกรมการประเมินการสอนโดยเพื่อนร่วมงาน (Peer Review of Teaching: PRT) มีความสำคัญมากและได้รับการนำไปใช้ในระดับอุดมศึกษามานานหลายปีแล้ว PRT เกี่ยวข้องกับกระบวนการทำงานร่วมกันในการสังเกตการสอนและให้ข้อเสนอแนะแก่ผู้สังเกตเพื่อปรับปรุงประสิทธิภาพการสอน [63] นอกจากนี้ แบบฝึกหัดการสะท้อนตนเอง การสนทนาติดตามผลที่มีโครงสร้าง และการมอบหมายเพื่อนร่วมงานที่ได้รับการฝึกอบรมอย่างเป็นระบบสามารถช่วยปรับปรุงประสิทธิภาพของ PRT และวัฒนธรรมการสอนของภาควิชาได้ [64] มีรายงานว่าโปรแกรมเหล่านี้มีประโยชน์มากมาย เนื่องจากสามารถช่วยให้ครูได้รับข้อเสนอแนะเชิงสร้างสรรค์จากครูเพื่อนร่วมงานที่อาจเคยเผชิญกับปัญหาที่คล้ายคลึงกันในอดีต และสามารถให้การสนับสนุนที่มากขึ้นโดยการให้คำแนะนำที่เป็นประโยชน์สำหรับการปรับปรุง [63] ยิ่งไปกว่านั้น เมื่อใช้ในเชิงสร้างสรรค์ การประเมินโดยเพื่อนร่วมงานสามารถปรับปรุงเนื้อหาหลักสูตรและวิธีการนำเสนอ และสนับสนุนนักการศึกษาทางการแพทย์ในการปรับปรุงคุณภาพการสอนของพวกเขา [65, 66]
การศึกษาล่าสุดโดย Campbell et al. (2019) [67] ให้หลักฐานว่ารูปแบบการสนับสนุนเพื่อนร่วมงานในที่ทำงานเป็นกลยุทธ์การพัฒนาครูที่ยอมรับได้และมีประสิทธิภาพสำหรับนักการศึกษาด้านสุขภาพทางคลินิก ในการศึกษาอีกเรื่องหนึ่ง Caygill et al. [68] ได้ทำการศึกษาโดยส่งแบบสอบถามที่ออกแบบมาเป็นพิเศษไปยังนักการศึกษาด้านสุขภาพที่มหาวิทยาลัยเมลเบิร์น เพื่อให้พวกเขาสามารถแบ่งปันประสบการณ์การใช้ PRT ผลลัพธ์บ่งชี้ว่ามีความสนใจใน PRT ในหมู่นักการศึกษาทางการแพทย์ และรูปแบบการทบทวนโดยเพื่อนร่วมงานแบบสมัครใจและให้ข้อมูลถือเป็นโอกาสที่สำคัญและมีคุณค่าสำหรับการพัฒนาวิชาชีพ
เป็นที่น่าสังเกตว่าโปรแกรม PRT ต้องได้รับการออกแบบอย่างระมัดระวังเพื่อหลีกเลี่ยงการสร้างสภาพแวดล้อมที่ตัดสินและ “บริหารจัดการ” ซึ่งมักนำไปสู่ความวิตกกังวลที่เพิ่มขึ้นในหมู่ครูที่ถูกสังเกต [69] ดังนั้น เป้าหมายควรเป็นการพัฒนาแผน PRT อย่างรอบคอบซึ่งจะเสริมและอำนวยความสะดวกในการสร้างสภาพแวดล้อมที่ปลอดภัยและให้ข้อเสนอแนะเชิงสร้างสรรค์ ดังนั้นจึงจำเป็นต้องมีการฝึกอบรมพิเศษเพื่อฝึกอบรมผู้ตรวจสอบ และโปรแกรม PRT ควรมีเฉพาะครูที่สนใจและมีประสบการณ์อย่างแท้จริงเท่านั้น สิ่งนี้มีความสำคัญอย่างยิ่งหากข้อมูลที่ได้รับจาก PRT ถูกนำไปใช้ในการตัดสินใจของคณาจารย์ เช่น การเลื่อนตำแหน่งไปสู่ระดับที่สูงขึ้น การเพิ่มเงินเดือน และการเลื่อนตำแหน่งไปสู่ตำแหน่งบริหารที่สำคัญ ควรสังเกตว่า PRT ใช้เวลานานและเช่นเดียวกับกลุ่มโฟกัส จำเป็นต้องมีคณาจารย์ที่มีประสบการณ์จำนวนมากเข้าร่วม ทำให้วิธีการนี้ยากต่อการนำไปใช้ในโรงเรียนแพทย์ที่มีทรัพยากรน้อย
Newman et al. (2019) [70] อธิบายกลยุทธ์ที่ใช้ก่อน ระหว่าง และหลังการฝึกอบรม การสังเกตที่เน้นแนวปฏิบัติที่ดีที่สุดและระบุวิธีแก้ปัญหาการเรียนรู้ นักวิจัยได้ให้คำแนะนำ 12 ข้อแก่ผู้ตรวจสอบ ได้แก่: (1) เลือกใช้คำพูดอย่างรอบคอบ; (2) อนุญาตให้ผู้สังเกตกำหนดทิศทางของการสนทนา; (3) รักษาข้อมูลป้อนกลับให้เป็นความลับและจัดรูปแบบ; (4) รักษาข้อมูลป้อนกลับให้เป็นความลับและจัดรูปแบบ; ข้อมูลป้อนกลับมุ่งเน้นไปที่ทักษะการสอนมากกว่าตัวครูแต่ละคน; (5) ทำความรู้จักกับเพื่อนร่วมงานของคุณ; (6) คำนึงถึงตนเองและผู้อื่น; (7) จำไว้ว่าสรรพนามมีบทบาทสำคัญในการให้ข้อมูลป้อนกลับ; (8) ใช้คำถามเพื่อชี้ให้เห็นมุมมองการสอน; (10) สร้างกระบวนการ ความไว้วางใจ และข้อมูลป้อนกลับในการสังเกตเพื่อนร่วมงาน; (11) ทำให้การสังเกตการเรียนรู้เป็นประโยชน์ต่อทั้งสองฝ่าย; (12) สร้างแผนปฏิบัติการ นักวิจัยยังสำรวจผลกระทบของอคติต่อการสังเกต และกระบวนการเรียนรู้ การสังเกต และการอภิปรายข้อมูลป้อนกลับสามารถมอบประสบการณ์การเรียนรู้ที่มีคุณค่าสำหรับทั้งสองฝ่าย นำไปสู่ความร่วมมือระยะยาวและคุณภาพการศึกษาที่ดีขึ้น Gomaly et al. (2014) [71] รายงานว่าคุณภาพของข้อเสนอแนะที่มีประสิทธิภาพควรประกอบด้วย (1) การชี้แจงงานโดยการให้คำแนะนำ (2) แรงจูงใจที่เพิ่มขึ้นเพื่อกระตุ้นให้มีความพยายามมากขึ้น และ (3) การรับรู้ของผู้รับว่าเป็นกระบวนการที่มีคุณค่า ซึ่งจัดทำโดยแหล่งที่น่าเชื่อถือ
แม้ว่าคณาจารย์ในโรงเรียนแพทย์จะได้รับผลตอบรับเกี่ยวกับ PRT แต่สิ่งสำคัญคือต้องฝึกอบรมคณาจารย์เกี่ยวกับวิธีการตีความผลตอบรับ (เช่นเดียวกับคำแนะนำให้เข้ารับการฝึกอบรมเกี่ยวกับการตีความ SET) และให้เวลาคณาจารย์อย่างเพียงพอในการไตร่ตรองผลตอบรับที่ได้รับอย่างสร้างสรรค์