หน่วยสมรรถนะ

หน่วยสมรรถนะ

ประเมินแบบจำลอง

สาขาวิชาชีพอุตสาหกรรมดิจิทัล


รายละเอียดหน่วยสมรรถนะ


1. รหัสหน่วยสมรรถนะ ICT-PPNE-396B

2. ชื่อหน่วยสมรรถนะ ประเมินแบบจำลอง

3. ทบทวนครั้งที่ 1 / 2566

4. สร้างใหม่ ปรับปรุง

5. สำหรับชื่ออาชีพและรหัสอาชีพ (Occupational Classification)

นักวิทยาศาสตร์ข้อมูล (Data Scientist) 

6. คำอธิบายหน่วยสมรรถนะ (Description of Unit of Competency)

ผู้ที่ผ่านสมรรถนะนี้จะสามารถประเมินแบบจำลอง (Modeling) ว่าเป็นไปตามหลักการดำเนินการด้าน Data Mining และผลการทดสอบแบบจำลองเป็นที่น่าพอใจ รวมทั้งเลือกแบบจำลองที่ดีที่สุดและปรับพารามิเตอร์ให้เหมาะสมสำหรับธุรกิจหรือองค์กร

7. สำหรับระดับคุณวุฒิ
1 2 3 4 5 6 7 8

8. กลุ่มอาชีพ (Sector)

สาขาวิชาชีพอุตสาหกรรมดิจิทัล สาขาวิทยาศาสตร์ข้อมูล (Data Science)

9. ชื่ออาชีพและรหัสอาชีพอื่นที่หน่วยสมรรถนะนี้สามารถใช้ได้ (ถ้ามี)
N/A

10. ข้อกำหนดหรือกฎระเบียบที่เกี่ยวข้อง (Licensing or Regulation Related) (ถ้ามี)
N/A

11. สมรรถนะย่อยและเกณฑ์การปฏิบัติงาน (Elements and Performance Criteria)
หน่วยสมรรถนะย่อย (EOC) เกณฑ์ในการปฏิบัติงาน (Performance Criteria) รหัส PC
(ตามเล่มมาตรฐาน)		 รหัส PC
(จากระบบ)
70405.01 วัดประสิทธิภาพของแบบจำลอง 1. ระบุวิธีการสร้างและทดสอบแบบจำลองได้ 179915
70405.01 วัดประสิทธิภาพของแบบจำลอง 2. ระบุเกณฑ์ชี้วัดความสำเร็จของแบบจำลองวิเคราะห์ข้อมูลได้ 179916
70405.01 วัดประสิทธิภาพของแบบจำลอง 3. ประเมินประสิทธิภาพของแบบจำลองเบื้องต้นได้ 179917
70405.02 เลือกเทคนิคแบบจำลอง 1. ระบุความหมายของค่าที่ได้จากการวัดประสิทธิภาพของแบบจำลองต่าง ๆ เช่น Precision, Recall, Accuracy รวมทั้ง Confusion, ROC, AUC และ Error ได้ 179918
70405.02 เลือกเทคนิคแบบจำลอง 2. เปรียบเทียบประสิทธิภาพของแต่ละแบบจำลองที่เลือกใช้ได้ 179919
70405.02 เลือกเทคนิคแบบจำลอง 3. คัดเลือกแบบจำลองที่สอดคล้องกับธุรกิจหรือองค์กรได้ 179920
70405.02 เลือกเทคนิคแบบจำลอง 4. วิเคราะห์ความหมายจากผลของการประเมินแบบจำลองที่เลือกเพื่อประยุกต์กับธุรกิจหรือองค์กรได้อย่างสอดคล้องกับวัตถุประสงค์ที่ตั้งไว้ได้ 179921
70405.03 ปรับปรุงตัวแปรของแบบจำลอง 1. ระบุตัวแปรหรือพารามิเตอร์ของแบบจำลองที่ดีที่สุด ที่เลือกใช้ได้ 179922
70405.03 ปรับปรุงตัวแปรของแบบจำลอง 2. ปรับแก้ ปรับแต่งตัวแปรหรือพารามิเตอร์สำหรับแบบจำลองที่เลือกได้ 179923
70405.04 สื่อสารเพื่อแลกเปลี่ยนสารสนเทศในระหว่างการดำเนินงาน 1. ถ่ายทอดความคิดเพื่อแลกเปลี่ยนข้อมูลสารสนเทศในการประเมินแบบจำลองได้ 179924
70405.04 สื่อสารเพื่อแลกเปลี่ยนสารสนเทศในระหว่างการดำเนินงาน 2. สามารถแสดงความคิดเห็นในการประเมินแบบจำลองได้ 179925
70405.04 สื่อสารเพื่อแลกเปลี่ยนสารสนเทศในระหว่างการดำเนินงาน 3. สามารถสื่อสารผ่านสื่อสารสนเทศช่องทางต่าง ๆ ได้ 179926

12. ความรู้และทักษะก่อนหน้าที่จำเป็น (Pre-requisite Skill & Knowledge)
N/A

13. ทักษะและความรู้ที่ต้องการ (Required Skills and Knowledge)

(ก) ความต้องการด้านทักษะ

1.  ทักษะการใช้คอมพิวเตอร์ และอินเทอร์เน็ต

2. ทักษะการทำแบบจำลองเหมืองข้อมูล (Data Mining Model)

3. ทักษะการทดสอบประสิทธิภาพชุดข้อมูล

4. ทักษะการตีความข้อมูล

(ข) ความต้องการด้านความรู้

1. ความรู้ด้านการเศรษฐศาสตร์และบริหารธุรกิจ

2. ความรู้ด้านสถิติศาสตร์

3. ความรู้ด้านการทำเหมืองข้อมูล

4. ความรู้ด้านวิธีการทดสอบความเที่ยงตรง

 

14. หลักฐานที่ต้องการ (Evidence Guide)

(ก)  หลักฐานการปฏิบัติงาน (Performance Evidence) อาทิ

1.  ใบรับรองการปฏิบัติงานจากสถานประกอบการ

(ข)  หลักฐานความรู้ (Knowledge Evidence) อาทิ

1.  ใบรับรองการเข้ารับการฝึกอบรม

2.  ใบประกาศนียบัตรวุฒิการศึกษา

(ค) คำแนะนำในการประเมิน

1. ผู้ประเมินตรวจประเมินเกี่ยวกับการทดสอบประสิทธิภาพของแบบจำลองการวิเคราะห์ข้อมูล โดยพิจารณาจากหลักฐานที่เกี่ยวข้องทั้งหลักฐานการปฏิบัติงาน และหลักฐานความรู้ ทั้งนี้ต้องได้รับการรับรองจากผู้เชี่ยวชาญด้านธุรกิจ

(ง)  วิธีการประเมิน

1. พิจารณาตามหลักฐานการปฏิบัติงาน

2. พิจารณาตามหลักฐานความรู้

15. ขอบเขต (Range Statement)

(ก) คำแนะนำ

หน่วยสมรรถนะนี้เป็นการวิเคราะห์ประสิทธิภาพของแบบจำลองจากค่าต่าง ๆ เช่น Precision, Recall, Accuracy รวมทั้ง Confusion, ROC และ AUC เพื่อการปรับแก้ตัวแปรและพารามิเตอร์ต่าง ๆ ให้สอดคล้องกับธุรกิจและองค์กร

 (ข) คำอธิบายรายละเอียด

1.เข้าใจและบอกข้อดี ข้อเสียของการวิเคราะห์ประสิทธิภาพของแบบจำลอง

    ในการวัดประสิทธิภาพของแบบจำลอง โดยทั่วไปมีตัววัดต่าง ๆ ดังนี้    

1)  Precision หรือความเที่ยงตรง เป็นค่าที่นิยมใช้และแสดงความหมายใกล้เคียงกับความถูกต้องแม่นยำ (accuracy) ซึ่งเป็นการวัดความแม่นยำของแบบจำลอง โดยพิจารณาแยกทีละกรณี

2)  Recall เป็นการวัดความถูกต้องของแบบจำลอง โดยพิจารณาแยกทีละกรณี

3)  Accuracy เป็นการวัดความถูกต้องของแบบจำลอง โดยพิจารณารวมทุกกรณี

4)  Confusion Matrix คือ ตารางแบบจัตุรัสที่นับเปรียบเทียบความถูกต้องของแบบจำลอง 

5)  ROC หรือ (Receiver Operating Characteristic) มาจากรากฐานเรื่อง sensitivity, specificity, false positive rate, false negative rate เป็นการตรวจสอบการพยากรณ์ได้ถูกต้องของตัวแบบด้วยสัดส่วนการพยากรณ์ถูกต้อง ภายใต้เส้นโค้ง ROC  หรือที่เรียกทั่วไปว่า ROC Curve ซึ่งใช้สำหรับการวิเคราะห์ความไว (Sensitivity) ของตัวแบบในการพยากรณ์ได้ถูกต้อง

6)  AUC (Area under the ROC curve) คือค่าที่ถูกใช้ในการบ่งบอกความถูกต้องของการพยากรณ์ ซึ่งเป็น พื้นที่ใต้โค้ง ROC หรือที่เรียกว่า AUC ถ้าพื้นที่ใต้โค้ง ROC มีค่ามาก แสดงว่าตัวแบบนั้นมีความถูกต้องมาก

7)  ความคลาดเคลื่อน (Error) เป็นการวัดเพื่อประเมินและเปรียบเทียบประสิทธิภาพแบบจำลอง เช่น ค่าผลรวมความคลาดเคลื่อนกําลังสอง (Residual Sum Of Squares: RSS) และค่าประมาณค่าเฉลี่ยของความผิดพลาดจากการพยากรณ์กําลังสอง (Mean Square Prediction Error: MSPE) ค่าเฉลี่ยความคลาดเคลื่อนสัมบูรณ์ (Mean Absolute Error: MAE)  หรือ Confidence และ Lift เป็นต้น

16. หน่วยสมรรถนะร่วม (ถ้ามี)
N/A

17. อุตสาหกรรมร่วม/กลุ่มอาชีพร่วม (ถ้ามี)
N/A

18. รายละเอียดกระบวนการและวิธีการประเมิน (Assessment Description and Procedure)

18.1 เครื่องมือประเมินการวัดประสิทธิภาพของแบบจำลองตามข้อกำหนดมาตรฐาน

1. ผลข้อสอบข้อเขียน

ดูรายละเอียดจากคู่มือประเมิน

18.2 เครื่องมือประเมินการเลือกเทคนิคแบบจำลองตามข้อกำหนดมาตรฐาน

1. ผลข้อสอบข้อเขียน

2. แบบฟอร์มประเมินผลการสาธิตการปฏิบัติงาน

ดูรายละเอียดจากคู่มือประเมิน

18.3 เครื่องมือประเมินการปรับปรุงตัวแปรของแบบจำลองตามข้อกำหนดมาตรฐาน

1. ผลข้อสอบข้อเขียน

2. แบบฟอร์มประเมินผลการสาธิตการปฏิบัติงาน

ดูรายละเอียดจากคู่มือประเมิน

18.4 เครื่องมือประเมินการสื่อสารเพื่อแลกเปลี่ยนสารสนเทศในระหว่างการดำเนินงานตามข้อกำหนดมาตรฐาน

1. แบบฟอร์มประเมินผลการสัมภาษณ์

2. ผลข้อสอบข้อเขียน

ดูรายละเอียดจากคู่มือประเมิน

กลับ

ยินดีต้อนรับ