GitHub ออกรายงานสำรวจประสิทธิภาพของโปรแกรมเมอร์เมื่อใช้ GitHub Copilot ช่วยทำงาน พบว่าโดยรวมแล้วการมี Copilot ทำให้โปรแกรมเมอร์เขียนโค้ดถูกต้องมากขึ้น โค้ดมีคุณภาพสูงขึ้น บั๊กน้อยลง
การวิจัยนี้นำโปรแกรมเมอร์ที่มีประสบการณ์อย่างน้อย 5 ปีจำนวน 202 คนมาแบ่งกลุ่มแบบสุ่ม มีกลุ่มได้ใช้ Copilot 104 คน และกลุ่มไม่ได้ใช้ 98 คน ให้เขียน Web API ตามคำสั่ง จากนั้นสำรวจโค้ดทั้งความถูกต้องด้วยการรันชุดทดสอบ, และสำรวจคุณภาพโต้ด
อัตราการเขียนโค้ดให้ผ่านชุดทดสอบโดยไม่ใช้ Copilot มีเพียง 39.2% แต่กลุ่มที่ใช้ Copilot เขียนผ่านถึง 60.8% แสดงให้เห็นว่า Copilot ช่วยให้โค้ดทำงานตามสเปคได้ดีขึ้นมาก
หลังจากนั้นทีมวิจัยนำโปรแกรมเมอร์ 25 คนที่เขียนโค้ดผ่านการทดสอบทั้งหมดมารีวิวโค้ดคนอื่นๆแบบสุ่ม พบว่ากลุ่มใช้ Copilot มีข้อผิดพลาดน้อยกว่า โค้ดอ่านง่าย, ทำงานได้ดี, ดูแลรักษาง่าย, และเข้าใจง่าย แม้ความต่างจะไม่มากเหมือนการทำงานให้ผ่านชุดทดสอบ แต่กลุ่มที่ใช้ Copilot ก็คะแนนดีกว่าอย่างมีนัยสำคัญ คุณภาพโค้ดโดยรวมที่สูงกว่าทำให้มีอัตราการรับโค้ดไปใช้เมื่อส่งแพชต์อยู่ที่ 29.9% สูงกว่ากลุ่มไม่ใช้ Copilot ที่ทำได้ 24.5%
การวิจัยอย่างมีการควบคุมครั้งนี้ ทำให้เห็นได้ชัดว่าการใช้ Copilot เพิ่มคุณภาพโค้ดโดยรวม
ที่มา - GitHub Blog
