แคลคูลัสหลายตัวแปร สมการเชิงอนุพันธ์ พีชคณิตเชิงเส้น — หัวข้อที่นักเรียน MIT หลายคนสามารถทำได้โดยไม่เหนื่อย — มีโมเดลการเรียนรู้ด้วยเครื่องที่นิ่งงันอย่างต่อเนื่อง โมเดลที่ดีที่สุดสามารถตอบคำถามคณิตศาสตร์ระดับประถมศึกษาหรือมัธยมศึกษาเท่านั้น และไม่พบคำตอบที่ถูกต้องเสมอไป
ตอนนี้ทีมนักวิจัยจากสหสาขาวิชาชีพจาก MIT และที่อื่นๆ นำโดย Iddo Drori อาจารย์ประจำภาควิชาวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ของ MIT (EECS) ได้ใช้แบบจำลองโครงข่ายประสาทเทียมเพื่อแก้ปัญหาคณิตศาสตร์ระดับมหาวิทยาลัยในไม่กี่วินาที ในระดับมนุษย์
โมเดลนี้ยังอธิบายวิธีแก้ปัญหาโดยอัตโนมัติ และสร้างปัญหาใหม่อย่างรวดเร็วในวิชาคณิตศาสตร์ของมหาวิทยาลัย เมื่อนักวิจัยแสดงคำถามที่สร้างด้วยเครื่องจักรเหล่านี้แก่นักศึกษามหาวิทยาลัย นักศึกษาก็ไม่สามารถบอกได้ว่าคำถามนั้นสร้างขึ้นโดยอัลกอริทึมหรือมนุษย์
งานนี้สามารถใช้เพื่อปรับปรุงการสร้างเนื้อหาสำหรับหลักสูตร ซึ่งอาจเป็นประโยชน์อย่างยิ่งในหลักสูตรที่อยู่อาศัยขนาดใหญ่และหลักสูตรออนไลน์แบบเปิดขนาดใหญ่ (MOOCs) ที่มีนักเรียนหลายพันคน ระบบนี้ยังสามารถใช้เป็นติวเตอร์อัตโนมัติที่แสดงขั้นตอนที่เกี่ยวข้องกับการแก้ปัญหาคณิตศาสตร์ระดับปริญญาตรีแก่นักเรียน
“เราคิดว่าสิ่งนี้จะช่วยปรับปรุงการศึกษาระดับอุดมศึกษา” Drori หัวหน้าผู้เขียนงานซึ่งเป็นรองศาสตราจารย์ประจำภาควิชาวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยโคลัมเบียกล่าว และจะเข้าร่วมคณะที่มหาวิทยาลัยบอสตันในฤดูร้อนนี้กล่าว “มันจะช่วยให้นักเรียนปรับปรุง และจะช่วยให้ครูสร้างเนื้อหาใหม่ และอาจช่วยเพิ่มระดับความยากในบางหลักสูตร นอกจากนี้ยังช่วยให้เราสร้างกราฟของคำถามและหลักสูตร ซึ่งช่วยให้เราเข้าใจความสัมพันธ์ระหว่างหลักสูตรและข้อกำหนดเบื้องต้นของหลักสูตร ไม่ใช่แค่การพิจารณาตามประวัติศาสตร์เท่านั้น แต่ยังอิงจากข้อมูลอีกด้วย”
งานนี้เป็นความร่วมมือระหว่างนักศึกษา นักวิจัย และคณาจารย์ที่ MIT, Columbia University, Harvard University และ University of Waterloo ผู้เขียนอาวุโสคือ Gilbert Strang ศาสตราจารย์ด้านคณิตศาสตร์ที่ MIT การวิจัยปรากฏในสัปดาห์นี้ในการดำเนินการของ National Academy of Sciences
ช่วงเวลา “ยูเรก้า”
Drori และนักเรียนและเพื่อนร่วมงานของเขาทำงานในโครงการนี้มาเกือบสองปีแล้ว พวกเขาพบว่าแบบจำลองที่ได้รับการฝึกฝนล่วงหน้าโดยใช้ข้อความไม่สามารถทำถูกต้องได้ดีกว่าร้อยละ 8 ในปัญหาคณิตศาสตร์ระดับมัธยมศึกษาตอนปลาย และผู้ที่ใช้โครงข่ายประสาทเทียมแบบกราฟสามารถตอบคำถามในหลักสูตรการเรียนรู้ด้วยเครื่องได้ แต่จะใช้เวลาฝึกหนึ่งสัปดาห์
จากนั้น Drori ก็มีสิ่งที่เขาอธิบายว่าเป็นช่วงเวลา “ยูเรก้า”: เขาตัดสินใจลองถามคำถามจากหลักสูตรคณิตศาสตร์ระดับปริญญาตรีที่เปิดสอนโดย MIT และอีกคำถามหนึ่งจากมหาวิทยาลัยโคลัมเบียที่รูปแบบที่ไม่เคยเห็นมาก่อน เปลี่ยนเป็นงานเขียนโปรแกรม และใช้เทคนิค เรียกว่าการสังเคราะห์โปรแกรมและการเรียนรู้แบบไม่กี่ช็อต การเปลี่ยนคำถามเป็นงานเขียนโปรแกรมอาจทำได้ง่ายเพียงแค่เขียนคำถามใหม่ว่า “หาระยะห่างระหว่างจุดสองจุด” เหมือนกับ “เขียนโปรแกรมที่ค้นหาความแตกต่างระหว่างจุดสองจุด” หรือให้คู่คำถามกับโปรแกรมเป็นตัวอย่าง
ก่อนป้อนงานเขียนโปรแกรมเหล่านั้นไปยังโครงข่ายประสาทเทียม นักวิจัยได้เพิ่มขั้นตอนใหม่ที่ช่วยให้สามารถทำงานได้ดีกว่าความพยายามครั้งก่อนๆ อย่างมาก
ในอดีต พวกเขาและคนอื่นๆ ที่เคยประสบปัญหานี้เคยใช้โครงข่ายประสาทเทียม เช่น GPT-3 ซึ่งได้รับการฝึกอบรมล่วงหน้าในข้อความเท่านั้น หมายความว่ามีการแสดงตัวอย่างข้อความหลายล้านตัวอย่างเพื่อเรียนรู้รูปแบบของภาษาธรรมชาติ คราวนี้ พวกเขาใช้โครงข่ายประสาทเทียมที่เตรียมข้อความไว้ล่วงหน้าซึ่ง “ปรับแต่ง” ในโค้ดด้วย เครือข่ายนี้เรียกว่า Codex ผลิตโดย OpenAI การปรับละเอียดเป็นขั้นตอนการเตรียมการล่วงหน้าอีกขั้นหนึ่งที่สามารถปรับปรุงประสิทธิภาพของโมเดลการเรียนรู้ของเครื่องได้
โมเดลที่ได้รับการฝึกอบรมล่วงหน้าได้แสดงตัวอย่างโค้ดหลายล้านตัวอย่างจากที่เก็บข้อมูลออนไลน์ เนื่องจากข้อมูลการฝึกของโมเดลนี้ประกอบด้วยคำภาษาธรรมชาติหลายล้านคำและโค้ดหลายล้านบรรทัด จึงเรียนรู้ความสัมพันธ์ระหว่างข้อความและชิ้นส่วนของโค้ด
ปัญหาทางคณิตศาสตร์หลายอย่างสามารถแก้ไขได้โดยใช้กราฟเชิงคำนวณหรือแบบต้นไม้ แต่เป็นการยากที่จะเปลี่ยนปัญหาที่เขียนด้วยข้อความให้เป็นการแทนรูปแบบนี้ Drori อธิบาย เนื่องจากโมเดลนี้ได้เรียนรู้ความสัมพันธ์ระหว่างข้อความและโค้ด จึงสามารถเปลี่ยนคำถามที่เป็นข้อความเป็นโค้ด โดยให้ตัวอย่างโค้ดคำถามเพียงไม่กี่ข้อ แล้วจึงเรียกใช้โค้ดเพื่อตอบคำถาม
“เมื่อคุณถามคำถามเป็นข้อความ เป็นเรื่องยากสำหรับโมเดลการเรียนรู้ของเครื่องที่จะหาคำตอบ แม้ว่าคำตอบอาจอยู่ในข้อความก็ตาม” เขากล่าว “งานนี้ช่วยเติมเต็มส่วนที่ขาดหายไปของการใช้โค้ดและการสังเคราะห์โปรแกรม”
งานนี้เป็นครั้งแรกในการแก้ปัญหาคณิตศาสตร์ระดับปริญญาตรีและย้ายเข็มจากความแม่นยำ 8 เปอร์เซ็นต์เป็นมากกว่า 80 เปอร์เซ็นต์ Drori กล่าวเสริม
เพิ่มบริบท
การเปลี่ยนคำถามทางคณิตศาสตร์เป็นงานเขียนโปรแกรมไม่ใช่เรื่องง่ายเสมอไป Drori กล่าว ปัญหาบางอย่างต้องการให้นักวิจัยเพิ่มบริบทเพื่อให้โครงข่ายประสาทเทียมสามารถประมวลผลคำถามได้อย่างถูกต้อง นักเรียนจะรับบริบทนี้ในขณะที่เรียนหลักสูตร แต่โครงข่ายประสาทเทียมไม่มีความรู้พื้นฐานนี้เว้นแต่นักวิจัยจะระบุไว้
ตัวอย่างเช่น พวกเขาอาจต้องชี้แจงว่า “เครือข่าย” ในข้อความของคำถามหมายถึง “โครงข่ายประสาทเทียม” มากกว่า “เครือข่ายการสื่อสาร” หรืออาจต้องบอกรุ่นว่าควรใช้แพ็คเกจการเขียนโปรแกรมใด พวกเขาอาจจำเป็นต้องให้คำจำกัดความบางอย่าง ในคำถามเกี่ยวกับมือโป๊กเกอร์ พวกเขาอาจต้องบอกรุ่นว่าแต่ละสำรับมีไพ่ 52 ใบ
พวกเขาป้อนงานการเขียนโปรแกรมเหล่านี้โดยอัตโนมัติพร้อมบริบทและตัวอย่างที่รวมไว้ไปยังโครงข่ายประสาทเทียมที่ได้รับการฝึกอบรมและปรับแต่งแล้วซึ่งจะส่งออกโปรแกรมที่มักจะให้คำตอบที่ถูกต้อง ถูกต้องสำหรับคำถามมากกว่า 80 เปอร์เซ็นต์
นักวิจัยยังใช้แบบจำลองของพวกเขาเพื่อสร้างคำถามโดยให้โครงข่ายประสาทมีปัญหาทางคณิตศาสตร์ในหัวข้อหนึ่งๆ แล้วขอให้สร้างปัญหาใหม่
“ในบางหัวข้อ มันทำให้เราประหลาดใจ ตัวอย่างเช่น มีคำถามเกี่ยวกับการตรวจจับควอนตัมของเส้นแนวนอนและแนวตั้ง และสร้างคำถามใหม่เกี่ยวกับการตรวจจับควอนตัมของเส้นทแยงมุม ดังนั้นจึงไม่ใช่แค่การสร้างคำถามใหม่โดยการแทนที่ค่าและตัวแปรในคำถามที่มีอยู่” Drori กล่าว
คำถามที่สร้างโดยมนุษย์กับคำถามที่สร้างโดยเครื่อง
นักวิจัยได้ทดสอบคำถามที่สร้างโดยเครื่องจักรโดยแสดงให้นักศึกษามหาวิทยาลัยเห็น นักวิจัยให้นักเรียน 10 คำถามจากแต่ละหลักสูตรคณิตศาสตร์ระดับปริญญาตรีในลำดับแบบสุ่ม ห้าถูกสร้างขึ้นโดยมนุษย์และห้าคนถูกสร้างขึ้นด้วยเครื่องจักร
นักเรียนไม่สามารถบอกได้ว่าคำถามที่สร้างโดยเครื่องจักรนั้นสร้างขึ้นโดยอัลกอริทึมหรือโดยมนุษย์ และพวกเขาได้ให้เครื่องหมายคำถามที่มนุษย์สร้างขึ้นและที่เครื่องสร้างขึ้นสำหรับระดับความยากและความเหมาะสมของหลักสูตรที่คล้ายคลึงกัน
Drori ชี้ให้เห็นอย่างรวดเร็วว่างานนี้ไม่ได้มีวัตถุประสงค์เพื่อแทนที่อาจารย์ที่เป็นมนุษย์
“ระบบอัตโนมัติอยู่ที่ 80 เปอร์เซ็นต์ แต่ระบบอัตโนมัติจะไม่มีวันแม่นยำ 100 เปอร์เซ็นต์ ทุกครั้งที่คุณแก้ปัญหาบางอย่าง จะมีคนถามคำถามที่ยากขึ้น แต่งานนี้เปิดโอกาสให้ผู้คนเริ่มแก้ปัญหาที่ยากขึ้นเรื่อยๆ ด้วยแมชชีนเลิร์นนิง เราคิดว่ามันจะส่งผลกระทบอย่างมากต่อการศึกษาระดับอุดมศึกษา” เขากล่าว
ทีมงานรู้สึกตื่นเต้นกับความสำเร็จของแนวทางของพวกเขา และได้ขยายงานเพื่อจัดการกับการพิสูจน์ทางคณิตศาสตร์ แต่มีข้อจำกัดบางอย่างที่พวกเขาวางแผนที่จะแก้ไข ปัจจุบัน โมเดลไม่สามารถตอบคำถามด้วยองค์ประกอบภาพและไม่สามารถแก้ปัญหาที่คำนวณได้ยากเนื่องจากความซับซ้อนในการคำนวณ
นอกเหนือจากการเอาชนะอุปสรรคเหล่านี้แล้ว พวกเขากำลังพยายามขยายแบบจำลองให้ครอบคลุมหลักสูตรหลายร้อยหลักสูตร ด้วยหลักสูตรหลายร้อยหลักสูตร พวกเขาจะสร้างข้อมูลเพิ่มเติมที่สามารถปรับปรุงระบบอัตโนมัติและให้ข้อมูลเชิงลึกเกี่ยวกับการออกแบบหลักสูตรและหลักสูตร
