ทีมวิจัยของแอปเปลรายงานถึงการทดสอบทางคณิตศาสตร์ของ Large Language Model (LLM) ว่าอาจจะยังไม่ดีพอ โดยยกตัวอย่างการทดสอบ GSM8K ที่ทดสอบการให้เ
แนวทางของทีมงานคือการสร้างชุดทดสอบ GSM-Symbolic เป็น template ของชุดทดสอบที่สามารถสร้างข้อสอบได้หลากหลาย หลังจากนั้นทดสอบด้วยชุดทดสอบที่เปลี่ยนค่าต่างๆ ไปแล้ว
ผลทดสอบพบว่าโมเดลจำนวนมากคะแนนแย่ลงมากจากการเปลี่ยนตัวเลข ขณะที่การเปลี่ยนค่าอื่นๆ เช่น ชื่อต่าง ยังคงสามารถทำงานได้ถูกต้องอยู่ หรือชุดทดสอบ GSM-NoOps ที่ใส่ข้อความที่ไม่เกี่ยวกับโจทย์เติมลงไปก็ทำให้ผลทดสอบแย่ลงเช่นกันผมว่ากราฟในหน้า 8 เหมือนจะสรุปได้ว่า ทุก LLM ความแม่นยำ เปลี่ยน เมื่อมีการเปลี่ยนชื่อ < ค่า < เปลี่ยนทั้งชื่อและค่า จะมากบ้างน้อยบ้างก็มี ไม่เว้นแม้แต่ตัวล่าสุด o1-mini ก็ยังลด แต่ไม่ใช่ไม่ลดเลยตัวที่เปลี่ยนหนักจริงๆ คือการเพิ่มโจทย์ให้ยาวขึ้น 2 วรรค ครับ ลดลงทุกตัวแม้แต่...
เหตุผลคือ เทคโนโลยีในด้าน sensor และการจัดเก็บข้อมูลมันยังก้าวตามมาไม่ทัน เพราะการที่จะให้ AI ฉลาดเพียงพอ มันจะต้องมีการเรียนรู้เพิ่มเติมด้วย sensor ไปด้วย เพื่อสร้างโครงข่ายใยประสาทใหม่สำหรับโจทย์ใหม่ๆ ลงในฐานข้อมูล รวมถึงการสร้าง workflow ให้มันสามารถนำข้อมูลใหม่ไปเชื่อมโยงข้อมูลเดิมเพื่อรองรับกับปัญหาใหม่ๆ เหมือนมนุษย์ที่มีเวลานอนหลับ เพื่อทำการนี้เช่นกัน ถ้าจะหวังให้มันเรียนรู้แล้วตอบโจทย์ใหม่ๆ แบบ real-time...
ประเทศไทย ข่าวล่าสุด, ประเทศไทย หัวข้อข่าว
Similar News:คุณยังสามารถอ่านข่าวที่คล้ายกันนี้ซึ่งเรารวบรวมจากแหล่งข่าวอื่น ๆ ได้
สถาปัตยกรรม AI-LLM และ Web5 โดย ChainwireForex Gold Cryptocurrency
อ่านเพิ่มเติม »
Foxconn เผย AI เติบโตได้อีก อนาคตฉลาดกว่ามนุษย์ ชี้สมาร์ทโฟนคือตัวแปรสำคัญYoung Liu ประธานฟ็อกซ์คอนน์ มั่นใจ AI ยังโตได้อีก LLM พัฒนาเร็ว มุ่งสู่ AGI กระตุ้นการลงทุน 'On Device AI' คือเทรนด์ใหม่ที่จะปฏิวัติวงการมือถือ ฟ็อกซ์คอนน์พร้อมตอบโจทย์ คว้าโอกาสธุรกิจ สร้าง 'วงจรการเติบโตครั้งใหม่'
อ่านเพิ่มเติม »
Foxconn เผย AI เติบโตได้อีก อนาคตฉลาดกว่ามนุษย์ ชี้สมาร์ทโฟนคือตัวแปรสำคัญYoung Liu ประธานฟ็อกซ์คอนน์ มั่นใจ AI ยังโตได้อีก LLM พัฒนาเร็ว มุ่งสู่ AGI กระตุ้นการลงทุน 'On Device AI' คือเทรนด์ใหม่ที่จะปฏิวัติวงการมือถือ ฟ็อกซ์คอนน์พร้อมตอบโจทย์ คว้าโอกาสธุรกิจ สร้าง 'วงจรการเติบโตครั้งใหม่'
อ่านเพิ่มเติม »
รู้จัก Alisa AI ของไทย Gen รูปให้ฟรี ถามตอบได้ดี เป็นภาษาไทย ใช้งานง่ายสุดๆน้อง Alisa AI เป็น Large Language Models Chatbot ซึ่งขับเคลื่อนด้วยระบบปัญญาประดิษฐ์ Generative Pre-Trained Transformer และมีความสามารถในการประมวลผลภาษาธรรมชาติขั้นสูง (NLP) ทำให้ Alisa สามารถเข้าใจการสนทนาได้และตอบสนองได้เหมือนคนมากที่สุด
อ่านเพิ่มเติม »
สถาปัตยกรรม AI-LLM และ Web5 โดย ChainwireForex Gold Cryptocurrency
อ่านเพิ่มเติม »
Tesla จัดทัวร์ Cybertruck พร้อมเปิดตัว Supercharger แห่งแรกใน เชียงใหม่สัมผัสนวัตกรรมยานยนต์ไฟฟ้าระดับโลกกับ Tesla Cybertruck Tour ที่ เชียงใหม่ พร้อมทดลองขับ Model 3 และ Model Y รุ่นใหม่ล่าสุด
อ่านเพิ่มเติม »