ScreenAI คืออะไร? เอไอตัวใหม่ที่ Google มีความสามารถอะไรบ้าง? ทำอะไรได้? แล้วมันจะส่งผลกระทบกับวงการ AI และเรามากแค่ไหน?
ในทุกวันนี้ หน้าจอ UI และ Infographic เช่น แผนภูมิ ไดอะแกรม และตาราง มีบทบาทสำคัญในการสื่อสารทั้งระหว่างมนุษย์ด้วยกันเอง และมนุษย์กับเครื่องจักร เนื่องจากมีความสะดวก และสื่อสารได้หลากหลาย โดยทั้ง UI และอินโฟกราฟิกใช้หลักการการออกแบบและภาษาภาพที่คล้ายกัน ทำให้มีความเป็นไปได้ที่จะสร้างโมเดลเอไอที่เข้าใจทั้ง UI และ Infographic อย่างไรก็ตาม เนื่องจากความซับซ้อนและรูปแบบที่หลากหลายของ UI และ Infographic ทำให้มีความท้าทายในการสร้างโมเดลเอไออย่างมากScreenAI เป็นโมเดลภาษาวิสัยทัศน์...
นอกจากนี้ ScreenAI ถูกฝึกด้วยชุดข้อมูลและงานที่หลากหลาย รวมถึงชุดข้อมูลแบบ Screen Annotation แบบใหม่ที่สามารถระบุองค์ประกอบของ UI ได้ ข้อมูลเหล่านี้จะช่วยให้โมเดลภาษาขนาดใหญ่ เข้าใจสิ่งที่อยู่บนหน้าจอ และสร้างชุดข้อมูลสำหรับการฝึกตอบคำถาม การระบุหน้า UI และการสรุปเนื้อหา ScreenAI ใช้พารามิเตอร์ 5 พันล้านตัว ซึ่งนับว่าใช้จำนวนพารามิเตอร์ไม่มากแต่กลับได้ผลลัพธ์ที่ดีเยี่ยม ScreenAI จึงเป็นก้าวสำคัญของงานวิจัยด้าน AI...
โดยสถาปัตยกรรม PaLI ที่เป็นพื้นฐานของ ScreenAI ถูกนำมาแก้ปัญหาให้ ScreenAI สามารถมองภาพเป็นแบบ ” text+image-to-text” ได้ ใช้โมเดล DETR ในการระบุและติดป้ายชิ้นส่วนต่างๆ บนหน้าจอ เช่น รูปภาพ ไอคอน ปุ่ม ข้อความ และความสัมพันธ์เชิงพื้นที่ของแต่ละส่วนเหล่านั้น สำหรับไอคอน รูปภาพและอินโฟกราฟิก ที่ระบบจำแนกไม่ได้ ทีมวิจัยจะใช้โมเดล PaLI image captioning สร้างคำบรรยายภาพเพื่ออธิบายรายละเอียดและบริบทของภาพ: ใช้คำอธิบายหน้าจอเบื้องต้นเป็นโครงสร้างหลัก จากนั้นออกแบบคำสั่ง เพื่อสั่ง PaLM 2 ให้สร้างข้อมูลเทียมขึ้นมา เช่น “สร้างภาพหน้าจอที่มีปุ่ม ‘ยืนยัน’ สีเขียว อยู่ด้านล่างขวาของรูปภาพสินค้า” ซึ่งการออกแบบคำสั่ง เป็นขั้นตอนสำคัญ ที่ต้องใช้ความละเอียดรอบคอบ และผ่านการตรวจสอบโดยมนุษย์...
ประเทศไทย ข่าวล่าสุด, ประเทศไทย หัวข้อข่าว
Similar News:คุณยังสามารถอ่านข่าวที่คล้ายกันนี้ซึ่งเรารวบรวมจากแหล่งข่าวอื่น ๆ ได้
Meta AI คืออะไร ทำงานอย่างไร ? หลัง Meta AI เปิดใช้งานแล้วบน FB , IG , Messenger , WhatsAppทำความรู้จัก Meta AI คืออะไร Meta ตอนนี้รุกหนักในการเปิดบริการบนแอปต่างๆในเครือ Meta ทั้ง Facebook , Messenger , Instagram และ WhatsApp
อ่านเพิ่มเติม »
Samsung Vivo Xiaomi วิธีแก้ปัญหา 'จอขึ้นเส้นสีเขียว' หลังอัปเดตเวอร์ชันใหม่Samsung, Vivo และ Xiaomi และมือถือแอนดรอยด์แบรนด์อื่นๆได้พบปัญหา 'จอขึ้นเส้นสีเขียว' หลังอัปเดต ซึ่งซัมซุงได้พบปัญหากันทั่วโลกหลังจากการอัปเดต One UI 6.1 ซึ่งวิธีแก้ไขจะทำอย่างไรบ้าง มาดูกัน
อ่านเพิ่มเติม »
เจาะลึก Bitcoin halving 4 ปีมีครั้ง ปรากฏการณ์นี้จะทำให้ราคารุ่งหรือร่วง?เจาะลึก Bitcoin halving คืออะไร ทำไมถึงเกิดขึ้นทุกๆ 4 ปี จะเกิดอะไรขึ้นหลังจากนี้ เพราะราคาบิตคอยน์ทำนิวไฮใหม่ก่อนฮาล์ฟวิ่งไปแล้ว ปรากฏการณ์ครั้งที่ 4 จะทำให้ราคารุ่งหรือร่วง?
อ่านเพิ่มเติม »
Google Vids คืออะไร แอปใช้ AI สร้างวิดีโอ จบทุกอย่างในเรื่องสร้างงานนำเสนอวิดีโอเปิดตัวบริการใหม่ที่เชื่อว่าหลายท่านจะได้ใช้ Google Vids คืออะไร บริการใหม่จาก Google Workspace จบทุกอย่างในเรื่องสร้างงานนำเสนอวิดีโอ
อ่านเพิ่มเติม »
วิธีทำ Vision Board บนอุปกรณ์ Apple ด้วยแอป Freeform ที่มีติดเครื่องVision board คืออะไร วิธีทำ Vision Board และวิธีแต่ง Vision Board ให้สวยง่ายๆ ด้วยแอป Freeform จากอุปกรณ์ Apple ที่ฟรีมีติดเครื่อง
อ่านเพิ่มเติม »
ที่ดินติดภาระจำยอม สามารถซื้อ-ขายได้หรือไม่ กรมที่ดิน ตอบแล้วที่ดินติดภาระจำยอม สามารถซื้อ-ขายได้หรือไม่ กรมที่ดิน ตอบแล้ว ส่วนภาระจำยอม คืออะไร คลิกอ่านรายละเอียดมัดรวมข้อมูลไว้แล้ว
อ่านเพิ่มเติม »