สถาบันนวัตกรรมเทคโนโลยีแห่งสหรัฐอาหรับเอมิเรตส์ พลิกโฉมแบบจำลองภาษาด้วยสถาปัตยกรรมใหม่

• Falcon Mamba 7B เป็นแบบจำลองภาษาระดับโลกที่มีประสิทธิภาพสูงสุดในหมวดหมู่ SSLM แบบเปิด (Open Source State Space Language Model) โดยได้รับการยืนยันจาก Hugging Face

• SSLM มีค่าใช้จ่ายด้านหน่วยความจำต่ำ และไม่ต้องใช้หน่วยความจำเพิ่มเติมในการสร้างข้อความยาวๆ ตามต้องการ

• Falcon Mamba 7B มีประสิทธิภาพดีกว่าแบบจำลองสถาปัตยกรรม Transformer แบบดั้งเดิม เช่น Llama 3.1 8B ของ Meta และ Mistral 7B

• แบบจำลองใหม่นี้สะท้อนถึงความคิดริเริ่มและนวัตกรรมของอาบูดาบีในด้านการวิจัยและพัฒนา AI

อาบูดาบี สหรัฐอาหรับเอมิเรตส์–(BUSINESS WIRE)–12 สิงหาคม 2024

สถาบันนวัตกรรมเทคโนโลยี  (TII) ซึ่งเป็นศูนย์วิจัยวิทยาศาสตร์ชั้นนำระดับโลกและเสาหลักของการวิจัยประยุกต์ของสภาวิจัยเทคโนโลยีขั้นสูงแห่งอาบูดาบี (Advanced Technology Research Council) (ATRC) ได้เปิดตัวโมเดลภาษาขนาดใหญ่รุ่นใหม่ในซีรีส์ Falcon ชื่อว่า Falcon Mamba 7B โมเดลนี้เป็น State Space Language Model (SSLM) แบบโอเพนซอร์สอันหนึ่งของโลก โดยได้รับการยืนยันจาก Hugging Face

ในฐานะที่เป็น SSLM รุ่นแรกสำหรับซีรีส์ Falcon ทำให้โมเดลนี้แตกต่างจากโมเดล Falcon รุ่นก่อนหน้าทั้งหมดที่ใช้สถาปัตยกรรมแบบ Transformer ซึ่ง Falcon Mamba 7B รุ่นใหม่นี้เป็นอีกหนึ่งตัวอย่างหนึ่งของการวิจัยบุกเบิกที่สถาบันกำลังดำเนินการ ตลอดจนเครื่องมือและผลิตภัณฑ์ล้ำสมัยที่สถาบันเปิดให้ชุมชนเข้าถึงได้ในรูปแบบโอเพนซอร์ส

Faisal Al Bannai เลขาธิการ ATRC และที่ปรึกษาประธานาธิบดี UAE ด้านการวิจัยเชิงกลยุทธ์และกิจการเทคโนโลยีขั้นสูง กล่าวว่า “Falcon Mamba 7B ถือเป็นโมเดล AI อันดับหนึ่งต่อเนื่องเป็นรุ่นที่สี่ของ TII ซึ่งเสริมสร้างให้อาบูดาบีเป็นศูนย์กลางระดับโลกด้านการวิจัยและพัฒนา AI ความสำเร็จนี้เป็นข้อพิสูจน์ถึงความมุ่งมั่นอย่างไม่หยุดยั้งของ UAE ในด้านนวัตกรรม”

สำหรับโมเดลสถาปัตยกรรม Transformer Falcon Mamba 7B มีประสิทธิภาพดีกว่า Llama 3.1 8B, Llama 3 8B ของ Meta และ Mistral 7B ในเกณฑ์มาตรฐานใหม่จาก HuggingFace ในขณะที่ SSLM อื่นๆ Falcon Mamba 7B มีประสิทธิภาพดีกว่าโมเดลโอเพนซอร์สทั้งหมดในเกณฑ์มาตรฐานเก่า และจะเป็นโมเดลแรกในตารางผู้นำเกณฑ์มาตรฐานใหม่ที่เข้มงวดกว่าของ HuggingFace

ดร. Najwa Aaraj ประธานเจ้าหน้าที่บริหารของ TII กล่าวว่า “สถาบันนวัตกรรมเทคโนโลยียังคงผลักดันขีดจำกัดของเทคโนโลยีด้วยโมเดล AI ซีรีส์ Falcon Falcon Mamba 7B เป็นผลงานบุกเบิกที่แท้จริงและปูทางไปสู่นวัตกรรม AI ในอนาคตที่จะเสริมสร้างความสามารถของมนุษย์และพัฒนาคุณภาพชีวิต”

โมเดล State Space มีประสิทธิภาพสูงมากในการทำความเข้าใจสถานการณ์ที่ซับซ้อนซึ่งพัฒนาไปตามเวลา เช่น การอ่านหนังสือทั้งเล่ม เนื่องจาก SSLM ไม่ต้องการหน่วยความจำเพิ่มเติมในการประมวลผลข้อมูลขนาดใหญ่เช่นนี้

ในทางกลับกัน โมเดลที่ใช้สถาปัตยกรรม Transformer มีประสิทธิภาพสูงมากในการจดจำและใช้ข้อมูลที่เคยประมวลผลไว้ก่อนหน้านี้ในลำดับ ทำให้โมเดลพวกนี้เหมาะสมกับงานอย่างการสร้างเนื้อหา อย่างไรก็ตาม เนื่องจากพวกมันเปรียบเทียบทุกคำกับทุกคำอื่นๆ จึงต้องใช้พลังการคำนวณอย่างมาก

SSLM สามารถนำไปใช้ในหลายสาขา เช่น การประเมิน การพยากรณ์ และงานควบคุม เช่นเดียวกับโมเดล Transformer โมเดลพวกนี้ยังมีความเชี่ยวชาญในงานประมวลผลภาษาธรรมชาติ และสามารถนำไปใช้ในการแปลภาษา สรุปข้อความ การประมวลผลภาพ และเสียงได้อีกด้วย

ดร. Hakim Hacid หัวหน้าฝ่ายวิจัยชั่วคราวของหน่วย AI Cross-Center ของ TII กล่าวว่า “เมื่อเราเปิดตัว Falcon Mamba 7B ผมรู้สึกภูมิใจในระบบนิเวศการทำงานร่วมกันของ TII ที่สนับสนุนการพัฒนาแบบจำลองนี้ การเปิดตัวครั้งนี้เป็นก้าวสำคัญที่สร้างแรงบันดาลใจให้เกิดมุมมองใหม่ๆ และกระตุ้นการค้นหาระบบอัจฉริยะอย่างต่อเนื่อง ที่ TII เรากำลังผลักดันขีดจำกัดของทั้งแบบจำลอง SSLM และ Transformer เพื่อจุดประกายนวัตกรรมเพิ่มเติมในด้าน AI เชิงสร้างสรรค์”

โมเดล LLM ของ Falcon ถูกดาวน์โหลดไปแล้วกว่า 45 ล้านครั้ง ซึ่งพิสูจน์ถึงความสำเร็จที่ยอดเยี่ยมของโมเดลเหล่านี้ Falcon Mamba 7B จะเปิดตัวภายใต้ใบอนุญาต TII Falcon 2.0 ซึ่งเป็นใบอนุญาตซอฟต์แวร์ที่อนุญาตตามแบบ Apache 2.0 ที่มีกฎการใช้งานที่ยอมรับได้ซึ่งส่งเสริมการใช้ AI อย่างมีความรับผิดชอบ ข้อมูลเพิ่มเติมเกี่ยวกับโมเดลใหม่สามารถดูได้ที่ FalconLLM.TII.ae

สามารถรับชมภาพในรูปแบบมัลติมีเดียได้ที่: https://www.businesswire.com/news/home/54107705/en

*ที่มา: AETOSWire

เนื้อหาใจความในภาษาต้นฉบับของข่าวประชาสัมพันธ์ฉบับนี้เป็นฉบับที่เชื่อถือได้และเป็นทางการ การแปลต้นฉบับนี้จึงมีจุดประสงค์เพื่ออำนวยความสะดวกเท่านั้น และควรนำไปเทียบเคียงอ้างอิงกับเนื้อหาในภาษาต้นฉบับ ซึ่งเป็นฉบับเดียวที่มีผลทางกฎหมาย

ติดต่อ

Jennifer Dewan ผู้อำนวยการอาวุโสฝ่ายสื่อสาร
Jennifer.dewan@tii.ae

ที่มา: The Technology Innovation Institute

.