OpenThaiGPT GPTQ 4bit Question&Answering Demo
ทดสอบ การใช้งาน Model แบบ GPTQ 4 bit
https://aiotplatform.blogspot.com/202...
GPTQ-for-LLaMA
4 bits quantization of LLaMA using GPTQ
GPTQ is SOTA one-shot weight quantization method
This code is based on GPTQ
There is a pytorch branch that allows you to use groupsize and act-order together.
เทคโนโลยีทางภาษาไทย แบบ ChatGPT (Large Language Model) พัฒนาเพื่อคนไทยทุกคน
OpenThaiGPT มุ่งเน้นพัฒนาระบบ Chatbot ภาษาไทย ให้มีความสามารถเทียบเท่า ChatGPT อีกทั้งยังสามารถเชื่อมต่อกับระบบภายนอกและสามารถดึงข้อมูลได้อย่างยืดหยุ่น สามารถขยายและปรับแต่งได้อย่างง่ายดาย และพัฒนาขึ้นเป็น ซอฟต์แวร์โอเพนซอร์ส ฟรี สำหรับทุกคน
เวอร์ชั่น 1.0.0 ซึ่งมีแผนเปิดตัวในเดือนมิถุนายน 2566 มีการใช้ Large Language Model ขนาด 10 พันล้านพารามิเตอร์ ในการพรีเทรน ได้แก่ โมเดล LLAMA
ดร.ปรัชญา บุญขวัญ หัวหน้าทีมวิจัยเทคโนโลยีภาษาธรรมชาติและความหมาย กลุ่มวิจัยปัญญาประดิษฐ์ เนคเทค สวทช. ผู้ดูแลการพัฒนา เวอร์ชั่น 1.0.0 อธิบายเพิ่มเติมเพื่อให้เข้าใจได้ง่ายขึ้นว่า Language Model คือ โปรแกรมทายคำ เกิดจากการที่เราให้ข้อมูล เหมือนให้มันอ่านหนังสือมาก ๆ มันจะเรียนรู้สำนวน วลี ไวยากรณ์ของภาษา ตอบคำถามเราได้ใกล้เคียงมนุษย์
ส่วนคำว่า Parameter เปรียบเทียบง่าย ๆ คือ จำนวนเส้นประสาทในสมอง อย่างเช่น Open Thai GPT เวอร์ชัน 1.0.0 มีเส้นประสาทในสมอง 3 พันล้านเส้น ใช้ภาษาได้เหมือนเด็ก ป.6 ในอนาคตก็จะมีการเพิ่มจำนวนเส้นประสาทมากขึ้นไปอีก ก็จะพูดได้เก่งขึ้น ไปเป็นเด็ก ม.3 จนกลายเป็น ม.6 ซึ่งการจะสอนหรือ Pretrain เด็กจนพูดได้ จะต้องมีข้อมูลมากมาย และเมื่อเด็กพูดเก่ง ก็ต้องมาสู่การปรับให้มีพฤติกรรมที่เหมาะสม พูดจาไพเราะ นั่นคือ ขั้นตอนการ Finetuning
Thai SC มี Super computer เครื่องใหม่ที่ชื่อว่า LANTA ซึ่งติดตั้งเสร็จเมื่อปลายปี 2565 เครื่องนี้มี GPU ทั้งหมด 704 การ์ด NVIDIA A100 40 GB
องค์กรที่ร่วมสนับสนุน (Sponsors)
สมาคมผู้ประกอบการปัญญาประดิษฐ์ประเทศไทย (AIEAT)
สมาคมปัญญาประดิษฐ์ประเทศไทย (AIAT)
และทีมงานจากองค์กรดังต่อไปนี้
ศูนย์เทคโนโลยีอิเล็กทรอนิกส์และคอมพิวเตอร์แห่งชาติ (เนคเทค)
มหาวิทยาลัยมหิดล
Microsoft Thailand
บริษัท ไอแอพพ์เทคโนโลยี จำกัด
Botnoi Consulting Co., Ltd.
SABLE Co., Ltd.
Ananda development
โรงเรียนวิทยาศาสตร์จุฬาภรณราชวิทยาลัย ชลบุรี
บจ. เคเคส
บริษัท แสตนด์อัพโค้ด จำกัด
Agoda
Metapeace Interface
Systech
TMS Tech
หลักการและเหตุผล
ความสามารถของ ChatGPT เป็นการหลักฐานประจักษ์ของความสามารถของ Large Language Model ที่สามารถช่วยให้ชีวิตมนุษย์ทำงานได้ง่ายขึ้นอย่างมาก แต่อย่างไรก็ดี เรามองว่าความสามารถของ Large Language Model นั้นเป็นไปได้มากกว่า
หาก Model อย่าง ChatGPT นั่นสามารถ Open Source และเปิดให้ทุกคนใช้ได้โดยเสรี ฟรี ไม่มีข้อผูกมัด และเปิดให้ทุกคนสามารถนำไปใช้ นำไปปรับปรุงต่อ (Finetuning) เพื่อสร้างการใช้งานหรือ Service ใหม่ๆจากการใช้ปัญญาประดิษฐ์ ย่อมเกิดประโยชน์มหาศาล และแน่นอนหมายถึงการก้าวกระโดดทางเศรษฐกิจจากการปฏิวัติของปัญญาประดิษฐ์
หากทีมงาน OpenThaiGPT เลยเล็งเห็นความสำคัญและรวมกลุ่มกัน ช่วยกัน พัฒนา ChatGPT ที่เป็น Opensource โดยเริ่มต้นจากภาษาไทย และจะขยายไปในภาษาอื่นๆในอนาคต การสร้าง LLM ที่มีความสามารถได้อย่าง ChatGPT นั้น ต้องมีการลงทุนอย่างมหาศาล ทั้งจำนวนผู้เชี่ยวชาญ จำนวน Dataset และปริมาณ GPU ที่ใช้ประมวลผลจำนวนมหาศาล และไม่สามารถเกิดได้จากความพยายามของคนกลุ่มใดกลุ่มหนึ่ง แต่หากว่าเราสามารถรวมแรงรวมใจกัน บริหารจัดการและกระจายงานให้ดี ให้เป้าหมายภารกิจของทุกๆทีมตรงกัน และช่วยกันสร้างขึ้นมา เราก็จะได้ใช้ประโยชน์ OpenThaiGPT ที่มีเป็น LLM ด้านภาษาไทยที่เปิด เป็น ซอฟต์แวร์โอเพนซอร์ส ฟรี ให้ทุกคนนำไปใช้งานได้ อย่างเสรี และฟรี สำหรับทุกๆคน
openThaiGPT
https://openthaigpt.aieat.or.th/
====================================================
สอบถาม :
อดุลย์ นันทะแก้ว 081-6452400
LINE : adunnan
WebSite : https://softpower.tech
FaceBook : / adun.nantakaew
Page : / softpowergroup
Youtube 1 : / @softpowergroupnetthailand
Youtube 2 : / @androidcontrol
Web Blog : http://raspberrypi4u.blogspot.com/
Web Blog : http://microcontrollerkits.blogspot.com/