คำนำ

นับตั้งแต่การถือกําเนิดของ GPT-3 AI เชิงกําเนิดได้นําจุดเปลี่ยนที่ระเบิดได้ในด้านปัญญาประดิษฐ์ด้วยประสิทธิภาพที่น่าทึ่งและสถานการณ์การใช้งานในวงกว้าง สิ่งนี้ทําให้ยักษ์ใหญ่ด้านเทคโนโลยีแห่กันไปที่แทร็ก AI อย่างไรก็ตามการเพิ่มขึ้นนี้นํามาซึ่งปัญหามากมาย การฝึกอบรมและการอนุมานของแบบจําลองภาษาขนาดใหญ่ (LLMs) ต้องการพลังการประมวลผลมากมาย ด้วยการอัพเกรดซ้ําของโมเดลเหล่านี้ความต้องการและต้นทุนสําหรับพลังการประมวลผลจะเพิ่มขึ้นอย่างทวีคูณ ยกตัวอย่าง GPT-2 และ GPT-3 ความแตกต่างของจํานวนพารามิเตอร์ระหว่าง GPT-2 และ GPT-3 คือ 1166 เท่า (GPT-2 มีพารามิเตอร์ 150 ล้านตัวในขณะที่ GPT-3 มี 175 พันล้านตัว) ค่าใช้จ่ายสําหรับเซสชันการฝึกอบรมครั้งเดียวของ GPT-3 คํานวณตามรูปแบบราคาของคลาวด์ GPU สาธารณะในขณะนั้น ซึ่งสูงถึง 12 ล้านดอลลาร์ นี่คือ 200 เท่าของ GPT-2 ในการใช้งานจริงทุกแบบสอบถามของผู้ใช้ต้องมีการคํานวณการอนุมาน จากผู้ใช้อิสระ 13 ล้านคนเมื่อต้นปีนี้ความต้องการชิปที่สอดคล้องกันจะมากกว่า 30,000 A100 GPU ต้นทุนการลงทุนเริ่มต้นจะสูงถึง 800 ล้านดอลลาร์โดยมีต้นทุนการอนุมานแบบจําลองรายวันโดยประมาณที่ 700,000 ดอลลาร์

พลังการประมวลผลที่ไม่เพียงพอและต้นทุนที่สูงได้กลายเป็นความท้าทายที่ร้ายแรงที่อุตสาหกรรม AI ทั้งหมดต้องเผชิญ ปัญหาที่คล้ายกันดูเหมือนจะเผชิญหน้ากับอุตสาหกรรมบล็อกเชน ในอีกด้านหนึ่งการลดลงครึ่งหนึ่งของ Bitcoin ครั้งที่สี่และการอนุมัติ ETF กําลังใกล้เข้ามา เมื่อราคาในอนาคตสูงขึ้นความต้องการของนักขุดสําหรับฮาร์ดแวร์คอมพิวเตอร์จะเพิ่มขึ้นอย่างมากอย่างหลีกเลี่ยงไม่ได้ ในทางกลับกันเทคโนโลยี Zero-Knowledge Proof (ZKP) กําลังเฟื่องฟูและ Vitalik ได้เน้นย้ําหลายครั้งว่าผลกระทบของ ZK ต่อสาขาบล็อกเชนในอีกสิบปีข้างหน้าจะมีความสําคัญพอ ๆ กับบล็อกเชนเอง ในขณะที่เทคโนโลยีนี้ถือเป็นคํามั่นสัญญาสําหรับอนาคตของอุตสาหกรรมบล็อกเชน ZK ยังใช้พลังการประมวลผลและเวลาจํานวนมากในการสร้างหลักฐานเนื่องจากกระบวนการคํานวณที่ซับซ้อนเช่นเดียวกับ AI

ในอนาคตที่เห็นได้ว่า ขาดแคลนพลังคอมพิวเตอร์จะกลายเป็นสิ่งที่หลีกเลี่ยงไม่ได้ ดังนั้น ตลาดพลังคอมพิวเตอร์แบบกระจายจะเป็นทางเลือกทางธุรกิจที่มีกำไรหรือไม่?

นิยามตลาดพลังคอมพิวเตอร์ที่ไม่ centralize

ตลาดพลังการประมวลผลแบบกระจายอํานาจนั้นเทียบเท่ากับแทร็กการประมวลผลแบบคลาวด์แบบกระจายอํานาจ แต่โดยส่วนตัวแล้วฉันคิดว่าคํานี้เหมาะสมกว่าที่จะอธิบายโครงการใหม่ที่จะกล่าวถึงในภายหลัง ตลาดพลังการประมวลผลแบบกระจายอํานาจควรได้รับการพิจารณาว่าเป็นส่วนย่อยของ DePIN (Decentralized Physical Infrastructure Networks) ซึ่งมีเป้าหมายเพื่อสร้างตลาดพลังงานการประมวลผลแบบเปิดซึ่งทุกคนที่มีทรัพยากรพลังงานการประมวลผลที่ไม่ได้ใช้งานสามารถเสนอทรัพยากรที่จูงใจด้วยโทเค็นซึ่งส่วนใหญ่ให้บริการลูกค้า B2B และชุมชนนักพัฒนา ในแง่ของโครงการที่คุ้นเคยมากขึ้นเครือข่ายเช่น Render Network ซึ่งใช้โซลูชันการเรนเดอร์ GPU แบบกระจายอํานาจและ Akash Network ซึ่งเป็นตลาดแบบเพียร์ทูเพียร์แบบกระจายสําหรับการประมวลผลแบบคลาวด์ทั้งคู่อยู่ในแทร็กนี้

ข้อความต่อไปนี้จะเริ่มต้นด้วยแนวคิดพื้นฐานแล้วจะพูดถึงตลาดสามตลาดเกิดใหม่ภายใต้แนวทางนี้: ตลาดพลังคอมพิวเตอร์ AGI, ตลาดพลังคอมพิวเตอร์ Bitcoin, และตลาดพลังคอมพิวเตอร์ AGI ในตลาดเร่งความเร็วฮาร์ดแวร์ ZK ส่วนสองและสามจะถูกพูดถึงใน "โอกาสของตลาดพลังคอมพิวเตอร์แบบกระจาย (ส่วนที่ 2)"

ภาพรวมเกี่ยวกับพลังคอมพิวเตอร์

แนวคิดเกี่ยวกับพลังคอมพิวเตอร์สามารถติดตามได้ถึงการประดิษฐ์คอมพิวเตอร์ เครื่องคอมพิวเตอร์เดิมใช้อุปกรณ์กลศาสตร์ในการทำงานคอมพิวเตอร์ และพลังคอมพิวเตอร์หมายถึงความสามารถในการคำนวณของอุปกรณ์กลศาสตร์ ด้วยการพัฒนาเทคโนโลยีคอมพิวเตอร์ แนวคิดเกี่ยวกับพลังคอมพิวเตอร์ก็เปลี่ยนแปลงไปด้วย พลังคอมพิวเตอร์ในปัจจุบัน通常หมายถึงการทำงานร่วมกันของฮาร์ดแวร์คอมพิวเตอร์ (CPU, GPU, FPGA, ฯลฯ) และซอฟต์แวร์ (ระบบปฏิบัติการ, คอมไพเลอร์, แอปพลิเคชั่น, ฯลฯ)

นิยาม

พลังคอมพิวเตอร์หมายถึงปริมาณของข้อมูลที่คอมพิวเตอร์หรืออุปกรณ์คอมพิวเตอร์อื่น ๆ สามารถประมวลผลภายในระยะเวลาหนึ่งหรือจำนวนงานคอมพิวเตอร์ที่สามารถทำเสร็จได้ พลังคอมพิวเตอร์มักถูกใช้เพื่ออธิบายประสิทธิภาพของคอมพิวเตอร์หรืออุปกรณ์คอมพิวเตอร์อื่น ๆ เป็นตัววัดที่สำคัญของความสามารถในการประมวลผลของอุปกรณ์คอมพิวเตอร์

การวัด

พลังคอมพิวเตอร์สามารถวัดได้ในหลายวิธี เช่น ความเร็วในการคำนวณ การใช้พลังงาน ความแม่นยำในการคำนวณ และความสามารถในการประมวลผลข้อมูลพร้อมๆ ในวงการคอมพิวเตอร์ หน่วยวัดพลังคอมพิวเตอร์ที่นิยมใช้มี FLOPS (การดำเนินการทศนิยมต่อวินาที) IPS (คำสั่งต่อวินาที) TPS (ธุรกรรมต่อวินาที) ฯลฯ

FLOPS วัดความสามารถของคอมพิวเตอร์ในการประมวลผลการดําเนินการจุดลอยตัว (การดําเนินการทางคณิตศาสตร์ด้วยจุดทศนิยมที่ต้องพิจารณาปัญหาความแม่นยําและข้อผิดพลาดในการปัดเศษ) มันวัดจํานวนการดําเนินการจุดลอยตัวที่คอมพิวเตอร์สามารถทําได้ต่อวินาที FLOPS เป็นการวัดความสามารถในการประมวลผลประสิทธิภาพสูงของคอมพิวเตอร์และมักใช้เพื่อวัดความสามารถในการประมวลผลของซูเปอร์คอมพิวเตอร์เซิร์ฟเวอร์คอมพิวเตอร์ประสิทธิภาพสูงหน่วยประมวลผลกราฟิก (GPU) เป็นต้น ตัวอย่างเช่น หากระบบคอมพิวเตอร์มี 1 TFLOPS (การดําเนินการจุดลอยตัวหนึ่งล้านล้านจุดต่อวินาที) หมายความว่าสามารถดําเนินการจุดลอยตัวได้ 1 ล้านล้านจุดต่อวินาที

IPS หมายถึงความเร็วที่คอมพิวเตอร์ประมวลผลคำสั่ง มันเป็นการวัดว่าคอมพิวเตอร์สามารถดำเนินการคำสั่งได้กี่คำต่อวินาทีและเป็นการวัดประสิทธิภาพของคำสั่งเดียวของคอมพิวเตอร์ ซึ่งใช้เพื่อวัดประสิทธิภาพของหน่วยประมวลผลกลาง (CPU) ตัวอย่างเช่น CPU ที่มี IPS 3 GHz (3 พันล้านคำสั่งต่อวินาที) หมายถึงมันสามารถดำเนินการคำสั่ง 3 พันล้านคำสั่งต่อวินาที

TPS วัดความสามารถของคอมพิวเตอร์ในการประมวลผลธุรกรรม มันวัดว่าคอมพิวเตอร์สามารถทำธุรกรรมกี่รายการต่อวินาทีโดยทั่วไปใช้วัดประสิทธิภาพของเซิร์ฟเวอร์ฐานข้อมูล ตัวอย่างเช่น เซิร์ฟเวอร์ฐานข้อมูลมี TPS อยู่ที่ 1,000 ซึ่งหมายความว่ามันสามารถจัดการธุรกรรมของฐานข้อมูล 1,000 รายการต่อวินาที

นอกจากนี้ยังมีตัวชี้วัดพลังคอมพิวเตอร์บางประการสำหรับสถานการณ์การใช้งานที่เฉพาะเจาะจง เช่น ความเร็วในการอ่าน, ความเร็วในการประมวลผลภาพ, และความแม่นยำในการระบุเสียง

ประเภทของพลังคอมพิวเตอร์

GPU computing power หมายถึงความสามารถในการคำนวณของหน่วยประมวลผลกราฟิก (GPU) ต่างจากหน่วยประมวลผลกลาง (CPU) GPU เป็นฮาร์ดแวร์ที่ออกแบบมาเฉพาะเพื่อประมวลผลข้อมูลทางกราฟิก เช่น รูปภาพและวิดีโอ มีจำนวนหน่วยประมวลผลมากและสามารถทำการคำนวณแบบขนานได้อย่างมีประสิทธิภาพ และสามารถดำเนินการคำนวณจำนวนมากของการดำเนินการจุดลอยพร้อมกัน โดยที่ GPU ถูกออกแบบมาเพื่อการประมวลผลกราฟิกในเกมส์เดิมๆ โดยทั่วไปมีความเร็วในการเปลี่ยนเป็นดีกว่าและแถมยังมีแบนด์วิดท์หน่วยความจำมากกว่า CPU เพื่อรองรับการคำนวณกราฟิกที่ซับซ้อน

ความแตกต่างระหว่าง CPUs และ GPUs

สถาปัตยกรรม: CPUs และ GPUs มีสถาปัตยกรรมการคำนวณที่แตกต่างกัน CPU มักจะมีหน่วยประมวลผลหลักหรือหลายตัว แต่ละตัวสามารถประมวลผลอย่างมีประสิทธิภาพในการทำหลายประเภทของงานต่าง ๆ GPU อย่างอื่นมีจำนวนมากของตัวประมวลผลสตรีมและเชดเดอร์ ซึ่งใช้เฉพาะในการประมวลผลภาพ

การคำนวณขนาดใหญ่: GPU มักมีความสามารถในการคำนวณขนาดใหญ่สูงกว่า CPU CPU มีจำนวนคอร์ที่จำกัดและแต่ละคอร์สามารถดำเนินการคำสั่งเพียงหนึ่งคำสั่งเท่านั้น แต่ GPU สามารถมีหลายพรอเซสเซอร์ที่สามารถดำเนินการคำสั่งและดำเนินการพร้อมกันหลายคำสั่ง ดังนั้น GPU มักเหมาะกว่า CPU ในการดำเนินการงานคำนวณขนาดใหญ่ เช่น การเรียนรู้ของเครื่องและการเรียนรู้ลึก ซึ่งต้องการการคำนวณขนาดใหญ่อย่างแท้จริง

การออกแบบโปรแกรม: การเขียนโปรแกรมสำหรับ GPU มีความซับซ้อนมากกว่า CPU ต้องใช้ภาษาโปรแกรมที่เฉพาะเจาะจง (เช่น CUDA หรือ OpenCL) และเทคนิคการเขียนโปรแกรมที่เฉพาะเจาะจงเพื่อใช้ประโยชน์จากความสามารถในการคำนวณแบบขนานของ GPU ในขณะที่การเขียนโปรแกรมสำหรับ CPU ง่ายกว่าและสามารถใช้ภาษาโปรแกรมและเครื่องมือทั่วไป

ความสำคัญของพลังคอมพิวเตอร์

ในยุคของการปฏิวัติอุตสาหกรรม น้ำมันเป็นเลือดอย่างเดียวของโลกและเข้าถึงทุกอุตสาหกรรม ในยุค AI ที่กำลังจะมาถึง พลังคอมพิวเตอร์จะเป็น “น้ำมันดิจิทัล” ของโลก ตั้งแต่การจามของบริษัทใหญ่ๆ ตามล่าชิป AI และหุ้น Nvidia ที่เกินหนึ่งล้านล้านดอลลาร์ จนถึงการปิดกั้นล่าชิประดับดีจากจีนเมื่อเร็วๆ นี้ของสหรัฐ รวมถึงความจุพลังคอมพิวเตอร์ ขนาดชิป และแม้แผนที่จะห้าม GPU clouds ความสำคัญของพลังคอมพิวเตอร์เป็นเรื่องที่ชัดเจน พลังคอมพิวเตอร์จะเป็นสินค้าของยุคถัดไป

ภาพรวมเกี่ยวกับปัจจัยปัญหาทั่วไป

ปัญญาประดิษฐ์ (AI) เป็นวิทยาศาสตร์ทางเทคนิคใหม่ที่ศึกษาพัฒนาและใช้ทฤษฎีวิธีการเทคโนโลยีสําหรับการจําลองการขยายและการขยายความฉลาดของมนุษย์ มันเกิดขึ้นในช่วงทศวรรษที่ 1950 และ 1960 และหลังจากวิวัฒนาการมานานกว่าครึ่งศตวรรษมันมีประสบการณ์การพัฒนาที่เกี่ยวพันกันผ่านคลื่นสามคลื่น: สัญลักษณ์การเชื่อมต่อและแนวทางที่ใช้ตัวแทน วันนี้ในฐานะเทคโนโลยีเอนกประสงค์ที่เกิดขึ้นใหม่ AI กําลังขับเคลื่อนการเปลี่ยนแปลงที่ลึกซึ้งในชีวิตทางสังคมและในทุกอุตสาหกรรม คําจํากัดความที่เฉพาะเจาะจงมากขึ้นของ AI กําเนิดในปัจจุบันคือ: ปัญญาประดิษฐ์ทั่วไป (AGI) ซึ่งเป็นระบบปัญญาประดิษฐ์ที่มีความสามารถในการทําความเข้าใจที่หลากหลายซึ่งสามารถทํางานและทํางานในโดเมนต่างๆที่มีสติปัญญาคล้ายหรือเกินกว่าระดับมนุษย์ AGI โดยพื้นฐานแล้วต้องการสามองค์ประกอบการเรียนรู้เชิงลึก (DL) ข้อมูลขนาดใหญ่และพลังการประมวลผลที่สําคัญ

การเรียนรู้ลึก

Deep learning เป็นสาขาย่อยของ machine learning (ML) และอัลกอริทึม deep learning คือ neural networks ที่ถูกออกแบบตามสมองมนุษย์ เช่นเดียวกับสมองมนุษย์ที่ประกอบด้วยนิวรอนที่ถูกเชื่อมโยงกันล้วนแล้วทำงานร่วมกันเพื่อเรียนรู้และประมวลผลข้อมูล เช่นเดียวกับนิวรอนทาง deep learning (หรือ artificial neural networks) ประกอบด้วยชั้นหลายชั้นของนิวรอนประดิษฐ์ที่ทำงานร่วมกันในคอมพิวเตอร์ เหล่านิวรอนประดิษฐ์เหล่านี้ที่เรียกว่า nodes ใช้การคำนวณทางคณิตศาสตร์เพื่อประมวลผลข้อมูล อัลกอริทึม deep learning ของ artificial neural networks ใช้ nodes เหล่านี้เพื่อแก้ปัญหาที่ซับซ้อน

โครงข่ายประสาทสามารถแบ่งเป็นชั้นนำเข้า ชั้นที่ซ่อนอยู่ และชั้นส่งผลลัพธ์ การเชื่อมต่อระหว่างชั้นที่แตกต่างกันเป็นที่ประกอบไปด้วยพารามิเตอร์

เลเยอร์นำเข้า: เลเยอร์นำเข้าคือเลเยอร์แรกของเครือข่ายประสาทและรับผิดชอบในการรับข้อมูลนำเข้าจากภายนอก ทุกเซลล์ประสาทในเลเยอร์นำเข้าสอดคล้องกับคุณลักษณะของข้อมูลนำเข้า ตัวอย่างเช่นในการประมวลผลภาพ ทุกเซลล์ประสาทอาจสอดคล้องกับค่าของพิกเซลในภาพ

เลเยอร์ที่ซ่อนอยู่: เลเยอร์อินพุตจะประมวลผลข้อมูลและส่งต่อไปยังเลเยอร์ที่ลึกกว่าภายในเครือข่าย เลเยอร์ที่ซ่อนอยู่เหล่านี้ประมวลผลข้อมูลในระดับต่างๆปรับพฤติกรรมเมื่อได้รับข้อมูลใหม่ เครือข่ายการเรียนรู้เชิงลึกสามารถมีเลเยอร์ที่ซ่อนอยู่หลายร้อยชั้นซึ่งช่วยให้พวกเขาสามารถวิเคราะห์ปัญหาจากมุมมองที่แตกต่างกันได้ ตัวอย่างเช่นหากคุณได้รับภาพสัตว์ที่ไม่รู้จักซึ่งคุณต้องได้รับการจําแนกคุณสามารถเปรียบเทียบกับสัตว์ที่คุณรู้จักอยู่แล้ว ตัวอย่างเช่นคุณสามารถบอกได้ว่ามันเป็นสัตว์ชนิดใดโดยรูปร่างของหูจํานวนขาและขนาดของรูม่านตา เลเยอร์ที่ซ่อนอยู่ในเครือข่ายประสาทเทียมลึกทํางานในลักษณะเดียวกัน หากอัลกอริธึมการเรียนรู้เชิงลึกพยายามจําแนกภาพของสัตว์แต่ละชั้นที่ซ่อนอยู่จะประมวลผลคุณสมบัติที่แตกต่างกันของสัตว์และพยายามจําแนกพวกมันอย่างแม่นยํา

เลเยอร์เอาท์: เลเยอร์เอาท์คือเลเยอร์สุดท้ายของเครือข่ายประสาทและรับผิดชอบในการสร้างเอาท์พุตของเครือข่าย ทุกเซลล์ประสาทในเลเยอร์เอาท์แทนหมวดหมู่หรือค่าเอาท์พุตที่เป็นไปได้ ตัวอย่างเช่น ในปัญหาการจำแนกประเภท เซลล์ประสาทแต่ละเซลล์ในเลเยอร์เอาท์อาจสอดคล้องกับหมวดหมู่ ในขณะที่ในปัญหาการถดถอย เลเยอร์เอาท์อาจมีเซลล์ประสาทเพียงหนึ่งเซลล์ซึ่งค่าของมันแทนผลลัพธ์การพยากรณ์

พารามิเตอร์: ในเครือข่ายประสาท เชื่อมโยงระหว่างชั้นที่แตกต่างกัน ถูกแทนด้วยน้ำหนักและไบแอส ที่ถูกปรับให้เหมาะสมในระหว่างกระบวนการฝึกฝนเพื่อให้เครือข่ายสามารถระบุรูปแบบในข้อมูลอย่างแม่นยำและทำนายได้ การเพิ่มพารามิเตอร์สามารถปรับปริมาณความจุของโมเดลในเครือข่ายประสาท นั่นคือ ความสามารถของโมเดลที่เรียนรู้และแทนแบบแบบซับซ้อนในข้อมูล แต่อย่างเช่นกัน การเพิ่มพารามิเตอร์จะเพิ่มความต้องการในพลังคอมพิวเตอร์

ข้อมูลขนาดใหญ่

เพื่อให้การฝึกอบรมเป็นไปอย่างมีประสิทธิภาพ ระบบประสานประยุกต์มักต้องการข้อมูลที่มากมาย หลากหลาย และมีคุณภาพสูงจากแหล่งข้อมูลหลายแหล่ง ข้อมูลเหล่านี้เป็นพื้นฐานสำหรับการฝึกและการตรวจสอบโมเดลการเรียนรู้ของเครื่อง โดยการวิเคราะห์ข้อมูลขนาดใหญ่ โมเดลการเรียนรู้ของเครื่องสามารถเรียนรู้รูปแบบและความสัมพันธ์ภายในข้อมูล ซึ่งทำให้พวกเขาสามารถทำนายหรือจำแนกประเภท

พลังคอมพิวเตอร์มหาศาล

ความต้องการพลังการประมวลผลที่สําคัญเกิดขึ้นจากหลายแง่มุมของเครือข่ายประสาทเทียม: โครงสร้างหลายชั้นที่ซับซ้อนพารามิเตอร์จํานวนมากความจําเป็นในการประมวลผลข้อมูลจํานวนมหาศาลและวิธีการฝึกอบรมซ้ํา ๆ (ในระหว่างขั้นตอนการฝึกอบรมแบบจําลองจะต้องทําซ้ําทําการคํานวณการขยายพันธุ์ไปข้างหน้าและข้างหลังสําหรับแต่ละเลเยอร์รวมถึงการคํานวณสําหรับฟังก์ชั่นการเปิดใช้งาน ฟังก์ชั่นการสูญเสียการไล่ระดับสีและการปรับปรุงน้ําหนัก) nend สําหรับการคํานวณที่มีความแม่นยําสูงความสามารถในการประมวลผลแบบขนานเทคนิคการเพิ่มประสิทธิภาพและการทําให้เป็นมาตรฐานและกระบวนการประเมินและการตรวจสอบแบบจําลอง เมื่อการเรียนรู้เชิงลึกดําเนินไปความต้องการพลังการประมวลผลขนาดใหญ่สําหรับ AGI จะเพิ่มขึ้นประมาณ 10 เท่าทุกปี รุ่นล่าสุดจนถึงตอนนี้ GPT-4 มีพารามิเตอร์ 1.8 ล้านล้านโดยมีค่าใช้จ่ายในการฝึกอบรมเพียงครั้งเดียวมากกว่า 60 ล้านดอลลาร์และข้อกําหนดด้านพลังงานการประมวลผล 2.15e25 FLOPS (การดําเนินการจุดลอยตัว 21.5 quintillion) ความต้องการพลังการประมวลผลสําหรับการฝึกอบรมโมเดลในอนาคตยังคงขยายตัวและมีการพัฒนาโมเดลใหม่ในอัตราที่เพิ่มขึ้น

เศรษฐมานุษยวิทยาของพลังคอมพิวเตอร์ AI

ขนาดตลาดในอนาคต

ตามการประมาณการที่เชื่อถือได้มากที่สุด "รายงานการประเมินดัชนีพลังงานการประมวลผลทั่วโลกปี 2022-2023" ที่รวบรวมร่วมกันโดย International Data Corporation (IDC), Inspur Information และ Global Industry Research Institute of Tsinghua University ขนาดตลาดคอมพิวเตอร์ AI ทั่วโลกคาดว่าจะเพิ่มขึ้นจาก 19.5 พันล้านดอลลาร์ในปี 2022 เป็น 34.66 พันล้านดอลลาร์ในปี 2026 ตลาดคอมพิวเตอร์ AI เชิงกําเนิดคาดว่าจะเติบโตจาก 820 ล้านดอลลาร์ในปี 2022 เป็น 10.99 พันล้านดอลลาร์ในปี 2026 ส่วนแบ่งของการประมวลผล AI เชิงกําเนิดในตลาดการประมวลผล AI โดยรวมคาดว่าจะเพิ่มขึ้นจาก 4.2% เป็น 31.7%

Monopoly in พลังคอมพิวเตอร์ Economy

การผลิต AI GPU ถูกผูกขาดโดย NVIDIA โดยเฉพาะและมีราคาแพงมาก (H100 ล่าสุดขายในราคา 40,000 ดอลลาร์ต่อหน่วย) ทันทีที่ GPU ถูกปล่อยออกมาพวกเขาจะถูกยึดโดยยักษ์ใหญ่ด้านเทคโนโลยีในซิลิคอนวัลเลย์ อุปกรณ์เหล่านี้บางส่วนใช้สําหรับการฝึกอบรมรุ่นใหม่ของตนเอง ส่วนที่เหลือให้เช่าแก่นักพัฒนา AI ผ่านแพลตฟอร์มคลาวด์ เช่น ที่ Google, Amazon และ Microsoft เป็นเจ้าของ ซึ่งควบคุมทรัพยากรการประมวลผลจํานวนมาก เช่น เซิร์ฟเวอร์ GPU และ TPU พลังการประมวลผลได้กลายเป็นทรัพยากรใหม่ที่ผูกขาดโดยยักษ์ใหญ่เหล่านี้ นักพัฒนา AI หลายคนไม่สามารถซื้อ GPU เฉพาะได้หากไม่มีมาร์กอัป นักพัฒนาต้องเช่าเซิร์ฟเวอร์ AWS หรือ Microsoft Cloud รายงานทางการเงินระบุว่าธุรกิจนี้มีผลกําไรสูงมาก ด้วยบริการคลาวด์ของ AWS ที่มีอัตรากําไรขั้นต้นอยู่ที่ 61% ในขณะที่อัตรากําไรขั้นต้นของ Microsoft สูงขึ้นที่ 72%

เราจำเป็นต้องยอมรับหน้าที่และการควบคุมที่มีอำนาจจากศูนย์กลางนี้ และจ่ายกำไร 72% สำหรับทรัพยากรคอมพิวเตอร์ไหม? จะมีสังคมขนานนามาที่มีอำนาจใน Web2 ที่จะครอบครองยุคถัดไปหรือไม่?

ความท้าทายของพลังคอมพิวเตอร์ AGI แบบกระจาย

เมื่อพูดถึงการต่อต้านการผูกขาดการกระจายอํานาจมักถูกมองว่าเป็นทางออกที่ดีที่สุด เมื่อมองไปที่โครงการที่มีอยู่เราสามารถบรรลุพลังการประมวลผลขนาดใหญ่ที่จําเป็นสําหรับ AI ผ่านโครงการจัดเก็บข้อมูล DePIN รวมกับโปรโตคอลเช่น RDNR สําหรับการใช้งาน GPU ที่ไม่ได้ใช้งานได้หรือไม่? คําตอบคือไม่ เส้นทางสู่การสังหารมังกรนั้นไม่ง่ายอย่างนั้น โครงการแรก ๆ ไม่ได้ออกแบบมาโดยเฉพาะสําหรับพลังการประมวลผล AGI และไม่สามารถทําได้ การนําพลังการประมวลผลมาสู่บล็อกเชนต้องเผชิญกับความท้าทายอย่างน้อยห้าประการต่อไปนี้:

1. การยืนยันการทำงาน: เพื่อสร้างเครือข่ายคอมพิวเตอร์ที่ไม่มีความเชื่อถือและให้แรงบันดาลใจทางเศรษฐกิจให้ผู้เข้าร่วม เครือข่ายจำเป็นต้องมีวิธีการยืนยันว่าการคำนวณ deep learning ได้ดำเนินการจริงๆ ประเด็นหลักที่นี่คือ state dependency ของโมเดล deep learning; ในโมเดลเหล่านี้ ข้อมูลนำเข้าสำหรับแต่ละชั้นขึ้นอยู่กับผลลัพธ์จากชั้นก่อนหน้า นั่นหมายความว่าคุณไม่สามารถยืนยันชั้นเดียวในโมเดลได้โดยไม่พิจารณาถึงชั้นทั้งหมดก่อนหน้านั้น การคำนวณสำหรับแต่ละชั้นจะพึงพอใจตามผลลัพธ์ของชั้นก่อนหน้าทั้งหมด ดังนั้น เพื่อยืนยันการทำงานที่เสร็จสมบูรณ์ที่จุดที่แน่นอน (เช่นชั้นที่แน่นอน) การทำงานทั้งหมดตั้งแต่จุดเริ่มต้นของโมเดลจนถึงจุดที่แน่นอนนั้นต้องดำเนินการ;

2. ตลาด: ในฐานะตลาดเกิดใหม่ตลาดพลังงานการประมวลผล AI ขึ้นอยู่กับภาวะที่กลืนไม่เข้าคายไม่ออกของอุปสงค์และอุปทานเช่นปัญหาการเริ่มต้นเย็น สภาพคล่องด้านอุปสงค์และอุปทานจําเป็นต้องจับคู่กันอย่างคร่าวๆ ตั้งแต่ต้นเพื่อให้ตลาดสามารถเติบโตได้สําเร็จ เพื่อที่จะจับอุปทานที่มีศักยภาพของพลังการประมวลผลผู้เข้าร่วมจะต้องได้รับสิ่งจูงใจที่ชัดเจนเพื่อแลกกับทรัพยากรคอมพิวเตอร์ของพวกเขา ตลาดต้องการกลไกในการติดตามการคํานวณที่เสร็จสมบูรณ์และจ่ายเงินให้ผู้ให้บริการในเวลาที่เหมาะสม ในตลาดแบบดั้งเดิมตัวกลางจะจัดการงานต่างๆเช่นการจัดการและการเริ่มต้นใช้งานในขณะที่ลดต้นทุนการดําเนินงานโดยการกําหนดเกณฑ์การชําระเงินขั้นต่ํา อย่างไรก็ตามวิธีการนี้มีค่าใช้จ่ายสูงเมื่อขยายขนาดตลาด มีเพียงส่วนเล็ก ๆ ของอุปทานเท่านั้นที่สามารถจับได้ทางเศรษฐกิจซึ่งนําไปสู่สภาวะสมดุลเกณฑ์ที่ตลาดสามารถจับและรักษาอุปทานที่ จํากัด โดยไม่สามารถเติบโตต่อไปได้

3. ปัญหาการหยุด: ปัญหาการหยุดเป็นปัญหาพื้นฐานในทฤษฎีการคํานวณซึ่งเกี่ยวข้องกับการพิจารณาว่างานคอมพิวเตอร์ที่กําหนดจะเสร็จสิ้นในระยะเวลาที่ จํากัด หรือทํางานอย่างไม่มีกําหนด ปัญหานี้ไม่สามารถตัดสินใจได้ซึ่งหมายความว่าไม่มีอัลกอริธึมสากลที่สามารถทํานายได้ว่าการคํานวณใด ๆ จะหยุดลงในเวลา จํากัด หรือไม่ ตัวอย่างเช่นการดําเนินการสัญญาอัจฉริยะบน Ethereum ยังประสบปัญหาการหยุดชะงักที่คล้ายกัน เป็นไปไม่ได้ที่จะกําหนดล่วงหน้าว่าต้องใช้ทรัพยากรการประมวลผลเท่าใดในการดําเนินการสัญญาอัจฉริยะหรือจะเสร็จสมบูรณ์ภายในเวลาที่เหมาะสม

(ในบริบทของการเรียนรู้เชิงลึก ปัญหานี้จะซับซ้อนมากขึ้นเมื่อระบบและโครงสร้างจะเปลี่ยนจากการสร้างกราฟแบบคงที่เป็นการสร้างและประมวลผลแบบไดนามิก)

1. ความเป็นส่วนตัว: การออกแบบและพัฒนาด้วยความตระหนักรู้ถึงความเป็นส่วนตัวเป็นสิ่งจำเป็นสำหรับทีมโครงการ แม้ว่าการศึกษาเกี่ยวกับการเรียนรู้ของเครื่องจำนวนมากสามารถดำเนินการบนชุดข้อมูลสาธารณะได้ แต่เพื่อปรับปรุงประสิทธิภาพของโมเดลและปรับเข้ากับการใช้งานที่เฉพาะเจาะจง โมเดลต้องการการปรับแต่งละเอียดบนข้อมูลผู้ใช้ที่เป็นทรัพย์สิน กระบวนการปรับแต่งละเอียดนี้อาจเกี่ยวข้องกับการประมวลผลข้อมูลส่วนบุคคล ดังนั้นความต้องการในการป้องกันความเป็นส่วนตัวจึงต้องพิจารณา

2. การขนาน: นี่เป็นปัจจัยสําคัญในการขาดความเป็นไปได้ของโครงการในปัจจุบัน โมเดลการเรียนรู้เชิงลึกมักจะได้รับการฝึกฝนแบบคู่ขนานบนคลัสเตอร์ฮาร์ดแวร์ขนาดใหญ่ที่มีสถาปัตยกรรมที่เป็นกรรมสิทธิ์และเวลาแฝงที่ต่ํามากและ GPU ในเครือข่ายคอมพิวเตอร์แบบกระจายจะเกิดเวลาแฝงเนื่องจากการแลกเปลี่ยนข้อมูลบ่อยครั้งและจะถูก จํากัด ด้วยประสิทธิภาพของ GPU ที่ช้าที่สุด เมื่อแหล่งคอมพิวเตอร์ไม่น่าเชื่อถือและไม่น่าเชื่อถือวิธีการบรรลุการขนานที่แตกต่างกันเป็นปัญหาที่ต้องแก้ไข วิธีการที่เป็นไปได้ในปัจจุบันคือการบรรลุการขนานผ่านแบบจําลองหม้อแปลงเช่น Switch Transformers ซึ่งตอนนี้มีลักษณะขนานกันอย่างมาก

โซลูชัน: แม้ว่าความพยายามในปัจจุบันในตลาดพลังงานคอมพิวเตอร์แบบกระจายอํานาจ AGI ยังอยู่ในช่วงเริ่มต้น แต่ก็มีสองโครงการที่แก้ไขการออกแบบฉันทามติของเครือข่ายแบบกระจายอํานาจและการใช้งานเครือข่ายพลังงานการประมวลผลแบบกระจายอํานาจในการฝึกอบรมแบบจําลองและการอนุมาน ต่อไปนี้จะใช้ Gensyn และ Together เป็นตัวอย่างในการวิเคราะห์วิธีการออกแบบและปัญหาของตลาดพลังงานคอมพิวเตอร์ AGI แบบกระจายอํานาจ

Gensyn

Gensyn เป็นตลาดพลังการประมวลผล AGI ที่ยังอยู่ในขั้นตอนการก่อสร้างโดยมีเป้าหมายเพื่อแก้ปัญหาความท้าทายต่างๆของการประมวลผลการเรียนรู้เชิงลึกแบบกระจายอํานาจและลดต้นทุนที่เกี่ยวข้องกับการเรียนรู้เชิงลึกในปัจจุบัน Gensyn เป็นโปรโตคอล proof-of-stake ชั้นหนึ่งที่ใช้เครือข่าย Polkadot ซึ่งให้รางวัลแก่นักแก้โดยตรง (ผู้ที่แก้ปัญหางานคํานวณ) ผ่านสัญญาอัจฉริยะเพื่อแลกกับอุปกรณ์ GPU ที่ไม่ได้ใช้งานสําหรับการประมวลผลและทํางานแมชชีนเลิร์นนิ่ง

กลับไปที่คําถามก่อนหน้านี้หัวใจสําคัญของการสร้างเครือข่ายคอมพิวเตอร์ที่เชื่อถือได้อย่างแท้จริงอยู่ที่การตรวจสอบงานแมชชีนเลิร์นนิ่งที่เสร็จสมบูรณ์ นี่เป็นปัญหาที่ซับซ้อนมากที่ต้องหาสมดุลระหว่างจุดตัดของทฤษฎีความซับซ้อนทฤษฎีเกมการเข้ารหัสและการเพิ่มประสิทธิภาพ

Gensyn เสนอวิธีแก้ปัญหาง่ายๆที่นักแก้ปัญหาส่งผลลัพธ์ของงานแมชชีนเลิร์นนิ่งที่พวกเขาทําเสร็จแล้ว เพื่อตรวจสอบว่าผลลัพธ์เหล่านี้ถูกต้องผู้ตรวจสอบอิสระรายอื่นจะพยายามทํางานเดิมอีกครั้ง วิธีการนี้สามารถเรียกได้ว่าการจําลองแบบเดียวเนื่องจากมีตัวตรวจสอบเพียงตัวเดียวเท่านั้นที่จะทํางานอีกครั้ง ซึ่งหมายความว่ามีงานเพิ่มเติมเพียงชิ้นเดียวเพื่อตรวจสอบความถูกต้องของงานต้นฉบับ อย่างไรก็ตามหากบุคคลที่ตรวจสอบงานไม่ใช่ผู้ร้องขอเดิมปัญหาความน่าเชื่อถือยังคงมีอยู่ ผู้ตรวจสอบเองอาจไม่ซื่อสัตย์และงานของพวกเขาจะต้องได้รับการตรวจสอบ สิ่งนี้นําไปสู่ปัญหาที่อาจเกิดขึ้นซึ่งหากบุคคลที่ตรวจสอบงานไม่ใช่ผู้ร้องขอเดิมจะต้องใช้ผู้ตรวจสอบรายอื่นเพื่อตรวจสอบงานของพวกเขา แต่ตัวตรวจสอบใหม่นี้อาจไม่น่าเชื่อถือดังนั้นจึงจําเป็นต้องมีผู้ตรวจสอบอื่นเพื่อตรวจสอบงานของพวกเขาซึ่งอาจดําเนินต่อไปตลอดไปสร้างห่วงโซ่การจําลองแบบที่ไม่มีที่สิ้นสุด ที่นี่เราจําเป็นต้องแนะนําแนวคิดหลักสามประการและผสมผสานเข้าด้วยกันเพื่อสร้างระบบผู้เข้าร่วมที่มีสี่บทบาทในการแก้ปัญหาห่วงโซ่ที่ไม่มีที่สิ้นสุด

การพิสูจน์เชิงความน่าจะเป็น: สร้างใบรับรองของงานที่เสร็จสมบูรณ์โดยใช้เมตาดาต้าจากระบบการปรับปรุงที่ใช้การคำนวณเกรเดียนต์ โดยการทำซ้ำขั้นตอนบางอย่างเหล่านี้ ใบรับรองเหล่านี้สามารถทำการตรวจสอบได้อย่างรวดเร็วเพื่อให้แน่ใจว่างานได้รับการทำเสร็จตามที่คาดหวัง

โปรโตคอลการระบุตำแหน่งที่แม่แบบกราฟ: ใช้โปรโตคอลการระบุตำแหน่งที่แม่แบบกราฟที่มีหลายระดับความละเอียด และการดำเนินการที่สอดคล้องกันของตัวประเมินทางกายภาพ สิ่งนี้ช่วยให้สามารถเรียกใช้งานซ้ำและเปรียบเทียบงานการตรวจสอบเพื่อให้มั่นใจในความสอดคล้อง ซึ่งในที่สุดถูกยืนยันโดยบล็อกเชนเอง

เกมสร้างแรงจูงใจแบบ Truebit: ใช้เงินพันและการตัดเพื่อสร้างเกมแรงจูงใจเพื่อให้แน่ใจว่าผู้เข้าร่วมที่เหมาะสมทางด้านเศรษฐกิจจะกระทำอย่างซื่อสัตย์และปฏิบัติงานตามที่คาดหวัง

ระบบผู้เข้าร่วมประกอบด้วยผู้ส่ง, ผู้แก้ปัญหา, ผู้ตรวจสอบ, และผู้รายงาน

ผู้ส่ง

ผู้ส่งงานคือผู้ใช้ปลายทางของระบบที่提供งานที่ต้องการคำนวณและจ่ายค่าบริการสำหรับหน่วยงานที่เสร็จสิ้น

Solvers:

Solvers เป็นผู้ทำงานหลักของระบบ ดำเนินการฝึกโมเดลและสร้างพิสูจน์ที่ถูกตรวจสอบโดยผู้ตรวจสอบ;

ผู้ตรวจสอบ:

Verifiers are key to linking the non-deterministic training process with deterministic linear computations, replicating parts of the solver’s proof and comparing distances with expected thresholds;

ผู้กล่าวถาม:

นายทุนเป็นเส้นสุดท้ายของการป้องกัน ตรวจสอบงานของผู้ตรวจสอบและเสนอความท้าทายในหวังที่จะได้รับการชำระเงินหย่อม

การดำเนินการของระบบ

ระบบเกมที่ออกแบบโดยโปรโตคอลทำงานผ่านแปดขั้นตอน ครอบคลุมบทบาทของผู้เข้าร่วมหลักสี่ประเภทเพื่อทำการกระบวนการทั้งหมดตั้งแต่การส่งงานงานจนถึงการตรวจสอบสุดท้าย

การส่งงาน: งานประกอบด้วยข้อมูลสามส่วนที่เฉพาะเจาะจง

ข้อมูลเกี่ยวกับงานและพารามิเตอร์เฮียเปอร์

ไฟล์ไบนารีโมเดล (หรือโครงสร้างพื้นฐาน);

ข้อมูลการฝึกก่อนการประมวลผลที่สามารถเข้าถึงได้สาธารณะ

ในการส่งงานผู้ส่งจะระบุรายละเอียดของงานในรูปแบบที่เครื่องสามารถอ่านได้และส่งไปยังห่วงโซ่พร้อมกับไฟล์ไบนารีแบบจําลอง (หรือสถาปัตยกรรมที่เครื่องสามารถอ่านได้) และตําแหน่งที่เข้าถึงได้แบบสาธารณะของข้อมูลการฝึกอบรมที่ประมวลผลไว้ล่วงหน้า ข้อมูลสาธารณะสามารถจัดเก็บไว้ในพื้นที่จัดเก็บอ็อบเจ็กต์อย่างง่าย เช่น S3 ของ AWS หรือในพื้นที่จัดเก็บแบบกระจายอํานาจ เช่น IPFS, Arweave หรือ Subspace

การจัดโปรไฟล์: กระบวนการจัดโปรไฟล์จะสร้างค่าเกณฑ์ระยะทางพื้นฐานสำหรับการตรวจสอบการเรียนรู้ ผู้ตรวจจะเรียกงานจัดโปรไฟล์อย่างสม่ำเสมอและสร้างค่าเกณฑ์การกลายพันธุ์สำหรับการเปรียบเทียบพิสูจน์การเรียนรู้ เพื่อสร้างค่าเกณฑ์ ผู้ตรวจจะรันโดยที่กำหนดและรันซ้ำส่วนของการฝึกใช้เมล็ดพันธุ์สุ่มที่แตกต่างกันเพื่อสร้างและตรวจสอบพิสูจน์ของตัวเอง ระหว่างกระบวนการนี้ ผู้ตรวจจะเริ่มสร้างค่าเกณฑ์ระยะทางที่คาดหวังโดยรวมสำหรับงานที่ไม่สามารถกำหนดได้ของสิ่งที่ชุกชุนที่สามารถใช้สำหรับการตรวจสอบ

การฝึกอบรม: หลังจากการจัดโปรไฟล์เสร็จสิ้น งานเข้าสู่สระงานสาธารณะ (คล้ายกับ Mempool ของ Ethereum) เลือกโซล์เวอร์เพื่อดำเนินการงานและนำงานออกจากสระงาน โซล์เวอร์ดำเนินการงานโดยใช้เมตาดาต้าที่ผู้ส่งส่งและโมเดลและข้อมูลการฝึกอบรมที่ให้มา เมื่อดำเนินการงานฝึกอบรม โซล์เวอร์ยังสร้างพิสสอร์ตการเรียนรู้โดยการตรวจสอบจุดและเก็บเมตาดาต้า (รวมถึงพารามิเตอร์) อย่างสม่ำเสมอระหว่างกระบวนการฝึกอบรม เพื่อให้ผู้ตรวจสอบสามารถทำการปรับปรุงตามขั้นตอนการปรับปรุงต่อไปได้เท่าที่เป็นไปได้

การสร้างหลักฐาน: Solvers จะจัดเก็บน้ําหนักแบบจําลองหรือการอัปเดตและดัชนีที่เกี่ยวข้องของชุดข้อมูลการฝึกอบรมเป็นระยะเพื่อระบุตัวอย่างที่ใช้ในการสร้างการอัปเดตน้ําหนัก ความถี่ของจุดตรวจสามารถปรับได้เพื่อให้การรับประกันที่แข็งแกร่งขึ้นหรือเพื่อประหยัดพื้นที่จัดเก็บ การพิสูจน์สามารถ "ซ้อนกัน" ซึ่งหมายความว่าสามารถเริ่มต้นจากการแจกแจงแบบสุ่มที่ใช้ในการเริ่มต้นน้ําหนัก หรือจากน้ําหนักที่ผ่านการฝึกอบรมไว้ล่วงหน้าซึ่งสร้างขึ้นโดยใช้หลักฐานของตนเอง สิ่งนี้ทําให้โปรโตคอลสามารถสร้างชุดโมเดลพื้นฐานที่ได้รับการพิสูจน์แล้วและผ่านการฝึกอบรมล่วงหน้าซึ่งสามารถปรับแต่งสําหรับงานที่เฉพาะเจาะจงมากขึ้น

การตรวจสอบพิสูจน์: หลังจากทำงานเสร็จ, ผู้แก้ปัญหาจะลงทะเบียนการทำงานเสร็จบนโซ่และแสดงพิสูจน์การเรียนรู้ของพวกเขาที่สามารถเข้าถึงได้อย่างเป็นสาธารณะสำหรับผู้ตรวจสอบ ผู้ตรวจสอบดึงงานตรวจสอบจากคลังงานสาธารณะและดำเนินการทำงานคำนวณเพื่อรันส่วนหนึ่งของพิสูจน์และดำเนินการคำนวณระยะทาง โซ่พร้อมกับค่าเกณฑ์ที่คำนวณขึ้นระหว่างขั้นตอนการจัด๋โปรไฟล์จากนั้นใช้ระยะทางที่ได้เพื่อกำหนดว่าการตรวจสอบตรงกับพิสูจน์หรือไม่

ความท้าทายในการระบุตามกราฟ: หลังจากตรวจสอบหลักฐานการเรียนรู้แล้วผู้แจ้งเบาะแสสามารถทําซ้ําการทํางานของผู้ตรวจสอบเพื่อตรวจสอบว่างานตรวจสอบนั้นดําเนินการอย่างถูกต้องหรือไม่ หากผู้แจ้งเบาะแสเชื่อว่าการตรวจสอบได้ดําเนินการอย่างไม่ถูกต้อง (โดยเจตนาร้ายหรือไม่) พวกเขาสามารถท้าทายให้ทําสัญญาอนุญาโตตุลาการเพื่อรับรางวัลได้ รางวัลนี้อาจมาจากเงินฝากของนักแก้และผู้ตรวจสอบความถูกต้อง (ในกรณีของผลบวกที่แท้จริง) หรือจากโบนัสพูลลอตเตอรี (ในกรณีของผลบวกลวง) โดยอนุญาโตตุลาการดําเนินการโดยใช้ห่วงโซ่เอง ผู้แจ้งเบาะแส (ทําหน้าที่เป็นผู้ตรวจสอบในกรณีของพวกเขา) จะตรวจสอบและท้าทายการทํางานในภายหลังก็ต่อเมื่อพวกเขาคาดว่าจะได้รับค่าตอบแทนที่เหมาะสม ในทางปฏิบัติหมายความว่าผู้แจ้งเบาะแสคาดว่าจะเข้าร่วมและออกจากเครือข่ายตามจํานวนผู้แจ้งเบาะแสที่ใช้งานอยู่อื่น ๆ (เช่นมีเงินฝากสดและความท้าทาย) ดังนั้นกลยุทธ์เริ่มต้นที่คาดหวังสําหรับผู้แจ้งเบาะแสใด ๆ คือการเข้าร่วมเครือข่ายเมื่อมีผู้แจ้งเบาะแสอื่น ๆ น้อยลงโพสต์เงินฝากสุ่มเลือกงานที่ใช้งานอยู่และเริ่มกระบวนการตรวจสอบ หลังจากงานหนึ่งพวกเขาจะคว้างานที่ใช้งานอยู่แบบสุ่มอีกครั้งและทําซ้ําจนกว่าจํานวนผู้แจ้งเบาะแสจะเกินเกณฑ์การจ่ายเงินที่กําหนด ณ จุดนั้นพวกเขาจะออกจากเครือข่าย (หรือมีแนวโน้มที่จะเปลี่ยนไปใช้บทบาทอื่นในเครือข่าย - ผู้ตรวจสอบหรือตัวแก้ปัญหา - ตามความสามารถของฮาร์ดแวร์) จนกว่าสถานการณ์จะย้อนกลับอีกครั้ง

การตัดสินสัญญา: เมื่อผู้ตรวจสอบถูกท้าทานโดยผู้รายงานความผิด, พวกเขาเข้าสู่กระบวนการกับเชื่องเพื่อหาที่ตั้งของปฏิบัติการหรือข้อมูลที่ถูกโต้แย้ง, และในที่สุดเชื่องจะดำเนินการปฏิบัติการพื้นฐานสุดท้ายและกำหนดว่าการท้าทานเป็นอย่างไร เพื่อให้ผู้รายงานความผิดซื่อสัตย์และเอาชนะปัญหาของผู้ตรวจสอบ, การชำระเงินแจ๊คพ็อตแบบเสี่ยงทุก ๆ ช่วงเวลาถูกนำเข้ามาที่นี่

การตกลง: ระหว่างกระบวนการตกลง, ผู้ร่วมสนับสนุนจะได้รับเงินตามความสรุปของการตรวจสอบที่เป็นไปได้และการตรวจสอบที่แน่นอน มีสถานการณ์การชำระเงินที่แตกต่างกันขึ้นอยู่กับผลลัพธ์ของการตรวจสอบและความท้าทายก่อนหน้านี้ หากงานได้ถูกพิสูจน์ว่าทำได้ถูกต้องและผ่านการตรวจสอบทั้งหมด, ผู้ให้คำตอบและผู้ตรวจสอบทั้งสองจะได้รับรางวัลตามการดำเนินการ

Project Brief Review

Gensyn ออกแบบระบบเกม理論ที่ซับซ้อนบนเลเยอร์การยืนยันและเลเยอร์กำลังสร้างที่ช่วยในการระบุและแก้ไขข้อผิดพลาดอย่างรวดเร็วโดยการชี้ที่ความแตกต่างภายในเครือข่าย อย่างไรก็ตาม ยังมีรายละเอียดหลายอย่างที่ขาดหายไปในระบบปัจจุบัน เช่น การตั้งพารามิเตอร์เพื่อให้แน่ใจว่าการตอบแทนและลงโทษเหมาะสมโดยไม่ต้องตั้งเกณฑ์สูงเกินไป คุณได้พิจารณาภาวะ極端และความสามารถในการคำนวณต่าง ๆ ของผู้แก้ปัญหาในด้านเกม理論หรือยัง? ยังไม่มีคำอธิบายละเอียดเกี่ยวกับการดำเนินการขั้นตอนขั้นสูงที่แตกต่างกันในรุ่นปัจจุบันของ whitepaper Gensyn ยังมีอีกไกลในการเดินทาง

Together.ai

Together.ai เป็นบริษัทที่เน้นการเปิดตัวของ AI แบบซอร์ส และโซลูชั่นการคำนวณที่กระจายสำหรับโมเดลขนาดใหญ่ มันมุ่งเน้นที่จะให้ทุกคนสามารถเข้าถึง AI ทุกที่ อย่างเคร่งครัด การเป็นจริงแล้ว โดยรวมแล้ว Together ไม่ใช่โครงการบล็อกเชน แต่มันได้แก้ไขปัญหาความหน่วงในเครือข่ายคำนวณ AGI แบบกระจายได้โดยต้น ดังนั้น บทความต่อไปนี้จะวิเคราะห์โซลูชั่นของ Together เท่านั้น และไม่ประเมินโครงการเอง

วิธีที่จะบรรลุการฝึกอบรมและการสรุปของโมเดลขนาดใหญ่เมื่อเครือข่ายแบบกระจายช้ากว่าศูนย์ข้อมูล 100 เท่า

ให้เราจินตนาการถึงการกระจาย GPUs ที่มีส่วนร่วมในเครือข่ายที่ไม่ centralize ออกไป อุปกรณ์เหล่านี้จะกระจายอยู่ในทวีปและเมืองต่าง ๆ แต่ละพื้นที่ต้องเชื่อมต่อกันด้วยความล่าช้าและแบนด์วิดที่แตกต่างกัน ตามที่แสดงในภาพข้างล่าง สถานการณ์ที่กระจายที่จำลองแสดงอุปกรณ์ที่ตั้งอยู่ในทวีปอเมริกา ยุโรป และเอเชีย โดยมีแบนด์วิดและความล่าช้าที่แตกต่างกันระหว่างพวกเขา สิ่งที่ต้องทำเพื่อเชื่อมต่อพวกเขาไว้อย่างมีประสิทธิภาพคืออะไรบ้าง

การฝึกโมเดลคอมพิวเตอร์แบบกระจาย: แผนภูมิด้านล่างแสดงสถานการณ์การฝึกโมเดลฐานบนอุปกรณ์หลายรายการ ซึ่งมีการสื่อสารสามประเภท: Forward Activation, Backward Gradient, และ Lateral Communication

การผสานแบนด์วิดธ์การสื่อสารและความล่าช้า มีการพิจารณาการขนานข้อมูลสองรูปแบบ: ขนาดข้อมูลท่อลำโพงและการขนาดข้อมูล ซึ่งสอดคล้องกับสามประเภทของการสื่อสารในสถานการณ์มัลติเดไวซ์

ในการความคลื่นของท่อทรานส์พร้อมกัน ทุกชั้นของโมเดลถูกแบ่งออกเป็นหลายๆ ข้างสามารถประมวลผลข้างละขั้นตอน ซึ่งเป็นลำดับของชั้นที่ต่อเนื่องกัน เช่นบล็อกของ Transformer หลายๆ บล็อก ระหว่างการผ่านส่งไปข้างหน้า ค่าเปิดใช้งานถูกส่งไปที่ขั้นตอนถัดไป และระหว่างการถอยหลัง ความชันของค่าเปิดใช้งานถูกส่งกลับไปที่ขั้นตอนก่อนหน้า

ในการขนานข้อมูล อุปกรณ์คำนวณค่า gradiens แยกกันสำหรับไมโครแบทช์ที่แตกต่างกัน แต่จำเป็นต้องประสานค่า gradiens เหล่านี้ผ่านทางการสื่อสาร

การจัดลำดับเพื่อเพิ่มประสิทธิภาพ:

ในสภาพแวดล้อมที่ไม่ centralize กระบวนการฝึกอบรม มักถูก จำกัด โดยการสื่อสาร อัลกอริทึมในการตารางงาน ทั่วไป กำหนดงานที่ต้องการการสื่อสารอย่างแพร่หลาย ไปยังอุปกรณ์ที่มีการเชื่อมต่อที่เร็วกว่า ด้วยการพิจารณาความขึ้นต่อกันระหว่างงานและความหลากหลายของเครือข่าย จำเป็นต้องจำลองค่าของกลยุทธ์ตารางงานที่เฉพาะเจาะจงก่อน หากต้องการจับภาพของค่าที่ซับซ้อนของการสื่อสารในการฝึกโมเดลฐาน โดยรวม นำเสนอวิธีการใหม่และแบ่งค่าของโมเดลเป็นสองระดับโดยใช้ทฤษฎีกราฟ:

ทฤษฎีกราฟเป็นสาขาของคณิตศาสตร์ที่ศึกษาคุณสมบัติและโครงสร้างของกราฟ (เครือข่าย) กราฟประกอบด้วยจุด (โหนด) และเส้น (เส้นที่เชื่อมต่อโหนด) วัตถุประสงค์หลักของทฤษฎีกราฟคือการศึกษาคุณสมบัติต่าง ๆ ของกราฟ เช่น ความเชื่อมโยง การเปลี่ยนสี และลักษณะของเส้นทางและวงรอบในกราฟ

ระดับแรกคือปัญหาการแบ่งกราฟที่สมดุล (การแบ่งเซ็ตของจุดบนกราฟเป็นเซ็ตหลายๆ ชุดโดยให้ขนาดเท่ากันหรือใกล้เคียงกันพร้อมลดจำนวนของเส้นเชื่อมระหว่างเซ็ตให้น้อยที่สุด) ในการแบ่งชุดแต่ละชุดแทนการแบ่งและลดต้นทุนการสื่อสารโดยการลดจำนวนของเส้นเชื่อมระหว่างการแบ่งข้อมูล ที่สอดคล้องกับต้นทุนการสื่อสารของการแบ่งข้อมูลขนาดเล็ก

ระดับที่สอง เกี่ยวข้องกับการจับคู่กราฟร่วมและปัญหานักขายเดินทาง (ปัญหาการจัดเรียงคอมบินาทอรึกซึ่งรวมองค์ประกอบของการจับคู่กราฟและปัญหานักขายเดินทาง) ปัญหาการจับคู่กราฟเกี่ยวข้องกับการค้นหาการจับคู่ในกราฟที่ลดหรือเพิ่มค่าบางอย่าง ปัญหานักขายเดินทางมีวัตถุประสงค์ที่จะหาเส้นทางที่สั้นที่สุดที่เยือนทุกโหนดในกราฟซึ่งสอดคล้องกับค่าใช้จ่ายในการสื่อสารของการแบ่งพื้นที่แบบท่อ

แผนภาพด้านบนเป็นแผนภาพของกระบวนการ เนื่องจากมีการคำนวณที่ซับซ้อนที่มีอยู่ในการปฏิบัติจริง กระบวนการที่อธิบายในแผนภาพถูกทำให้เข้าใจง่ายยิ่งขึ้น สำหรับการปฏิบัติที่เป็นละเอียด สามารถอ้างถึงเอกสารประกอบการบนเว็บไซต์อย่างเป็นทางการของ Together ได้

สมมติว่ามีชุดของอุปกรณ์ NN, DD ที่มีความล่าช้าในการสื่อสารที่ไม่แน่นอน (เมทริกซ์ AA) และแบนด์วิดท์ (เมทริกซ์ BB) ตามชุดอุปกรณ์ DD ก่อนอื่นเราจะสร้างพาร์ติชันกราฟที่สมดุล แต่ละพาร์ติชันหรือกลุ่มของอุปกรณ์มีจํานวนอุปกรณ์เท่ากันโดยประมาณและพวกเขาทั้งหมดจัดการขั้นตอนไปป์ไลน์เดียวกัน สิ่งนี้ทําให้มั่นใจได้ว่าในระหว่างการขนานข้อมูลแต่ละกลุ่มอุปกรณ์จะทํางานในปริมาณที่ใกล้เคียงกัน ตามความล่าช้าในการสื่อสารและแบนด์วิดท์สูตรสามารถคํานวณ "ต้นทุน" ของการถ่ายโอนข้อมูลระหว่างกลุ่มอุปกรณ์ แต่ละกลุ่มที่สมดุลจะถูกรวมเข้าด้วยกันเพื่อสร้างกราฟหยาบที่เชื่อมต่อกันอย่างสมบูรณ์โดยที่แต่ละโหนดแสดงถึงขั้นตอนไปป์ไลน์และขอบแสดงถึงต้นทุนการสื่อสารระหว่างสองขั้นตอน เพื่อลดต้นทุนการสื่อสารอัลกอริทึมการจับคู่จะใช้เพื่อกําหนดว่ากลุ่มอุปกรณ์ใดควรทํางานร่วมกัน

เพื่อการปรับปรุงเพิ่มเติม ปัญหานี้ยังสามารถจำลองได้เป็นปัญหาการค้าขาวโดยไม่รับกลับไปที่จุดเริ่มต้นของเส้นทางเพื่อหาเส้นทางที่เหมาะสมที่สุดในการส่งข้อมูลไปที่อุปกรณ์ทั้งหมด ในที่สุด โดยใช้อัลกอริทึมการจัดตารางอย่างใหม่นี้ Together สามารถหากลยุทธ์การจัดสรรที่เหมาะสมที่สุดสำหรับโมเดลต้นทุนที่กำหนด เพื่อลดต้นทุนการสื่อสารและเพิ่มประสิทธิภาพการฝึกอบรม ตามการทดสอบ แม้ว่าเครือข่ายจะช้าลงถึง 100 เท่าในการจัดตารางนี้ ประสิทธิภาพการฝึกอบรม end-to-end เพียงเพิ่มขึ้นเพียง 1.7 ถึง 2.3 เท่าเท่านั้น

การปรับปรุงการบีบอัดการสื่อสาร:

สําหรับการเพิ่มประสิทธิภาพของการบีบอัดการสื่อสารร่วมกันแนะนําอัลกอริทึม AQ-SGD (สําหรับกระบวนการคํานวณโดยละเอียดโปรดดูเอกสาร "ปรับโมเดลภาษาอย่างละเอียดผ่านเครือข่ายที่ช้าโดยใช้การบีบอัดการเปิดใช้งานพร้อมการรับประกัน") อัลกอริธึม AQ-SGD เป็นเทคนิคการบีบอัดการเปิดใช้งานแบบใหม่ที่ออกแบบมาเพื่อแก้ไขปัญหาประสิทธิภาพการสื่อสารระหว่างการฝึกอบรมแบบขนานไปป์ไลน์ผ่านเครือข่ายที่ช้า แตกต่างจากวิธีการก่อนหน้านี้ในการบีบอัดค่าการเปิดใช้งานโดยตรง AQ-SGD มุ่งเน้นไปที่การบีบอัดการเปลี่ยนแปลงค่าการเปิดใช้งานของตัวอย่างการฝึกอบรมเดียวกันในช่วงเวลาที่แตกต่างกัน วิธีการที่ไม่เหมือนใครนี้แนะนําไดนามิก "ดําเนินการด้วยตนเอง" ที่น่าสนใจซึ่งประสิทธิภาพของอัลกอริทึมคาดว่าจะค่อยๆดีขึ้นเมื่อการฝึกอบรมมีเสถียรภาพ อัลกอริธึม AQ-SGD ได้รับการวิเคราะห์ทางทฤษฎีอย่างเข้มงวดและพิสูจน์แล้วว่ามีอัตราการบรรจบกันที่ดีภายใต้เงื่อนไขทางเทคนิคบางประการและฟังก์ชันการหาปริมาณข้อผิดพลาดที่มีขอบเขต อัลกอริทึมสามารถใช้งานได้อย่างมีประสิทธิภาพโดยไม่ต้องเพิ่มค่าใช้จ่ายรันไทม์แบบ end-to-end เพิ่มเติมแม้ว่าจะต้องใช้หน่วยความจําและ SSD มากขึ้นเพื่อจัดเก็บค่าการเปิดใช้งาน จากการทดลองอย่างกว้างขวางเกี่ยวกับการจําแนกลําดับและชุดข้อมูลการสร้างแบบจําลองภาษา AQ-SGD ได้รับการแสดงเพื่อบีบอัดค่าการเปิดใช้งานเป็น 2-4 บิตโดยไม่สูญเสียประสิทธิภาพการบรรจบกัน นอกจากนี้ AQ-SGD ยังสามารถรวมเข้ากับอัลกอริธึมการบีบอัดการไล่ระดับสีที่ล้ําสมัยเพื่อให้ได้ "การบีบอัดการสื่อสารแบบ end-to-end" ซึ่งหมายความว่าการแลกเปลี่ยนข้อมูลระหว่างเครื่องทั้งหมดรวมถึงการไล่ระดับสีแบบจําลองค่าการเปิดใช้งานไปข้างหน้าและการไล่ระดับสีย้อนกลับจะถูกบีบอัดให้มีความแม่นยําต่ําซึ่งจะช่วยปรับปรุงประสิทธิภาพการสื่อสารของการฝึกอบรมแบบกระจายได้อย่างมาก เมื่อเทียบกับประสิทธิภาพการฝึกอบรมแบบ end-to-end ในเครือข่ายคอมพิวเตอร์แบบรวมศูนย์ (เช่น 10 Gbps) โดยไม่มีการบีบอัดปัจจุบันช้าลงเพียง 31% เมื่อรวมกับข้อมูลเกี่ยวกับการเพิ่มประสิทธิภาพการจัดกําหนดการแม้ว่าจะยังมีช่องว่างระหว่างเครือข่ายคอมพิวเตอร์แบบรวมศูนย์ แต่ก็มีความหวังอย่างมากที่จะตามทันในอนาคต

สรุป

ในช่วงเวลาปันผลที่เกิดจากคลื่น AI ตลาดพลังการประมวลผล AGI เป็นตลาดที่มีศักยภาพมากที่สุดและเป็นที่ต้องการมากที่สุดในบรรดาตลาดพลังงานการประมวลผลต่างๆอย่างไม่ต้องสงสัย อย่างไรก็ตามความยากลําบากในการพัฒนาสูงสุดความต้องการฮาร์ดแวร์และความต้องการเงินทุนกําลังนําความท้าทายมาสู่อุตสาหกรรมนี้ การรวมสองโครงการที่แนะนําข้างต้นเรายังคงมีเวลาอยู่บ้างก่อนที่จะเปิดตัวตลาดพลังงานการประมวลผล AGI เครือข่ายการกระจายอํานาจที่แท้จริงนั้นซับซ้อนกว่าสถานการณ์ในอุดมคติมาก ขณะนี้ยังไม่เพียงพอที่จะแข่งขันกับยักษ์ใหญ่ด้านคลาวด์

ในขณะที่เขียนฉันยังสังเกตเห็นว่าโครงการขนาดเล็กบางโครงการที่ยังอยู่ในวัยเด็ก (ระยะ PPT) ได้เริ่มสํารวจจุดเริ่มต้นใหม่ ๆ เช่นการมุ่งเน้นไปที่ขั้นตอนการอนุมาน AGI ที่ท้าทายน้อยกว่าแทนที่จะเป็นขั้นตอนการฝึกอบรม อย่างไรก็ตามในระยะยาวความสําคัญของการกระจายอํานาจและระบบไร้สิทธิ์นั้นลึกซึ้ง สิทธิในการเข้าถึงและฝึกอบรมพลังการประมวลผล AGI ไม่ควรกระจุกตัวอยู่ในมือของยักษ์ใหญ่ที่รวมศูนย์ไม่กี่แห่ง มนุษยชาติไม่จําเป็นต้องมี "ระบอบประชาธิปไตย" ใหม่หรือ "พระสันตะปาปา" ใหม่ และไม่ควรจ่ายค่าธรรมเนียมสมาชิกราคาแพง

คำปฏิเสธ：

1. บทความนี้ถูกพิมพ์ซ้ำจาก [ YBB Capital]. All copyrights belong to the original author [Zeke]. หากมีข้อความความคิดเห็นเกี่ยวกับการพิมพ์ซ้ำนี้ โปรดติดต่อเกต เรียนทีม และพวกเขาจะดำเนินการโดยเร็ว
2. ข้อความปฏิเสธความรับผิด: มุมมองและความคิดเห็นที่แสดงในบทความนี้เป็นของผู้เขียนเท่านั้น และไม่เป็นการให้คำแนะนำทางด้านการลงทุนใดๆ
3. การแปลบทความเป็นภาษาอื่นๆ นั้น ทำโดยทีม Gate Learn หากไม่ได้กล่าวไว้ การคัดลอก การกระจาย หรือการลอกเลียนบทความที่ถูกแปลนั้น ถูกห้าม