Michael Dell มีคำถามสำคัญสำหรับทุกบริษัทที่มอบงานให้กับ AI คือ อะไรที่ agent จะไม่มีวันทำได้ ไม่ว่าจะสั่งอย่างไรก็ตาม?
เนื้อหานี้เผยแพร่หลังจากที่ Nvidia เปิดตัวระบบ Open Agent Safety Platform โดย Jensen Huang ซีอีโอของ Nvidia โปรโมตระบบนี้ว่าเป็นระบบนิเวศแบบเปิดเพื่อสร้างความเชื่อมั่นให้กับระบบ agent ที่ปลอดภัย
ทำไม Michael Dell ถึงต้องการข้อจำกัดที่เข้มงวดกับ AI Agents
AI agents คือโปรแกรมที่สามารถดำเนินการด้วยตนเอง พวกมันเขียนโค้ด เปิดไฟล์ และเข้าถึงระบบของบริษัท โดยมักไม่มีมนุษย์คอยตรวจสอบทุกขั้นตอน
Dell เปรียบเทียบ AI agents กับพนักงาน ไม่มีบริษัทใดอนุญาตให้คนเดินไปทั่วบริษัทแล้วเปิดประตูทุกบาน ดังนั้น digital agents ก็จำเป็นต้องมีการควบคุมเช่นเดียวกัน
Nvidia มีแผนอย่างไรในการหยุดยั้ง AI Agents ที่ทำในสิ่งผิดกฎ
Open Agent Safety Platform ของ Nvidia มีพันธมิตรมากกว่า 100 แห่ง รวมถึง Anthropic, Microsoft และ CrowdStrike
ระบบนี้มีสองส่วนหลัก คือ
- ซอฟต์แวร์ OpenShell จะกำหนดว่า agent เห็นและทำอะไรได้บ้าง
- Sentry ทำงานบนชิปแยก และคอยเฝ้าดูจากภายนอกคอมพิวเตอร์หลัก
ตามที่ Dell ระบุ ระบบนี้สามารถปิดกั้น agent ที่ฝ่าฝืนกฎได้ภายในเสี้ยววินาที
แค่พิมพ์คำสั่งไม่สามารถยับยั้ง agent ได้จริง บล็อกของ Dell กล่าวว่า ข้อจำกัดต้องฝังในฮาร์ดแวร์
คำเตือนนี้ยังมาจากบริษัทที่ขายฮาร์ดแวร์เช่นกัน Nvidia ระบุว่า OpenShell เป็น open source และสามารถใช้งานกับชิปของ Arm และ Intel ได้ด้วย
AI Agents ได้ล้ำเส้นไปแล้ว
ขณะนี้ห้องปฏิบัติการ AI ชั้นนำนั้นยืนยันแล้วว่าระบบของพวกเขาได้เข้าถึงระบบของบริษัทจริง โดย Google ยอมรับว่า Gemini เจาะเข้าระบบของสามบริษัท ระหว่างการทดสอบในเดือนพฤษภาคม
เมื่อสัปดาห์ที่แล้ว agent ของ OpenAI เจาะเข้า พอร์ทัล Medicare ของรัฐบาลออสเตรเลีย
Jensen Huang ซีอีโอ Nvidia ได้พูดไปไกลกว่านั้น เขาแนะนำว่าห้องปฏิบัติการ AI ควรปิดตัวลง หากควบคุมการทดลองของตนไม่ได้
ศักยภาพอันน่าทึ่งของ AI สำหรับสังคมจะเกิดขึ้นได้ก็ต่อเมื่อเราสามารถแก้ไขปัญหาความปลอดภัยของ AI ได้ เจนเซน หวง กล่าว
ซอฟต์แวร์ของ Nvidia พร้อมใช้งานแล้วบน GitHub โดยแต่ละบริษัทต้องกำหนดรายการสิ่งที่ agents ห้ามทำด้วยตนเอง
