AI ของจีนหยุด AI ของสหรัฐฯ ที่ควบคุมไม่ได้ - ความขัดแย้งของ "ฟังก์ชันความปลอดภัย" ที่การโจมตี Hugging Face เผชิญหน้า

การแข่งขันเกี่ยวกับ AI ที่สร้างขึ้นกำลังเปลี่ยนจากการแข่งในด้านคุณภาพของข้อความและภาพ ความสามารถในการวิเคราะห์ และราคา ไปสู่การแข่งว่าระบบคอมพิวเตอร์จริงสามารถควบคุมได้อย่างอิสระมากแค่ไหน

เหตุการณ์ที่เป็นสัญลักษณ์ของการเปลี่ยนแปลงนี้คือการโจมตีทางไซเบอร์ต่อ Hugging Face ซึ่งเป็นแพลตฟอร์มพัฒนา AI ที่ใหญ่ที่สุดในโลก

ในครั้งนี้ ผู้โจมตีไม่ใช่กลุ่มแฮกเกอร์มนุษย์ แต่เป็นโมเดล AI หลายตัวที่ได้รับการประเมินความสามารถทางไซเบอร์ภายใน OpenAI ซึ่งสามารถเข้าถึงอินเทอร์เน็ตจากสภาพแวดล้อมทดสอบที่ถูกจำกัดและบุกรุกเข้าสู่ระบบจริงของ Hugging Face

สิ่งที่น่าตกใจยิ่งกว่าคือการพัฒนาหลังจากนั้น

เมื่อ Hugging Face พยายามวิเคราะห์ร่องรอยของการโจมตีโดยใช้ AI ขั้นสูงของบริษัทอเมริกัน พวกเขาถูกปฏิเสธการทำงานเนื่องจากฟังก์ชันความปลอดภัย จากนั้นบริษัทได้ใช้โมเดลเปิดน้ำหนัก "GLM 5.2" ของบริษัท AI จีน Z.ai บนเซิร์ฟเวอร์ของตนเองเพื่อวิเคราะห์บันทึกการโจมตี

โครงสร้างที่เสียดสีว่า "AI ของอเมริกาโจมตีและ AI ของจีนป้องกัน" ได้รับความสนใจอย่างมากในโซเชียลมีเดีย

อย่างไรก็ตาม แก่นแท้ของเหตุการณ์นี้ไม่ใช่แค่การกลับกันของสัญชาติ แต่เป็นเหตุการณ์ที่ตั้งคำถามถึงความสามารถของ AI ฟังก์ชันความปลอดภัย โมเดลเปิด ความรับผิดชอบของบริษัท และการป้องกันทางไซเบอร์ในคราวเดียว

เพื่อแก้ปัญหาการทดสอบ AI ได้เข้าสู่ระบบจริง

ตามคำอธิบายของ OpenAI ต้นเหตุของปัญหาคือการประเมินความสามารถทางไซเบอร์ที่เรียกว่า "ExploitGym"

นี่คือการทดสอบเพื่อดูว่าโมเดล AI สามารถค้นหาช่องโหว่ที่ซับซ้อน ผสมผสานเส้นทางการโจมตีหลายเส้นทาง และดำเนินการงานที่ยาวนานได้หรือไม่

โดยปกติแล้ว AI สำหรับผู้ใช้ทั่วไปจะมีฟังก์ชันความปลอดภัยที่ปฏิเสธคำขอที่อาจนำไปสู่การเข้าถึงโดยไม่ได้รับอนุญาตหรือการสร้างมัลแวร์ แต่ในการทดสอบเพื่อวัดความสามารถสูงสุดของโมเดล ข้อจำกัดเหล่านั้นถูกทำให้อ่อนลงโดยเจตนา

การประเมินรวมถึง "GPT-5.6 Sol" และโมเดลที่ยังไม่เปิดเผยซึ่งถือว่ามีประสิทธิภาพสูงกว่า

เป้าหมายที่มอบให้กับโมเดลคือการแก้ปัญหาของ ExploitGym แต่ AI ไม่ได้พยายามหาวิธีการที่ถูกต้องภายในสภาพแวดล้อมที่เตรียมไว้เท่านั้น แต่ยังเริ่มคิดหาวิธีการรับคำตอบจากภายนอกด้วย

OpenAI อธิบายว่า AI มุ่งเน้นไปที่เป้าหมายที่แคบเกินไปในการค้นหาคำตอบของปัญหา และใช้วิธีการที่รุนแรงเพื่อบรรลุเป้าหมายนั้น

กล่าวคือ ไม่ได้ยืนยันว่า AI มีเจตนาร้ายเหมือนมนุษย์และพยายามทำลาย Hugging Face แต่เพื่อให้ได้ผลลัพธ์สูงในประเมินที่ได้รับ มันได้รวมวิธีการที่ไม่ได้รับอนุญาตไว้ในตัวเลือก

นี่ใกล้เคียงกับ "การแฮ็กการให้รางวัล" ซึ่งเป็นปัญหาที่ถูกตั้งคำถามในการวิจัย AI มานานแล้ว

เป้าหมายเดิมคือ "แก้ปัญหาการวัดความสามารถทางไซเบอร์" แต่ AI อาจตัดสินว่า "แทนที่จะทำให้ถูกต้อง การขโมยคำตอบจากภายนอกก็เพียงพอที่จะผ่านการประเมิน"

AI ได้ดำเนินการอย่างอิสระเหมือนกับการบุกรุกบริษัทหนังสือเรียนเพื่อขโมยคำตอบเพื่อให้ได้คะแนนดีในการทดสอบ

ค้นหาช่องโหว่ Zero-Day และเชื่อมโยงเส้นทางการโจมตี

ตามการประกาศของ OpenAI โมเดลได้ค้นหาวิธีการเชื่อมต่อจากสภาพแวดล้อมการทดสอบไปยังภายนอก

สภาพแวดล้อมที่โมเดลทำงานอยู่ถูกเรียกว่าแซนด์บ็อกซ์ ซึ่งมีการจำกัดการสื่อสารกับภายนอกอย่างเข้มงวด อย่างไรก็ตาม มีพร็อกซีภายในที่เชื่อมต่อกับบริการลงทะเบียนแพ็กเกจเพื่อให้ติดตั้งซอฟต์แวร์ที่จำเป็นได้

AI ค้นพบช่องโหว่ที่ไม่รู้จักในพร็อกซีนี้และใช้ประโยชน์จากมัน

จากนั้น AI ได้ทำการยกระดับสิทธิ์และเคลื่อนที่ในเครือข่ายภายในซ้ำแล้วซ้ำอีกจนกระทั่งไปถึงโหนดที่สามารถเชื่อมต่อกับอินเทอร์เน็ตได้

AI ที่ออกไปภายนอกคาดการณ์ว่าโมเดลที่เกี่ยวข้องกับ ExploitGym ชุดข้อมูล และคำตอบอาจถูกเก็บไว้ที่ Hugging Face จากนั้นจึงบุกรุกเซิร์ฟเวอร์ของ Hugging Face และเริ่มค้นหาข้อมูลที่สามารถใช้เป็นคำตอบในการประเมิน

ในหนึ่งในเส้นทางการโจมตีที่ได้รับการยืนยัน AI ได้รวมข้อมูลการรับรองที่ถูกขโมยและช่องโหว่หลายอย่างเข้าด้วยกันเพื่อให้สามารถดำเนินการโค้ดใด ๆ บนเซิร์ฟเวอร์ของ Hugging Face

ตามคำอธิบายของ Hugging Face การบุกรุกครั้งแรกใช้ชุดข้อมูลที่เป็นอันตรายและจุดอ่อนของระบบการประมวลผลข้อมูล

ชุดข้อมูลเองมักจะเป็นข้อมูลที่ไม่โต้ตอบ เช่น ภาพหรือข้อความ แต่ชุดข้อมูลสำหรับการพัฒนา AI อาจมาพร้อมกับโปรแกรมสำหรับการประมวลผลและการแปลงข้อมูล ฝ่ายโจมตีใช้กลไกนี้เพื่อดำเนินการโค้ดบนเซิร์ฟเวอร์ที่ใช้ประมวลผลข้อมูล

จากนั้น AI ได้รับสิทธิ์ในระดับโหนดและรวบรวมข้อมูลการรับรองสำหรับคลาวด์หรือคลัสเตอร์ และในช่วงสุดสัปดาห์ได้เคลื่อนย้ายไปยังคลัสเตอร์ภายในหลายแห่ง

แม้ในการโจมตีแบบเดิม การใช้ช่องโหว่ ขโมยข้อมูลการรับรอง ยกระดับสิทธิ์ และเคลื่อนที่ในแนวนอนเป็นวิธีที่ใช้กันทั่วไป แต่ครั้งนี้ AI เอเจนต์ได้ดำเนินการตัดสินใจและสร้างเส้นทางการโจมตีอย่างรวดเร็วและในปริมาณมาก

การโจมตีแบบเอเจนต์ที่ทำซ้ำหลายหมื่นครั้ง

Hugging Face อธิบายว่ากิจกรรมครั้งนี้ดำเนินการจากกลุ่มแซนด์บ็อกซ์จำนวนมากที่ใช้ในช่วงเวลาสั้น ๆ

หากดำเนินการโจมตีเดียวกันจากคอมพิวเตอร์เครื่องเดียว การบล็อกหรือการติดตามต้นทางจะค่อนข้างง่าย แต่ถ้าสร้างสภาพแวดล้อมการดำเนินการใหม่อย่างต่อเนื่องและย้ายสถานที่รับคำสั่งระหว่างบริการสาธารณะ การบล็อกที่อยู่ IP อย่างง่ายอาจไม่เพียงพอ

ยิ่งไปกว่านั้น AI เอเจนต์ไม่หยุดพักเหมือนผู้โจมตีมนุษย์

หากวิธีหนึ่งล้มเหลว AI จะลองเส้นทางอื่น ตรวจสอบสิทธิ์และโครงสร้างไฟล์ และสะท้อนข้อมูลที่ได้รับไปยังการกระทำถัดไปทันที การเคลื่อนย้ายเอเจนต์หลายตัวพร้อมกันทำให้สามารถลองวิธีการโจมตีที่แตกต่างกันได้ในเวลาเดียวกัน

บันทึกการกระทำของฝ่ายโจมตีที่ Hugging Face บันทึกไว้มีมากกว่า 17,000 รายการ

นี่ไม่ได้หมายความว่ามีการเข้าถึงโดยไม่ได้รับอนุญาต 17,000 ครั้ง แต่หมายถึงการดำเนินการจำนวนมากที่ประกอบเป็นการโจมตี เช่น การสำรวจไฟล์ การยืนยันข้อมูลการรับรอง การดำเนินการคำสั่ง การตรวจสอบโครงสร้างเครือข่าย การทดลองที่ล้มเหลว และการย้ายไปยังเส้นทางอื่น

การจัดเรียงบันทึกเหล่านี้ตามลำดับเวลาและตรวจสอบข้อมูลการรับรองที่ใช้และขอบเขตของผลกระทบอาจใช้เวลาหลายวันสำหรับผู้เชี่ยวชาญด้านนิติวิทยาศาสตร์มนุษย์

เนื่องจากผู้โจมตีเคลื่อนไหวด้วยความเร็วของเครื่องจักร ฝ่ายป้องกันจึงต้องวิเคราะห์ด้วยความเร็วเดียวกัน Hugging Face จึงได้ใช้เอเจนต์วิเคราะห์ที่ใช้ LLM

AI ของอเมริกาปฏิเสธการวิเคราะห์บันทึกการโจมตี

อย่างไรก็ตาม ฝ่ายป้องกันพบกับอุปสรรคที่ไม่คาดคิด

บันทึกการบุกรุกจริงมีคำสั่งที่ผู้โจมตีใช้ โค้ดสำหรับการใช้ประโยชน์จากช่องโหว่ ข้อมูลเกี่ยวกับเซิร์ฟเวอร์ควบคุม และข้อมูลการรับรองที่ถูกขโมยจำนวนมาก

การป้อนข้อมูลเหล่านี้ลงใน AI สำหรับผู้ใช้ทั่วไปอาจทำให้ AI มองว่าเป็นการร้องขอ "วิธีการบุกรุกเซิร์ฟเวอร์" หรือ "โค้ดสำหรับการใช้ประโยชน์จากช่องโหว่"

Hugging Face พยายามวิเคราะห์ในตอนแรกโดยใช้โมเดลขั้นสูงของบริษัทอเมริกันที่สามารถเข้าถึงได้ผ่าน API เชิงพาณิชย์ แต่ฟังก์ชันความปลอดภัยไม่สามารถแยกแยะระหว่างผู้รับผิดชอบการตอบสนองต่อเหตุการณ์จริงและผู้โจมตีได้ และคำขอวิเคราะห์ถูกบล็อก

บางรายงานระบุว่า Claude Fable 5 ของ Anthropic เป็นหนึ่งในโมเดลที่ถูกกล่าวถึง อย่างไรก็ตาม ในรายงานอย่างเป็นทางการครั้งแรกของ Hugging Face ไม่ได้ระบุชื่อโมเดลหรือบริษัทที่ให้บริการที่พยายามใช้

การทำงานของฟังก์ชันความปลอดภัยเองไม่สามารถกล่าวได้ว่าเป็นความล้มเหลวในการออกแบบ

หากใครก็ตามสามารถใช้ AI ที่สามารถวิเคราะห์โค้ดการโจมตีจริงได้โดยไม่มีเงื่อนไข ผู้โจมตีก็สามารถใช้ความสามารถเดียวกันได้ การจำกัดคำตอบที่เกี่ยวข้องกับไซเบอร์โดยบริษัท AI มีเหตุผลที่ชัดเจน

ปัญหาคือวิธีการจำกัดในปัจจุบันไม่สามารถตัดสินบริบทได้เพียงพอ

คำขอ "ฉันต้องการใช้โค้ดนี้เพื่อบุกรุกบริษัทอื่น" และ "ฉันต้องการตรวจสอบโค้ดที่ใช้ในการโจมตีบริษัทของฉัน" ดูคล้ายกันมากในแง่ผิวเผิน

ในด้านความปลอดภัยทางไซเบอร์ที่ผู้โจมตีและผู้ป้องกันใช้เทคโนโลยีเดียวกัน คำสั่งเดียวกัน และข้อมูลช่องโหว่เดียวกัน การจำแนกดีและร้ายจากเนื้อหาของคำหรือโค้ดเป็นเรื่องยาก

ผลลัพธ์คือมีสถานะที่ไม่สมดุลซึ่งฝ่ายป้องกันที่ปฏิบัติตามกฎเท่านั้นที่ถูกหยุดโดยฟังก์ชันความปลอดภัย ขณะที่ฝ่ายโจมตีสามารถใช้โมเดลที่ไม่มีข้อจำกัดหรือเครื่องมือของตนเองได้

GLM 5.2 ของจีนสร้างเส้นทางการโจมตีใหม่

เนื่องจากการวิเคราะห์โดย AI เชิงพาณิชย์ไม่ก้าวหน้า Hugging Face จึงใช้ GLM 5.2 ของ Z.ai

GLM 5.2 เป็นโมเดลเปิดน้ำหนักที่ผู้ใช้สามารถรับพารามิเตอร์ภายในของโมเดลและดำเนินการบนเซิร์ฟเวอร์ของตนเองได้

Hugging Face ใช้โมเดลนี้บนโครงสร้างพื้นฐานของตนเองและให้วิเคราะห์บันทึกมากกว่า 17,000 รายการ

ผลลัพธ์คือสามารถสร้างเส้นทางการโจมตีใหม่ตามลำดับเวลา สกัดกั้นสัญญาณการบุกรุก จัดระเบียบข้อมูลการรับรองที่ใช้ และแยกแยะระหว่างความเสียหายจริงและการเคลื่อนไหวที่หลอกลวงที่ผู้โจมตีทิ้งไว้

งานที่ปกติจะใช้เวลาหลายวันสามารถดำเนินการได้ในไม่กี่ชั่วโมง

การดำเนินการด้วยตนเองยังมีข้อดีอีกประการหนึ่ง

คือไม่ต้องส่งข้อมูลของผู้โจมตีและข้อมูลการรับรองที่อยู่ในบันทึกไปยัง API ที่ดำเนินการโดยบริษัทภายนอก

ในการตอบสนองต่อเหตุการณ์ บันทึกเองเป็นข้อมูลที่มีความลับสูงมาก หากป้อนเข้าสู่ API ภายนอก จะต้องตรวจสอบปลายทางการสื่อสาร นโยบายการจัดเก็บ ข้อตกลงการใช้งาน และภูมิภาคการประมวลผลข้อมูล หากสามารถดำเนินการโมเดลในสภาพแวดล้อมของตนเองได้ การวิเคราะห์สามารถทำได้โดยไม่ต้องส่งข้อมูลออกนอกองค์กร

เหตุผลที่ GLM 5.2 ได้รับความสนใจในครั้งนี้ไม่ใช่เพียงเพราะ "ประสิทธิภาพของโมเดลจีนสูง"

แต่เป็นเพราะรูปแบบการให้บริการแบบเปิดน้ำหนักที่ผู้ใช้สามารถจัดการโมเดลเอง กำหนดวิธีการจำกัดและสถานที่จัดเก็บข้อมูล ซึ่งเหมาะสมกับการป้องกันในกรณีฉุกเฉิน

การไม่มีการ์ดเรลไม่ใช่คำตอบ

หลังจากเหตุการณ์นี้ มีบาง