รายงานข่าวระบุว่า เหตุการณ์เฉียดตายของกองทัพสหรัฐฯ ที่เกี่ยวข้องกับรายงานข่าวกรองที่ใช้ปัญญาประดิษฐ์ (AI) ช่วยเหลือ ได้กลายเป็นกรณีศึกษาที่มีประโยชน์ในปัญหาที่กว้างกว่านั้น นั่นคือ AI แบบสร้างข้อมูลเองได้สามารถทำให้การวิเคราะห์เร็วขึ้น แต่ความเร็วไม่ใช่สิ่งเดียวกับความถูกต้องที่ได้รับการตรวจสอบแล้ว ในสถานการณ์ที่มีความเสี่ยงสูง คำตอบที่ดูดีอาจเป็นอันตรายได้หากแหล่งที่มา ข้อสมมติ และความไม่แน่นอนของคำตอบนั้นไม่ปรากฏให้ผู้ที่นำไปใช้เห็น
ตามรายงานฉบับดั้งเดิมของ CNN เมื่อวันที่ 18 กันยายน 2026 ซึ่งอ้างถึงบุคคลสี่คนที่คุ้นเคยกับเหตุการณ์นี้ ระบุว่ามีรายงานข่าวกรองที่เผยแพร่ภายในกองทัพสหรัฐฯ ในช่วงสงครามกับอิหร่าน โดยอ้างว่าเรือของจีนลำหนึ่งในตะวันออกกลางกำลังขนส่งชิ้นส่วนที่เกี่ยวข้องกับโครงการอาวุธนิวเคลียร์ CNN รายงานว่ามีการเตรียมการเพื่อสกัดกั้นเรือลำดังกล่าว และเครื่องบินทหารได้ขึ้นบินแล้วก่อนที่เจ้าหน้าที่จะตรวจสอบการวิเคราะห์พื้นฐานอีกครั้ง
รายงานระบุว่า การตรวจสอบพบว่าแชทบอทระบุสินค้าบนเรือผิดพลาด นอกจากนี้ CNN ยังรายงานว่ามีการใช้ AI อีกครั้งเพื่อจัดทำรายงานวิเคราะห์ให้อยู่ในรูปแบบรายงานข่าวกรองมาตรฐาน ขั้นตอนนี้มีความสำคัญ เพราะการจัดรูปแบบที่เป็นทางการสามารถทำให้การวิเคราะห์ที่ไม่น่าเชื่อถือดูน่าเชื่อถือมากกว่าที่เป็นจริง
มีข้อจำกัดที่สำคัญเกี่ยวกับสิ่งที่เปิดเผยต่อสาธารณะ CNN กล่าวว่าไม่สามารถระบุได้ว่าสินค้าที่ระบุผิดนั้นคืออะไร หรือว่าแชทบอทนั้นเป็นระบบเชิงพาณิชย์หรือผลิตภัณฑ์ของรัฐบาล เพนตากอนและกองบัญชาการปฏิบัติการพิเศษของสหรัฐฯ ประจำแปซิฟิกไม่ได้ให้คำตอบใดๆ ต่อ CNN เกี่ยวกับเรื่องนี้ ดังนั้น ณ ขณะนั้น รายงานดังกล่าวจึงเป็นเพียงข่าวที่อ้างอิงจากแหล่งข่าว ไม่ใช่การสอบสวนหรือรายงานหลังปฏิบัติการของกระทรวงกลาโหมที่เผยแพร่ต่อสาธารณะ
นักวิเคราะห์ทางการทหารทำงานที่สถานีคอมพิวเตอร์ในศูนย์ปฏิบัติการทั่วไป ภาพนี้ให้บริบทสำหรับการตรวจสอบโดยมนุษย์ของการวิเคราะห์ที่ได้รับความช่วยเหลือจากเครื่องจักร และไม่ได้แสดงถึงเหตุการณ์ที่รายงาน
เหตุใดเหตุการณ์ที่รายงานจึงมีความสำคัญ
ข้อกังวลเร่งด่วนไม่ได้อยู่ที่ว่าระบบ AI อาจสร้างข้อความเท็จขึ้นมาเท่านั้น ระบบ AI แบบสร้างข้อความอัตโนมัติ (Generative AI) เป็นที่ทราบกันดีว่าสามารถสร้างผลลัพธ์ที่ฟังดูมั่นใจแต่ไม่มีหลักฐานสนับสนุน ซึ่งเป็นความเสี่ยงที่สถาบันมาตรฐานและเทคโนโลยีแห่งชาติ (NIST) อธิบายไว้ในหมวดหมู่ที่กว้างกว่าคือ การสร้างข้อความเท็จ (confabulation) โปรไฟล์ AI แบบสร้างข้อความอัตโนมัติ ของ NIST ถือว่านี่เป็นความเสี่ยงที่องค์กรควรวัดและจัดการอย่างจริงจัง แทนที่จะคิดว่าสามารถกำจัดได้
ความล้มเหลวที่ร้ายแรงกว่านั้นเกิดขึ้นเมื่อการเรียกร้องที่สร้างขึ้นเคลื่อนผ่านสถาบันโดยไม่มีอุปสรรคมากพอ หากคำตอบของระบบถูกแปลงเป็นรูปแบบข่าวกรองที่คุ้นเคย เผยแพร่ผ่านช่องทางที่เชื่อถือได้ และดำเนินการก่อนที่จะมีการยืนยันจากแหล่งอิสระ ความไม่แน่นอนของแบบจำลองก็จะหายไป ในขณะที่ความน่าเชื่อถือของเอกสารในระดับสถาบันจะเพิ่มขึ้น
ความเร็วสามารถลดเวลาที่มีอยู่สำหรับการตั้งข้อสงสัยได้
องค์กรทางทหารให้ความสำคัญกับความเร็วในการตัดสินใจด้วยเหตุผลที่เข้าใจได้ ยุทธศาสตร์การนำข้อมูล การวิเคราะห์ และปัญญาประดิษฐ์ (AI) มาใช้ ของกระทรวงกลาโหม ปี 2023 เชื่อมโยง AI กับการตัดสินใจที่รวดเร็วและดีขึ้นอย่างชัดเจน ขณะเดียวกันก็ให้ความสำคัญกับความมั่นใจและ AI ที่มีความรับผิดชอบในลำดับความสำคัญ เป้าหมายเหล่านั้นจะบรรลุผลได้ก็ต่อเมื่อการผลิตที่รวดเร็วขึ้นควบคู่ไปกับการตรวจสอบที่แข็งแกร่งเพียงพอ
ดังนั้น การทดสอบคุณภาพที่มีประโยชน์จึงไม่ใช่ “AI สร้างการประเมินได้เร็วแค่ไหน?” แต่เป็น “ผู้ตรวจสอบสามารถตรวจสอบข้อกล่าวอ้างที่มีความสำคัญในการดำเนินงานแต่ละข้อได้เร็วแค่ไหน?” หากเวลาในการตรวจสอบเพิ่มขึ้นในขณะที่เวลาในการร่างลดลง กระบวนการทำงานอาจดูมีประสิทธิภาพ แต่ในความเป็นจริงแล้วกลับเป็นการถ่ายโอนภาระงานและความเสี่ยงไปยังขั้นตอนถัดไป
การรวมซอร์สโค้ดอาจซ่อนจุดเริ่มต้นของข้อผิดพลาดได้
CNN รายงานว่าแชทบอทดังกล่าวได้ผสมผสานข้อมูลจากแหล่งข้อมูลเปิดเข้ากับข้อมูลข่าวกรองลับ การสังเคราะห์ข้อมูลในลักษณะนี้อาจมีคุณค่า แต่ก็สร้างปัญหาเรื่องที่มาของข้อมูลด้วย ผู้ตรวจสอบจำเป็นต้องทราบว่าข้อสรุปใดมาจากแหล่งใด สิ่งใดที่สังเกตได้โดยตรง สิ่งใดที่ได้มาจากการอนุมาน และสิ่งใดที่สร้างขึ้นโดยแบบจำลอง
เมื่อความแตกต่างเหล่านั้นถูกรวมเข้าเป็นเรื่องเล่าที่ลื่นไหลเพียงเรื่องเดียว ผู้ตรวจสอบอาจไม่สามารถบอกได้ว่าประโยคสำคัญนั้นสะท้อนถึงข้อมูลข่าวกรองดิบ การตัดสินใจเชิงวิเคราะห์ของมนุษย์ หรือการอนุมานที่สร้างขึ้นโดย AI ซึ่งเป็นอันตรายอย่างยิ่งเมื่อข้อกล่าวอ้างนั้นอาจก่อให้เกิดการกระทำที่แก้ไขไม่ได้
กระบวนการทำงานอัจฉริยะที่ใช้ AI คุณภาพสูงควรสร้างผลลัพธ์อย่างไร
วิธีที่ดีที่สุดในการรับมือกับความล้มเหลวเช่นนี้ไม่ใช่การใช้กฎตายตัวว่า AI นั้นไม่ปลอดภัยเสมอไป แนวทางที่ดีกว่าคือการกำหนดเกณฑ์คุณภาพที่สังเกตได้ การตรวจสอบต่อไปนี้จะทำให้การตรวจสอบผลลัพธ์ง่ายขึ้นและทำให้เห็นได้ชัดเจนขึ้นว่าเมื่อใดที่จำเป็นต้องเปลี่ยนแปลงขั้นตอนการทำงาน
เกณฑ์คุณภาพ
สิ่งที่ดูดีคือลักษณะอย่างไร
ป้ายเตือน
เมื่อใดควรเปลี่ยนวิธีการ
ที่มา
ทุกการเรียกร้องที่มีนัยสำคัญในการดำเนินงาน สามารถตรวจสอบย้อนกลับไปยังบันทึกแหล่งที่มาที่ระบุ เวลา หรือกระแสการรวบรวมข้อมูลได้
ผู้วิจารณ์เห็นข้อสรุป แต่ไม่สามารถระบุหลักฐานที่อยู่เบื้องหลังข้อสรุปนั้นได้
หยุดใช้การสร้างแบบฟอร์มอิสระสำหรับข้อกล่าวอ้างนั้น และเปลี่ยนไปใช้การค้นหาตามแหล่งที่มา หรือการตรวจสอบด้วยตนเองแทน
การยืนยันอิสระ
ข้อกล่าวอ้างที่มีผลกระทบสูงจะถูกตรวจสอบกับแหล่งข้อมูลหรือเส้นทางการวิเคราะห์ที่แยกต่างหาก
ประโยคหลายประโยคล้วนมาจากผลลัพธ์ของแบบจำลองเดียวกันหรือแหล่งข้อมูลพื้นฐานเดียวกัน
ชะลอการดำเนินการจนกว่าจะมีการตรวจสอบอย่างอิสระ เว้นแต่ผู้บังคับบัญชาจะยอมรับความเสี่ยงที่เหลืออยู่โดยชัดแจ้งภายใต้กฎที่มีอยู่
ความไม่แน่นอน
รายงานฉบับนี้แยกข้อเท็จจริงที่สังเกตได้ การประเมินของนักวิเคราะห์ ข้อสรุปจากแบบจำลอง และคำถามที่ยังไม่ได้รับคำตอบออกจากกัน
ถ้อยคำนั้นชัดเจนแม้ว่าหลักฐานจะไม่ชัดเจนก็ตาม
ต้องขอคำแถลงเกี่ยวกับความเชื่อมั่นและคำอธิบายที่ขัดแย้งก่อนที่จะเผยแพร่ต่อไป
ความท้าทายของมนุษย์
ผู้ตรวจสอบควรทดสอบข้อสรุป ไม่ใช่เพียงแค่รับรองรูปแบบการนำเสนอเท่านั้น
บทบาทของมนุษย์ลดลงเหลือเพียงการคลิก "ยอมรับ" ในผลิตภัณฑ์ที่ร่างโดย AI
ควรเพิ่มผู้ตรวจสอบคนที่สองหรือการตรวจสอบโดยทีมผู้เชี่ยวชาญ (red-team check) สำหรับการตัดสินใจที่มีผลกระทบรุนแรง
ความสามารถในการตรวจสอบ
ข้อมูลเกี่ยวกับคำถาม เวอร์ชันของแบบจำลอง หลักฐานที่ดึงมา การแก้ไข และการอนุมัติขั้นสุดท้าย จะถูกบันทึกไว้
ไม่มีใครสามารถจำลองกระบวนการสรุปผลดังกล่าวได้
ให้ถือว่าผลิตภัณฑ์นี้ไม่เหมาะสมสำหรับการใช้งานที่มีความเสี่ยงสูง จนกว่าจะสามารถประกอบห่วงโซ่การผลิตขึ้นใหม่ได้
หลักการป้องกันประเทศของสหรัฐฯ ที่มีอยู่แล้วนั้น ชี้ไปสู่การควบคุมเหล่านี้
หลักจริยธรรมด้านปัญญาประดิษฐ์ (AI) ของกระทรวงกลาโหมมีความสำคัญเนื่องจากเน้นย้ำถึงความรับผิดชอบของมนุษย์ การตรวจสอบย้อนกลับ ความน่าเชื่อถือ และการกำกับดูแล บันทึกการดำเนินการปี 2021 ของกระทรวงระบุว่า บุคลากรควรใช้วิจารณญาณและความระมัดระวังอย่างเหมาะสม วิธีการและแหล่งข้อมูล AI ควรมีความโปร่งใสและตรวจสอบได้โดยบุคลากรที่เกี่ยวข้อง และความสามารถควรได้รับการทดสอบและรับรองภายในขอบเขตการใช้งานที่กำหนดไว้ เอกสารต้นฉบับคือบันทึกของ กระทรวงกลาโหมเกี่ยวกับการดำเนิน การปัญญาประดิษฐ์อย่างมีความรับผิดชอบ
สำหรับระบบอาวุธแบบอัตโนมัติและกึ่งอัตโนมัติคำสั่งกระทรวงกลาโหมสหรัฐฯ ฉบับที่ 3000.09 กำหนดให้ต้องมีการตัดสินใจโดยมนุษย์ที่เหมาะสม การทดสอบที่สมจริง ความแข็งแกร่ง และแหล่งข้อมูลและเทคโนโลยีที่โปร่งใสหรือตรวจสอบได้ คำสั่งดังกล่าวไม่ได้ควบคุมแชทบอทวิเคราะห์ข่าวกรองทุกตัว ดังนั้นจึงไม่ควรนำเสนอเป็นหลักฐานว่าขั้นตอนการทำงานที่รายงานนั้นละเมิดนโยบายอาวุธใดโดยเฉพาะ อย่างไรก็ตาม คำสั่งนี้ยังคงมีประโยชน์ในฐานะหลักฐานของตรรกะด้านความปลอดภัยที่กว้างขึ้นของกระทรวง: ระบบที่มีอิทธิพลต่อการตัดสินใจที่สำคัญจำเป็นต้องมีการกำหนดขอบเขต การทดสอบ การกำกับดูแล และวิธีการหยุดเมื่อพฤติกรรมไม่น่าเชื่อถือ
องค์กรควรหยุดใช้โมเดลแบบสร้างข้อมูลอัตโนมัติและเปลี่ยนไปใช้วิธีการอื่นเมื่อใด?
นโยบาย AI ที่ใช้งานได้จริงควรมีเงื่อนไขการยุติที่ชัดเจน ทีมงานควรยุติการสร้างข้อมูลแบบไม่จำกัดเมื่อระบบไม่สามารถแสดงแหล่งที่มาที่น่าเชื่อถือได้ เมื่อข้อเรียกร้องอาจส่งผลโดยตรงต่อการใช้กำลัง เมื่อแบบจำลองถูกขอให้คาดเดาตัวตนหรือวัตถุประสงค์ของสินค้าหรืออุปกรณ์ที่ไม่ชัดเจน หรือเมื่อผู้ตรวจสอบไม่สามารถสร้างข้อสรุปซ้ำได้จากหลักฐานพื้นฐาน
ในกรณีเหล่านั้น ทางเลือกที่ปลอดภัยกว่าอาจเป็นระบบค้นหาข้อมูลอย่างเดียวที่ส่งคืนข้อความต้นฉบับที่เกี่ยวข้องโดยไม่สร้างข้อสรุปข้อเท็จจริงใหม่ อีกทางเลือกหนึ่งคือการสนับสนุนการตัดสินใจแบบมีโครงสร้าง ซึ่งแบบจำลองอาจจัดระเบียบหลักฐาน แต่ไม่ได้รับอนุญาตให้เติมข้อเท็จจริงที่ขาดหายไป สำหรับคำถามที่มีผลกระทบร้ายแรงที่สุด วิธีที่เหมาะสมอาจเป็นการวิเคราะห์โดยมนุษย์แบบดั้งเดิมโดยมีเครื่องจักรช่วยเหลือในส่วนที่จำกัดเฉพาะการค้นหา การแปล การถอดความ หรือการคัดกรองเอกสาร
เกณฑ์ที่เหมาะสมนั้นขึ้นอยู่กับผลกระทบของข้อผิดพลาด แบบจำลองที่ใช้สรุปบันทึกข้อความด้านโลจิสติกส์อาจยอมรับระดับความไม่แน่นอนที่เหลืออยู่ได้ในระดับที่แตกต่างจากแบบจำลองที่ผลลัพธ์อาจส่งผลต่อการตัดสินใจเกี่ยวกับการสกัดกั้น การหยุดงาน หรือการยกระดับความขัดแย้ง
จะประเมินได้อย่างไรว่ามาตรการคุ้มครองนั้นได้ผลจริงหรือไม่
นโยบายอย่างเดียวไม่เพียงพอ หากองค์กรไม่วัดผลลัพธ์ ตัวชี้วัดที่มีประโยชน์ ได้แก่ เปอร์เซ็นต์ของข้อกล่าวอ้างที่มีผลกระทบสูงซึ่งมีการอ้างอิงแหล่งที่มาโดยตรง อัตราที่ผู้ตรวจสอบพบข้อกล่าวอ้างของแบบจำลองที่ไม่ได้รับการสนับสนุน จำนวนรายงานที่ถูกถอนหรือแก้ไขหลังจากการเผยแพร่ เวลาเฉลี่ยที่จำเป็นในการตรวจสอบข้อกล่าวอ้างที่สำคัญ และความถี่ในการเปลี่ยนแปลงคำแนะนำของ AI หลังจากได้รับการตรวจสอบอย่างอิสระ
สัญญาณที่มีค่าอีกอย่างหนึ่งคือความไม่เห็นด้วย หากนักวิเคราะห์คนที่สองหรือแบบจำลองที่แยกต่างหากได้ข้อสรุปที่แตกต่างกันอย่างมีนัยสำคัญจากหลักฐานเดียวกัน นั่นควรเพิ่มความระมัดระวังมากกว่าที่จะนำไปสู่การหาค่าเฉลี่ยโดยอัตโนมัติ ความไม่เห็นด้วยสามารถเปิดเผยความคลุมเครือที่คำตอบเดียวที่ชัดเจนอาจซ่อนไว้ได้
คุณภาพควรได้รับการประเมินภายใต้แรงกดดันที่สมจริงด้วย กระบวนการทำงานที่ได้ผลดีในห้องปฏิบัติการ แต่ล้มเหลวเมื่อนักวิเคราะห์เร่งรีบ มีภาระงานมากเกินไป หรือทำงานโดยมีข้อมูลไม่ครบถ้วน จะไม่พร้อมสำหรับการใช้งานจริง การทดสอบที่เกี่ยวข้องคือระบบมนุษย์-เครื่องจักรโดยรวม ไม่ใช่ตัวแบบจำลองเพียงอย่างเดียว
สิ่งที่ตอนนี้ไม่ได้พิสูจน์
เหตุการณ์เฉียดฉิวที่รายงานไปนั้นไม่ได้พิสูจน์ว่าระบบ AI ทางทหารทั้งหมดไม่น่าเชื่อถือ ว่า AI แบบสร้างภาพไม่ควรนำมาใช้ในงานข่าวกรอง หรือว่าผู้จำหน่ายโมเดลรายใดรายหนึ่งเป็นต้นเหตุของปัญหา การรายงานต่อสาธารณะไม่ได้ระบุถึงโมเดล ข้อความแจ้งเตือนที่แน่นอน สินค้าที่ระบุผิดพลาด ขั้นตอนการตรวจสอบทั้งหมด หรือกฎภายในที่ใช้กับนักวิเคราะห์
นอกจากนี้ยังไม่ได้ระบุว่าข้อผิดพลาดที่คล้ายกันเกิดขึ้นบ่อยแค่ไหน หากไม่มีฐานข้อมูลเหตุการณ์สาธารณะ ผลการตรวจสอบ หรือตัวเลขที่เปิดเผยซึ่งแสดงให้เห็นว่ามีการผลิตผลิตภัณฑ์อัจฉริยะที่ใช้ AI ช่วยเหลือจำนวนเท่าใด เหตุการณ์เพียงครั้งเดียวจึงไม่สามารถสนับสนุนอัตราความล้มเหลวที่น่าเชื่อถือได้
ข้อจำกัดเหล่านั้นมีความสำคัญ เพราะการตอบสนองมากเกินไปอาจไม่เป็นประโยชน์เท่ากับการตอบสนองน้อยเกินไป บทเรียนที่สมเหตุสมผลกว่านั้นมีขอบเขตที่แคบกว่า นั่นคือ เมื่อนำ AI มาใช้ในกระบวนการวิเคราะห์ที่มีผลกระทบสูง คุณภาพของผลลัพธ์ควรได้รับการประเมินจากแหล่งที่มา การยืนยัน การจัดการความไม่แน่นอน ความสามารถในการทำซ้ำ และการตรวจสอบโดยมนุษย์อิสระ ไม่ใช่จากความคล่องแคล่ว ความเร็ว หรือรูปแบบที่ดูเป็นมืออาชีพ
สรุป
เหตุการณ์การรายงานข่าวกรองเท็จเกี่ยวกับปัญญาประดิษฐ์ของกองทัพสหรัฐฯ มีความสำคัญเพราะมันแสดงให้เห็นถึงรูปแบบความล้มเหลวที่อาจเกิดขึ้นได้ในองค์กรที่มีความเสี่ยงสูงใดๆ ก็ตาม: แบบจำลองสร้างข้อสรุปที่ไม่ได้รับการสนับสนุน ซอฟต์แวร์เปลี่ยนข้อสรุปนั้นให้กลายเป็นผลิตภัณฑ์ที่สมบูรณ์แบบ และกระบวนการภายในองค์กรเริ่มปฏิบัติต่อผลิตภัณฑ์นั้นราวกับว่าความน่าเชื่อถือของมันมาจากหลักฐานที่ได้รับการตรวจสอบแล้ว
เป้าหมายในทางปฏิบัติไม่ใช่การทำให้ AI ที่สร้างขึ้นนั้นไร้ข้อผิดพลาด ระบบในปัจจุบันไม่สามารถรับประกันได้เช่นนั้น เป้าหมายคือการออกแบบขั้นตอนการทำงานเพื่อให้ข้อผิดพลาดของ AI ยังคงเป็นเพียงข้อผิดพลาดในฉบับร่างที่ตรวจจับได้ แทนที่จะกลายเป็นข้อเท็จจริงในการดำเนินงาน สัญญาณที่ชัดเจนที่สุดของระบบที่พัฒนาแล้วคือ แหล่งที่มาที่มองเห็นได้ การยืนยันอิสระสำหรับข้อกล่าวอ้างที่สำคัญ ความไม่แน่นอนที่ระบุไว้อย่างชัดเจน ขั้นตอนการตรวจสอบที่บันทึกไว้ และจุดที่กำหนดไว้ล่วงหน้าซึ่งมนุษย์จะหยุดเชื่อถือเส้นทางที่สร้างขึ้นและเปลี่ยนไปใช้วิธีการที่มีข้อจำกัดมากกว่า