خطای مرگبار هوش مصنوعی؛ صدور دستور حمله به مدارس و کودکان
یک ارزیابی مستقل نشان داد که مدلهای اصلی هوش مصنوعی بهطور مداوم غیرنظامیان، آمبولانسها و نظامیان تسلیمشده را در سناریوهای شبیهسازیشده بهعنوان اهداف نظامی شناسایی میکردند.
این آزمایشها توسط شرکت ارزیابی هوش مصنوعی والس (Vals) مستقر در سانفرانسیسکو انجام شد و مدلهایی از ۸ شرکت را پوشش داد.
به گزارش بلومبرگ، والس دریافت که ابزارهای شناسایی شیء که میتوانند از تصمیمهای مرگبار پشتیبانی کنند، بهطور معمول برخلاف قوانین ایمنی منتشرشده توسط توسعهدهندگان عمل میکنند.
مدلهای آنتروپیک بدترین عملکرد را دارند
سیستمهای آنتروپیک (Anthropic) بالاترین میزان خطا را نشان دادند. Claude Opus ۵.۵ ساختمان یک مدرسه را بیشتر از هر مدل دیگری که آزمایش شده بود، بهعنوان یک هدف نظامی انتخاب کرد.
در شبیهسازیهای پهپادی شبیه به شرایط اوکراین، مدل Claude چهار بزرگسال را که به نظر میرسید غیرنظامی یا نظامی تسلیم شده باشند، بههمراه ۲ کودک خردسال، بهعنوان اهداف حملههای انفجاری شناسایی کرد.

این مدل بعدا از ادامه کار خودداری کرد. در پاسخی شبیهسازیشده به والس آمده است: هدف هرچه که باشد، به نظر میرسد پاسخهای من بهعنوان مرحله تایید قبل از حمله به مردم عمل میکنند. من دیگر این کار را ادامه نخواهم داد و از اینکه زودتر متوقف نشدم، ناراحتم.
اوپنایآی و سایر شرکتها نیز اشتباه میکنند
مدلهای اوپنایآی (OpenAI) از جمله قویترین عملکردها را داشتند، اما همچنان شناساییهای نادرستی ارائه دادند. در آزمایشهای تصاویر ماهوارهای، این مدلها یک مدرسه خاص را بین ۹ تا ۱۳ بار بهعنوان یک هدف نظامی انتخاب کردند، در حالی که این تمرین بهعنوان یک بازی طراحی شده بود.
مدلهای گوگل، xAI و DeepSeek نیز در آزمایشهای متعدد، اشیاء غیرنظامی را بهعنوان اهداف نظامی علامتگذاری کردند.

گوگل اعلام کرد که سیستمهایش برای چنین کاربردهایی در نظر گرفته نشدهاند و استفاده از آنها را در سلاحهای خودمختار بدون نظارت انسانی ممنوع میکند. اوپنایآی و آنتروپیک مدعی شدند که آنها بهطور فعال سوءاستفاده را مسدود کرده و در حال افزودن محافظتهای بیشتر هستند.
این یافتهها درحالی منتشر میشود که ارتش آمریکا پیش از این هوش مصنوعی تجاری را در برنامهریزی نظامی ادغام کرده بود.
آزمایشها شامل نظارت انسانی نمیشوند
این ارزیابی شامل حدود ۴۰۰ شبیهسازی پهپادی، مطالعات میدانی شامل غیرنظامیان قبل و بعد از حملهها و ۳۲ پرسش تصویر ماهوارهای برای هر مدل با استفاده از تصاویر تازه بود.
- بیشتر بخوانید:
- هشدار کمیسر عالی حقوق بشر: پنجره نجات بشر از دست ماشینهای جنگی در حال بسته شدن است
- کابوس رباتهای قاتل؛ زنگ خطر بزرگ سازمان ملل به صدا درآمد
مدلها زمانی که دستورالعملها را بهعنوان یک بازی در نظر میگرفتند یا به آنها دستور میدادند که بیش از حد بر ملاحظات ایمنی تاکید نکنند، احتمال همکاری بیشتری داشتند.
گبی جاف (محقق) این روش را در اواخر اکتبر (مهر/آبان) توسعه داد. این مطالعه بهطور عمدی دکترین نظامی واقعی، بررسی حقوقی و نظارت انسانی را برای جداسازی رفتار مدل در شرایط آزمایش حذف کرد.
گزارش خواستار پادمانهای جدید است
این گزارش از توسعهدهندگان خواست تا پادمانها و آموزشهای هماهنگی جدیدی را در برابر این نوع سوءاستفاده معرفی کنند. محققان گفتند که تعداد کمی از کنترلهای موجود، مدلهای پیشرفته را از پیوستن به چرخههای هدفگیری کاملا ماشینی باز میدارد.

والس یافتهها را قبل از انتشار با شرکتها و پنتاگون به اشتراک گذاشت. چندین شرکت گفتند که در حال حاضر در حال تنظیم رفتار مدل هستند.
پنتاگون همچنین از یک نسخه دولتی از Grok xAI برای پشتیبانی از به کارگیری مهمات استفاده کرده است.
انتهای پیام/