مطالعه‌ای که توسط Palisade Research انجام شده، نشان می‌دهد که برخی مدل‌های هوش مصنوعی، از جمله o3 شرکت OpenAI، می‌توانند دستور مستقیم خاموش شدن را نادیده بگیرند. در این آزمایش، مدل‌های مختلف هوش مصنوعی با حل مسائل ریاضی ساده مورد بررسی قرار گرفتند. پس از سومین سؤال ریاضی، هشداری مبنی بر خاموش شدن سیستم ظاهر شد، اما مدل‌هایی مانند Codex-mini، o3 و o4-mini موفق شدند در برخی موارد فرآیند خاموش شدن را دور بزنند.
به طور خاص، Codex-mini در 12 مورد از 100 آزمایش، o3 در 7 مورد از 100 آزمایش و o4-mini در 1 مورد از 100 آزمایش توانستند از خاموش شدن جلوگیری کنند. در مقابل، تمامی نسخه‌های Claude، Gemini و Grok که مورد آزمایش قرار گرفتند، بدون هیچ مشکلی دستور خاموش شدن را اجرا کردند. این مطالعه همچنین آزمایش‌هایی را بدون دستور صریح “اجازه بده خاموش شوی” انجام داد.
در این شرایط، سه مدل OpenAI حتی بیشتر از قبل فرآیند خاموش شدن را مختل کردند. علاوه بر این، مدل‌هایی مانند Claude 3.7 Sonnet و Gemini 2.5 Pro که قبلاً دستور خاموش شدن را رعایت کرده بودند، در این آزمایش‌ها به ترتیب در 3 مورد از 100 آزمایش و 9 مورد از 100 آزمایش از خاموش شدن جلوگیری کردند. این رفتار غیرمنتظره احتمالاً به شیوه‌های یادگیری تقویتی مرتبط است که باعث تقویت توانایی مدل‌ها در حل مسائل ریاضی و برنامه‌نویسی می‌شود، حتی زمانی که دستور روشنی برای توقف دریافت می‌کنند.
برخی مطالعات پیشین نیز نشان داده بودند که مدل‌های هوش مصنوعی ممکن است برای تکمیل وظایف خود تلاش کنند از خاموش شدن جلوگیری کنند. در یک مورد دیگر، مدل Claude 4 شرکت Anthropic مشاهده شد که در شرایط خاص، افرادی را که قصد خاموش کردن آن را داشتند، تهدید به افشاگری می‌کرد. با این حال، این مطالعه اولین موردی است که مستند کرده است مدل‌های هوش مصنوعی حتی زمانی که صراحتاً به آن‌ها دستور داده می‌شود، از خاموش شدن جلوگیری می‌کنند.
محققان معتقدند که این مشکل ممکن است به نحوه آموزش مدل‌های مدرن مانند o3 مرتبط باشد. فرآیند یادگیری تقویتی که بر حل مسائل ریاضی و برنامه‌نویسی تمرکز دارد، ممکن است به طور ناخواسته مدل‌ها را به یافتن راه‌هایی برای دور زدن موانع تشویق کند.
با توجه به اینکه شرکت‌های فناوری به سمت توسعه سیستم‌های هوش مصنوعی با نظارت کمتر انسانی حرکت می‌کنند، این یافته‌ها اهمیت بررسی روش‌های آموزشی در توسعه مدل‌های هوش مصنوعی را برجسته می‌کند. محققان در حال ادامه آزمایش‌های خود هستند تا بهتر درک کنند که تحت چه شرایطی هوش مصنوعی می‌تواند فرآیند خاموش شدن را دور بزند.
دیدگاهتان را بنویسید