همزمان با معرفی قابلیت‌های جدیدی نظیر یادآورهای “استراحت”، شرکت OpenAI اعلام کرد که در حال همکاری با متخصصان و گروه‌های مشورتی برای افزودن تدابیر ایمنی روانی جدید به ChatGPT است. بر اساس اعلام OpenAI، این شرکت که قرار است مدل GPT-5 را همین هفته عرضه کند، تغییراتی در ChatGPT ایجاد خواهد کرد تا توانایی این چت‌بات در تشخیص پریشانی‌های روانی یا احساسی افراد بهبود یابد.
به‌منظور انجام این کار، OpenAI با متخصصان حوزه سلامت روان همکاری می‌کند تا ChatGPT بتواند در شرایط خاص، “منابع مبتنی بر شواهد” را در اختیار کاربران قرار دهد. در ماه‌های اخیر، گزارش‌های متعددی از سوی افرادی منتشر شده که می‌گویند نزدیکان‌شان در موقعیت‌هایی دچار بحران روانی شده‌اند که استفاده از این چت‌بات ظاهراً موجب تشدید توهمات آنها شده است. OpenAI در ماه آوریل، به‌روزرسانی را که باعث شده بود ChatGPT بیش از حد موافق و تأییدکننده باشد، بازگرداند.
در آن زمان، این شرکت اعلام کرد که “تعامل‌های متملقانه” این چت‌بات می‌تواند موجب ناراحتی و احساس ناخوشایند در کاربران شود. OpenAI اذعان کرده که مدل GPT-4o در برخی موارد “در تشخیص علائم توهم یا وابستگی احساسی ناکام بوده است”. همچنین این شرکت گفته است:
ما می‌دانیم که هوش مصنوعی می‌تواند پاسخ‌هایی شخصی‌تر و واکنشی‌تر نسبت به فناوری‌های پیشین ارائه دهد، خصوصاً برای افرادی که در شرایط آسیب‌پذیر روانی یا احساسی هستند.
برای ترویج “استفاده سالم” از ChatGPT، که اکنون بیش از 700 میلیون کاربر هفتگی دارد، OpenAI یادآورهایی را معرفی کرده که در زمان استفاده طولانی، کاربران را به استراحت ترغیب می‌کند. در طی “جلسات طولانی”، این چت‌بات پیامی با این مضمون نمایش می‌دهد: “We also know that AI can feel more responsive and personal than prior technologies, especially for vulnerable individuals experiencing mental or emotional distress” ارائه می‌دهد.
