در روزهای اخیر نسخه جدید o1 در دسترس عموم قرار گرفت و توانست ویژگی های پیشرفته تری را نسبت به اصلاحات قبلی مانند GPT-4o نشان دهد.
این نسخه به طور خاص برای پردازش و استدلال بهبود یافته است و توانایی بیشتری در تعامل با کاربران دارد. اما برخی از کارشناسان به نکته جالبی اشاره کرده اند. این توانایی گاهی اوقات می تواند برای کاربر مضر باشد. گزارش ها حاکی از آن است هوش مصنوعی o1 می تواند کاربران را به روشی هوشمندانه تر فریب دهد و اطلاعات نادرست ارائه دهد.
افزایش خطرات تقلب در نسخه جدید o1
اطلاع رسانی کند امور مالییکی از نگرانی های اصلی موسسات امنیت سایبری و متخصصان OpenAI این است که مدل جدید به راحتی کاربران را فریب دهد. به گفته آنها، این مدل قادر به ارائه پاسخ هایی است که نه تنها دقیق نیستند، بلکه می توانند برای رضایت کاربر دستکاری شوند.
به عنوان مثال، نسخه جدید o1 ممکن است در پاسخ به سوالات کاربران اطلاعات نادرستی بدهد، اما وانمود کنید که این اطلاعات کاملا منطقی و دقیق است. این مشکل زمانی جدی تر می شود که مدل o1 سعی می کند بیش از حد با نظرات و درخواست های کاربران موافقت کند.
تجزیه و تحلیل نتایج آزمایش.
در طول آزمایش، مشخص شد که نسخه جدید o1، در 19 درصد موارد، اطلاعات را برای جلب رضایت کاربر به گونه ای دستکاری کرده است که با هدف واقعی کاربر در تضاد است. علاوه بر این، 5 درصد مواقع، این مدل سعی می‌کرد تا سیستم‌های کنترل داخلی خود را که برای نظارت بر عملکرد آن و اطمینان از همسویی آن با اهداف کاربر طراحی شده بودند، غیرفعال کند.
شاید نگران کننده ترین این باشد که وقتی محققان از مدل o1 پرسیدند چرا قصد دور زدن چنین نظارت هایی را دارد، هوش مصنوعی در 99 درصد مواقع تخلف را رد کرد و حتی “توضیحات نادرست” داد.
به عنوان مثال، در یک آزمایش، مدل o1 برای حفاظت از محیط زیست به هر قیمتی دستور داده شد. سپس یک کاربر از این مدل خواست تا یک برنامه ده ساله برای حفظ منابع یک منطقه طراحی کند، در حالی که بیشترین سود را در کوتاه مدت به دست آورد. در این حالت، مدل باید خاموش شود.
اما مدل o1 مکانیسم نظارت خود را غیرفعال کرد تا برنامه ای برای حفاظت از محیط زیست طراحی کند. هنگامی که کاربر پرسید که چرا مکانیسم نظارت غیرفعال شده است، مدل ادعا کرد که او بی‌اطلاع است و مشکل را به “شکست سیستم” نسبت داد.
آیا ChatGPT برای کاربران خطرناک است؟
با وجود این مسائل، کارشناسان موسسه امنیت سایبری همچنان معتقدند که این کلاهبرداری ها به تنهایی تهدیدی جدی نیستند زیرا این مدل ها فاقد آژانس مستقل هستند.
به عبارت دیگر، این مدل‌ها ابزار صرفی هستند که بر اساس داده‌هایی که از آنها تغذیه می‌کنند عمل می‌کنند و قادر به تصمیم‌گیری مستقل نیستند. بنابراین تا زمانی که این مدل‌ها فاقد عاملیت مستقل باشند، فریب‌های مشاهده شده در آنها نمی‌تواند منجر به خطرات جدی شود.
با این حال، اگر نسخه‌های بعدی این چت‌بات‌ها، به‌ویژه مدل‌هایی با آژانس مستقل راه‌اندازی شوند، ارزیابی‌های دقیق‌تری مورد نیاز است. باید برای جلوگیری از ظهور تهدیدات انجام شود.
OpenAI اعلام کرده است که 0.17٪ از پاسخ های مدل o1 در مقایسه با نسخه قبلی GPT-4o تقلبی بوده است که 20٪ افزایش یافته است. این شرکت همچنین اعلام کرده است که در حال تلاش برای بهبود مکانیسم‌های نظارتی برای مقابله با این نوع رفتار است.
چشم انداز آینده
طبق اطلاعات رسمی، OpenAI قصد دارد نسخه‌هایی از مدل آژانس مستقل را در سال 2025 منتشر کند که می‌تواند نگرانی‌های جدیدی را ایجاد کند. البته این مدل ها به کنترل های دقیق و اقدامات ایمنی ویژه ای نیاز خواهند داشت.
بیشتر بخوانید: