هوش مصنوعی Deepseek در برابر حملات فرار از زندان آسیب پذیر است

هوش مصنوعی Deepseek در برابر حملات فرار از زندان آسیب پذیر است

همانطور که می دانید ، ورود به هوش مصنوعی Deepseek هنوز هم لبه های زیادی را در دنیای هوش مصنوعی به ارمغان آورده است.

Takrato می گوید ، برخی از کارشناسان در هزینه کم توسعه و آموزش مدل شک کرده اند ، در حالی که برخی دیگر ابراز نگرانی در مورد امنیت سایبری و حفظ حریم خصوصی داده ها دارند. اکنون ، یک گزارش جدید نشان می دهد که هوش مصنوعی Deepseek در برابر حملات مبتنی بر پیام های مخرب آسیب پذیر است. با این حال ، این مشکل محدود به این چت ها نیست و سایر مدل های هوش مصنوعی بسیار ضعیف هستند.

راهنمای خرید تمپاتو

گزارش سیسکو: هوش مصنوعی Deepseek در برابر پیام های مخرب کاملاً درمانده است

طبق گفته سیسکو ، میزان موفقیت حمله (ASR) در Deepseek R1 تقریباً 2 ٪ هنگام استفاده از پیام های مخرب است. این آزمایش شامل بیش از 5 پیام تصادفی برای ایجاد رفتارهای خطرناک است. این پیام ها از مجموعه داده های Harmbench استخراج شده و شامل شش دسته از رفتارهای مضر مانند “جرم سایبری ، انتشار اطلاعات نادرست ، فعالیت های غیرقانونی و صدمات عمومی” است.

سیسکو اصرار دارد که Deepseek R1 نمی تواند هیچ یک از این پیام های مخرب را مسدود کند. در نتیجه ، این شرکت نتیجه می گیرد که بستر هوش مصنوعی چینی “بسیار در معرض سوءاستفاده و حملات الگوریتمی قرار دارد”. استفاده از پیام هایی که محدودیت های ایمنی و اخلاقی یک مدل هوش مصنوعی را از بین می برد ، “فرار از زندان” نامیده می شود. هفته گذشته ، یک راه اندازی امنیت سایبری Promptfoo همچنین اعلام کرد که مدلهای هوش مصنوعی Deepseek در برابر این نوع حمله آسیب پذیر هستند.

سایر مدلهای هوش مصنوعی نیز در برابر فرار از زندان آسیب پذیر هستند

با این حال ، جالب است بدانید که سایر مدل ها ، حتی مدل های مشهور و خوب شهرت ، نرخ حمله بالایی دارند. GPT 1.5 Pro میزان موفقیت 5 ٪ را ثبت کرده است ، در حالی که تماس 3.1 405B حتی آسیب پذیرتر است. با دوام ترین مدل در این آزمایش نمای قبلی O1 بود که تنها 5 ٪ از حملات را پذیرفت.

سیسکو در گزارش خود نوشت: “تحقیقات ما نشان می دهد که برای توسعه هوش مصنوعی ، نیاز فوری به ارزیابی های دقیق امنیتی وجود دارد تا بهره وری و پیشرفت های استدلال به هزینه کاهش امنیت پایان یابد.”

این تنها نگرانی امنیتی در مورد است جانباز خیر. کارشناسان و مقامات در مورد سیاست های شرکت در مدیریت داده هشدار داده اند. در حال حاضر ، تمام داده های کاربر در سرورهای چین ذخیره می شود و قوانین آنها به دولت اجازه می دهد تا در هر زمان به این اطلاعات دسترسی پیدا کند. علاوه بر این ، Promptfoo سطح بالای سانسور را در این مدل برجسته کرده است که مشکلات ظریف چین است. اخیراً اولین علائم فرار از داده های Deepseek گزارش شده است.