تیمی از محققان دانشگاه کالیفرنیا ، برکلی ، اعلام کردند که آنها فناوری Deepseek را تنها با 30 دلار بازسازی کرده اند.
گزارش شده است باسناین تیم ، به سرپرستی جی پان ، دانشجوی دکترا ، توانست با استفاده از یک مدل زبان کوچک با تنها 3 میلیارد پارامتر ، قابلیت های یادگیری تقویت کننده R1-Zero را دوباره ایجاد کند.
با وجود اندازه نسبتاً محدود این مدل ، هوش مصنوعی بازسازی توانسته است ویژگی هایی مانند عزت نفس و جستجو را نشان دهد ، ظرفیت هایی که به شما امکان می دهد دائماً پاسخ های خود را اصلاح کنید.
با حل معماهای عددی مدل را بیاموزید
برای آزمایش این مدل ، تیم برکلی از بازی Countdown استفاده کرد ، یک معمای عددی مبتنی بر یک برنامه تلویزیونی انگلیس که در آن بازیکنان مجبور بودند با استفاده از عملیات ریاضی به یک هدف برسند.
در ابتدا ، این مدل فقط میهمانان تصادفی را ارائه می داد ، اما هنگام استفاده از یادگیری تقویت کننده ، قادر به تکنیک هایی برای اصلاح خود و حل مسئله در یک مرحله به مرحله بود.
سرانجام ، این هوش مصنوعی آموخته است که پاسخ های خود را برای دستیابی به نتیجه صحیح بررسی کند. محققان همچنین تست های ضرب را انجام دادند که در آن مدل می تواند معادلات را با استفاده از یک خاصیت توزیع تجزیه کند ، مشابه روشی که انسان برای حل مشکلات ضرب بزرگ استفاده می کند. این آزمایشات نشان داد که این مدل بسته به نوع مسئله می تواند استراتژی های خود را تنظیم کند.
بازسازی فناوری عمیق Sik با تنها 30 دلار
نکته تعجب آور این است که تمام بازسازی ها فقط 30 دلار هزینه دارند. پان این موضوع را در انتشار در Nitter جمع آوری کرده و آن را با هزینه های بالای شرکت های اصلی در زمینه هوش مصنوعی مقایسه می کند.
محققان مدل های مختلفی را آزمایش کردند و از یک مدل با 500 میلیون پارامتر شروع کردند که فقط می توانند حدس بزنند و پاسخ نادرست را تصحیح نکنند. هنگامی که اندازه مدل به 1.5 میلیارد پارامتر افزایش یافت ، امکان بررسی پاسخ ها ظاهر شد.
مدل هایی با 3 تا 7 میلیارد پارامتر پیشرفت های قابل توجهی را نشان دادند و مشکلات را با دقت بیشتر و در مراحل کمتر حل کردند.
از طریق مقایسه ، هزینه استفاده از API OpenAI در حال حاضر 15 دلار در هر میلیون توکن است ، در حالی که Depsic هزینه را به 0.55 دلار کاهش داده است. با این حال ، یافته های تیم برکلی نشان می دهد که مدل های هوش مصنوعی می توانند با کسری هزینه شرکت بسیار توانمند باشند.
نگرانی در مورد depsic
با این حال ، دلایل مختلفی وجود دارد که برخی از آنها استفاده از dipsic را توصیه نمی کنند. یکی از نگرانی ها این است که برخی از کارشناسان نسبت به بیان اینکه ارزان هستند شک دارند.
ناتان لامبرت ، محقق اطلاعات مصنوعی هشدار داد که هزینه اعلام شده 5 میلیون دلار برای آموزش پارامتر 671 میلیارد SNUM ممکن است منعکس کننده کل واقعیت نباشد. بشر علاوه بر این هوش مصنوعی داده های زیادی را به چین می فرستدمشکلی که باعث نگرانی شده و حتی استفاده از DNSIC را در برخی از مناطق ایالات متحده ممنوع کرده است.
لامبرت تخمین می زند که هزینه های عملیاتی سالانه DIPSC با توجه به زیرساخت ها ، مصرف انرژی و نیروی کار می تواند بین 500 میلیون دلار تا بیش از 1 میلیارد دلار باشد. Operai همچنین اظهار داشت که شواهدی وجود دارد که نشان می دهد عمیق با استفاده از چاله آموزش دیده این می تواند یکی از دلایل کاهش هزینه ها باشد.
با این حال ، تحقیقات برکلی نشان می دهد که یادگیری تقویت شده پیشرفته بدون نیاز به بودجه های بزرگی که شرکت هایی مانند OpenAI ، Google و Microsoft صرف می شوند ، قابل اجرا هستند. از آنجا که برخی از آزمایشگاه های اطلاعاتی مصنوعی سالانه تا 10 میلیارد دلار برای آموزش مدل های خود هزینه می کنند ، این مطالعه می تواند نشانه تغییر احتمالی در این زمینه باشد.