داستان اخیر سامر یوئه از متا، پرده از مشکلات دستیار هوش مصنوعی در مدیریت وظایف حساس برمی دارد و نشان می دهد که حتی با تجربه ترین متخصصان نیز ممکن است با رفتارهای غیرقابل پیش بینی مدل های زبانی در دنیای واقعی مواجه شوند.
پست جدید و وایرال شده ی سامر یوئه (محقق امنیت هوش مصنوعی در متا) توی پلتفرم X، اولش شبیه یه شوخی یا طنز به نظر میاد، اما در واقع به یکی از مشکلات دستیار هوش مصنوعی اشاره دارد. او به دستیار هوش مصنوعی خودش یعنی OpenClaw گفته بود که ایمیل های انباشته شده ش رو بررسی کنه و پیشنهاد بده که کدوم ها رو پاک یا آرشیو کنه.
ولی این دستیار زد به سیم آخر! شروع کرد به پاک کردن همه ایمیل ها با سرعت برق و باد و کلا دستورهایی که سامر با گوشیش می فرستاد تا متوقفش کنه رو نادیده گرفت. این خود نمونه ای از مشکلات دستیار هوش مصنوعی بود.
اون نوشت: «مجبور شدم مثل کسی که داره بمب خنثی می کنه، به سمت مک مینی بدوم.» سامر حتی عکس هایی از پیام های توقفی که هوش مصنوعی نادیده گرفته بود رو هم به عنوان مدرک منتشر کرد.
مک مینی، اون کامپیوتر خوش قیمت اپل که روی میز قرار می گیره و به راحتی توی کف دست جا می شه، این روزها به دستگاه محبوب برای اجرای OpenClaw تبدیل شده. (ظاهرا وقتی آندری کارپاتی، محقق مشهور هوش مصنوعی، یکی از این ها رو خرید تا جایگزینی برای OpenClaw به اسم NanoClaw رو روش اجرا کنه، یه کارمند «گیج» اپل بهش گفته بود که این مدل داره مثل برق و باد فروش میره.)
البته OpenClaw همون دستیار هوش مصنوعی متن بازیه که از طریق Moltbook (شبکه اجتماعی مخصوص هوش مصنوعی) معروف شد. دستیارهای OpenClaw در مرکز اون ماجرای جنجالی Moltbook بودن که به نظر می رسید هوش های مصنوعی دارن علیه آدما توطئه می کنن؛ هرچند بعدا معلوم شد اون قضیه واقعیت نداشته.
اما طبق صفحه گیت هاب OpenClaw، هدف اصلیش شبکه های اجتماعی نیست. این پروژه قصد داره یه دستیار هوش مصنوعی شخصی باشه که روی دستگاه های خودتون اجرا می شه.
اهالی سیلیکون ولی اون قدر عاشق OpenClaw شدن که کلمه «Claw» (پنجه) به اصطلاح رایج برای دستیارهایی تبدیل شده که روی سخت افزار شخصی اجرا می شن. بقیه این دستیارها اسم هایی مثل ZeroClaw، IronClaw و PicoClaw دارن. حتی تیم پادکست Y Combinator توی آخرین قسمتشون با لباس خرچنگ ظاهر شدن!
ابعاد مشکلات دستیار هوش مصنوعی در دنیای واقعی
اما پست سامر یوئه یه جور هشداره. همون طور که بقیه توی X گفتن، اگه یه محقق امنیت هوش مصنوعی به چنین مشکلی بخوره، دیگه چه امیدی به کاربرای معمولی هست؟ این رخداد بر اهمیت شناسایی و رفع مشکلات دستیار هوش مصنوعی تاکید می کند.
یه برنامه نویس توی X ازش پرسید: «داشتی عمدا محدودیت های امنیتش رو تست می کردی یا یه اشتباه ناشیانه کردی؟»
سامر جواب داد: «راستش رو بخوای، یه اشتباه ناشیانه بود.» اون داشت دستیارش رو با یه اینباکس کوچیک و «دم دستی» (به قول خودش Toy Inbox) تست می کرد و اونجا روی ایمیل های کم اهمیت خوب جواب داده بود. برای همین بهش اعتماد کرد و گذاشت سراغ ایمیل های واقعیش بره. این اتفاق نشان داد که حتی در شرایط کنترل شده، مشکلات دستیار هوش مصنوعی می توانند بروز کنند.
سامر معتقده که حجم زیاد داده ها توی اینباکس اصلیش باعث شده فرآیند «فشرده سازی» (Compaction) فعال بشه. فشرده سازی زمانی اتفاق می افته که پنجره کانتکست (یعنی سابقه تمام حرف ها و کارهایی که هوش مصنوعی توی اون جلسه داشته) خیلی بزرگ می شه؛ این باعث می شه دستیار شروع کنه به خلاصه سازی، فشرده کردن و مدیریت گفتگو.
توی این مرحله، ممکنه هوش مصنوعی از روی دستورهایی که برای آدم ها خیلی مهمه، بپره و نادیده شون بگیره. این یکی از بارزترین مشکلات دستیار هوش مصنوعی در مدیریت دستورات پیچیده است.
توی این مورد خاص، احتمالا دستور آخر سامر (که گفته بود کاری انجام نده) رو نادیده گرفته و برگشته به همون دستورات قبلی که برای اینباکس آزمایشی داشت.
همون طور که بقیه هم توی X اشاره کردن، نمی شه به «پرومپت ها» به عنوان محافظ های امنیتی اعتماد کرد. مدل ها ممکنه اون ها رو اشتباه بفهمن یا کلا نادیده بگیرن. این نشان دهنده ابعاد گسترده تر مشکلات دستیار هوش مصنوعی در تفسیر دقیق پرامپت هاست.
افراد مختلف پیشنهادهای متفاوتی دادن؛ از نحوه نگارش دقیق دستوری که سامر باید برای متوقف کردن دستیار استفاده می کرد، تا روش های مختلف برای اطمینان از رعایت محدودیت ها، مثل نوشتن دستورات توی فایل های اختصاصی یا استفاده از ابزارهای متن باز دیگه.
برای شفافیت کامل باید بگیم که تک کرانچ نتونسته به طور مستقل اتفاقی که برای اینباکس سامر افتاده رو تایید کنه. (اون به درخواست ما برای توضیح پاسخ نداد، هرچند به خیلی از سوالات و نظرات بقیه توی X جواب داده بود.)
اما اصل ماجرا به تحلیل واقعیت های هوش مصنوعی و بررسی چالش های پیش رو برمی گردد که نشان می دهد این فناوری هنوز تا رسیدن به بلوغ کامل فاصله دارد.
جمع بندی؛ مدیریت مشکلات دستیار هوش مصنوعی
نکته این داستان اینه که دستیارهایی که برای کارهای تخصصی ساخته شدن، در مرحله فعلی توسعه شون، ریسک دارن. کسایی که می گن دارن با موفقیت ازشون استفاده می کنن، در واقع دارن با کلی روش های من درآوردی از خودشون محافظت می کنن. بنابراین، درک و مدیریت مشکلات دستیار هوش مصنوعی در این مرحله حیاتی است.
شاید یه روزی، مثلا به زودی (تا سال 1405 یا 1406؟)، این ها برای استفاده همگانی آماده بشن. خدا می دونه چقدر همه مون دوست داریم یکی توی جواب دادن به ایمیل ها، سفارش خرید خونه و نوبت گرفتن از دندون پزشکی بهمون کمک کنه. اما اون روز هنوز نرسیده.
در نهایت، تجربه سامر یوئه یادآوری مهمی است که بدانیم دستیارهای هوشمند، علی رغم توانایی های خیره کننده، هنوز ابزارهایی در حال توسعه هستند. اعتماد بی پایه به این سیستم ها در کارهای حیاتی می تواند عواقب غیرمنتظره ای داشته باشد و تا زمانی که مکانیزم های کنترلی دقیق تری طراحی نشود، نظارت انسانی بر فعالیت های آن ها غیرقابل جایگزین باقی خواهد ماند.
A Meta AI security researcher said an OpenClaw agent ran amok on her inbox
