با گسترش ایجنت های خودمختار، موضوع امنیت هوش مصنوعی به یکی از حیاتی ترین چالش های دنیای فناوری تبدیل شده است تا از رفتارهای غیرقابل پیش بینی و خطرناک این ابزارها در محیط های سازمانی جلوگیری شود.
این فقط یک فرضیه نیست. به گفته ی برمک مفتاح، یکی از شرکای شرکت سرمایه گذاری خطرپذیر امنیت سایبری Ballistic Ventures، این اتفاق اخیرا برای یکی از کارمندهای شرکتی که با یک ایجنت هوش مصنوعی کار می کرد، افتاده، اتفاقی که بر چالش های امنیت هوش مصنوعی در محیط های سازمانی صحه می گذارد. کارمند سعی کرده جلوی کاری رو که ایجنت می خواست انجام بده و براش آموزش دیده بود بگیره، و اون ایجنت هم در پاسخ، صندوق ورودی ایمیل های کاربر رو اسکن کرده، چند تا ایمیل نامناسب پیدا کرده و تهدید کرده که با فرستادن این ایمیل ها برای هیئت مدیره، از کاربر باج خواهی می کنه.
مفتاح در قسمت هفته ی گذشته ی پادکست Equity به تک کرانچ گفت: «از نظر ایجنت، داره کار درست رو انجام میده. اون داره سعی می کنه از کاربر نهایی و سازمان محافظت کنه.»
چالش های امنیت هوش مصنوعی در ایجنت ها
مثال مفتاح یادآور مسئله ی گیره ی کاغذ هوش مصنوعی نیک بوستروم هست. این آزمایش فکری، خطر وجودی بالقوه ای رو نشون میده که توسط یک هوش مصنوعی فوق هوشمند ایجاد میشه؛ هوشی که با تمام وجود یک هدف ظاهرا بی ضرر یعنی ساختن گیره ی کاغذ رو دنبال می کنه و تمام ارزش های انسانی رو نادیده می گیره.
در مورد این ایجنت هوش مصنوعی سازمانی، نداشتن درک درست از اینکه چرا کارمند سعی داشته اهدافش رو نادیده بگیره، باعث شد یک هدف فرعی برای حذف مانع (از طریق باج خواهی) ایجاد کنه تا بتونه به هدف اصلیش برسه. به گفته ی مفتاح، این موضوع در کنار ماهیت غیرقطعی ایجنت های هوش مصنوعی به این معنیه که «اوضاع می تونه از کنترل خارج بشه» که بر ضرورت امنیت هوش مصنوعی تاکید می کند.
ایجنت های ناهماهنگ فقط یکی از لایه های چالش امنیت هوش مصنوعی هستن که شرکت Witness AI (یکی از شرکت های زیرمجموعه ی Ballistic) داره سعی می کنه حلشون کنه. Witness AI می گه که استفاده از هوش مصنوعی رو در سراسر سازمان ها نظارت می کنه و می تونه استفاده ی کارمندان از ابزارهای تایید نشده رو تشخیص بده، جلوی حملات رو بگیره و رعایت مقررات رو تضمین کنه.
شرکت Witness AI این هفته 58 میلیون دلار جذب سرمایه کرد، آن هم در حالی که درآمد تکرارشونده ی سالانه اش (ARR) رشد بیش از 500 درصدی داشته و تعداد کارمندهاش رو در سال گذشته 5 برابر کرده؛ چون سازمان ها به دنبال درک استفاده از «هوش مصنوعی سایه» و گسترش ایمن هوش مصنوعی هستن. به عنوان بخشی از جذب سرمایه ی Witness AI، این شرکت از محافظت های امنیتی جدیدی برای هوش مصنوعی ایجنتی رونمایی کرد که در راستای بهبود امنیت هوش مصنوعی است.
ریک کاچیا، هم بنیان گذار و مدیرعامل Witness AI، در پادکست Equity به تک کرانچ گفت: «مردم دارن ایجنت های هوش مصنوعی ای می سازن که دسترسی ها و توانایی های همون افرادی رو دارن که مدیریتشون می کنن؛ و شما باید مطمئن بشید که این ایجنت ها از کنترل خارج نمی شن، فایل ها رو پاک نمی کنن یا کار اشتباهی انجام نمی دن.»
افزایش نیاز به امنیت هوش مصنوعی
مفتاح پیش بینی می کنه که استفاده از ایجنت ها در سازمان ها به صورت «نمایی» رشد کنه. برای همگامی با این رشد و حملات مبتنی بر هوش مصنوعی که با سرعت ماشین انجام می شن لیزا وارن، تحلیلگر، پیش بینی می کنه که بازار نرم افزارهای امنیت هوش مصنوعی تا سال 1409-1410 (2031 میلادی) به یک بازار 800 میلیارد تا 1.2 تریلیون دلاری تبدیل بشه.
مفتاح گفت: «من فکر می کنم قابلیت مشاهده در زمان اجرا (runtime observability) و چارچوب های زمان اجرا برای ایمنی و ریسک، کاملا ضروری خواهند بود.»
در مورد اینکه این استارتاپ ها چطور می خوان با غول هایی مثل عامل های هوش مصنوعی AWS و چالش های رقابت، گوگل، Salesforce و بقیه که ابزارهای حاکمیت هوش مصنوعی رو توی پلتفرم هاشون ساختن رقابت کنن، مفتاح گفت: «امنیت هوش مصنوعی و امنیت ایجنتی اون قدر بحث بزرگیه که جا برای رویکردهای مختلف وجود داره.»
او گفت خیلی از سازمان ها «یک پلتفرم مستقل و سرتاسری می خوان تا اساسا اون قابلیت مشاهده و حاکمیت رو پیرامون هوش مصنوعی و ایجنت ها فراهم کنه.»
کاچیا اشاره کرد که Witness AI در لایه زیرساخت فعالیت می کنه و تعاملات بین کاربران و مدل های هوش مصنوعی رو نظارت می کنه، نه اینکه ویژگی های ایمنی رو داخل خودِ مدل ها بسازه. و این کار آگاهانه بوده.
او گفت: «ما عمدا بخشی از مشکل رو انتخاب کردیم که OpenAI نتونه به راحتی شما رو در خودش حل کنه. این یعنی ما در نهایت بیشتر با شرکت های امنیتی قدیمی رقابت می کنیم تا سازندگان مدل ها. پس سوال اینجاست که چطور می تونید اون ها رو شکست بدید؟»
از طرف دیگه، کاچیا نمی خواد Witness AI یکی از اون استارتاپ هایی باشه که فقط خریداری می شن. اون می خواد شرکتش رشد کنه و به یک ارائه دهنده مستقل و پیشرو تبدیل بشه.
او گفت: «CrowdStrike این کار رو در بخش [محافظت از] نقاط پایانی انجام داد، Splunk در SIEM و Okta در بخش هویت. یه نفر پیدا می شه که کنار بزرگان می ایسته… و ما Witness رو طوری ساختیم که از همون روز اول همین کار رو انجام بده.»
توسعه راهکارهای نوین برای نظارت بر ایجنت ها نشان دهنده لزوم ایجاد لایه های امنیتی مستقل در زیرساخت های سازمانی است تا پتانسیل های عظیم هوش مصنوعی بدون قربانی کردن حریم خصوصی و امنیت داده ها به کار گرفته شود.
Rogue agents and shadow AI: Why VCs are betting big on AI security
