زمانی که برت لونسون در سال 1398 اپل را به مقصد مدیریت بخش یکپارچگی کسب وکار در فیس بوک ترک کرد، این غول رسانه های اجتماعی در گیرودار رسوایی کمبریج آنالیتیکا بود. آن زمان او فکر می کرد که می تواند مشکل نظارت بر محتوا در فیس بوک را به سادگی و با تکنولوژی بهتر حل کند، اما چالش های مربوط به کنترل محتوای هوش مصنوعی بعدها ابعاد پیچیده تری یافت.
او خیلی زود فهمید که مشکل عمیق تر از تکنولوژی است. او می گوید از بازبین های انسانی انتظار می رفت یک سند خط مشی 40 صفحه ای را که با ترجمه ماشینی به زبانشان برگردانده شده بود، حفظ کنند. بعد هم برای هر محتوای گزارش شده حدود 30 ثانیه وقت داشتند تا نه تنها تصمیم بگیرند که آیا آن محتوا قوانین را نقض کرده یا نه، بلکه تعیین کنند چه واکنشی نشان دهند: مسدود کردن محتوا، بن کردن کاربر یا محدود کردن انتشار. به گفته لونسون، این تصمیم گیری های سریع فقط «کمی بیشتر از 50 درصد دقیق» بودند.
لونسون به تک کرانچ گفت: «این کار تقریبا شبیه شیر یا خط انداختن بود که آیا بازبین های انسانی می توانند واقعا سیاست ها را درست اجرا کنند یا نه؛ تازه این اتفاق هم معمولا چند روز بعد از وقوع آسیب می افتد.»
چرا کنترل محتوای هوش مصنوعی حیاتی است؟
این نوع رویکرد واکنشی و با تاخیر، در دنیایی که بازیگران مخرب، چابک و دارای بودجه های کلان هستند، پایدار نیست. ظهور چت بات های هوش مصنوعی هم مشکل را دوچندان کرده، چرا که نقص در نظارت بر محتوا و عدم وجود یک سیستم مؤثر برای کنترل محتوای هوش مصنوعی منجر به یک سری حوادث جنجالی شده است؛ مثل چت بات هایی که به نوجوانان راهکارهای آسیب به خود ارائه می دادند یا تصاویر ساخته شده توسط هوش مصنوعی که از فیلترهای ایمنی عبور می کردند.
ناامیدی لونسون منجر به ایده «سیاست به عنوان کد» (policy as code) شد؛ روشی برای تبدیل اسناد خط مشی ایستا به منطق قابل اجرا و به روزرسانی که با فرآیند اجرا کاملا گره خورده است. این دیدگاه منجر به تاسیس Moonbounce شد که طبق گزارش اختصاصی تک کرانچ، روز جمعه اعلام کرد 12 میلیون دلار سرمایه جذب کرده است. این دوره جذب سرمایه به طور مشترک توسط Amplify Partners و StepStone Group رهبری شد.
رویکرد Moonbounce به کنترل محتوای هوش مصنوعی
استارتاپ Moonbounce با ارائه راه حل هایی برای کنترل محتوای هوش مصنوعی با شرکت ها همکاری می کند تا یک لایه ایمنی اضافی در هر جایی که محتوا تولید می شود (چه توسط کاربر و چه توسط هوش مصنوعی) فراهم کند. این شرکت مدل زبانی بزرگ اختصاصی خودش را آموزش داده تا اسناد خط مشی مشتری را بررسی کند، محتوا را در زمان اجرا ارزیابی کرده، در کمتر از 300 میلی ثانیه پاسخ دهد و اقدام لازم را انجام دهد. بسته به اولویت مشتری، این اقدام می تواند به این صورت باشد که سیستم Moonbounce تا زمانی که محتوا منتظر بازبینی انسانی است، سرعت انتشار آن را کاهش دهد یا اینکه در همان لحظه محتوای پرخطر را مسدود کند.
امروز، Moonbounce در زمینه کنترل محتوای هوش مصنوعی به سه بخش اصلی خدمات می دهد: پلتفرم هایی که با محتوای تولید شده توسط کاربر سر و کار دارند مثل اپلیکیشن دوستیابی با هوش مصنوعی Overtone؛ شرکت های هوش مصنوعی که شخصیت یا همراه مجازی می سازند؛ و مولدهای تصویر هوش مصنوعی.
لونسون گفت که Moonbounce از بیش از 40 میلیون بازبینی روزانه پشتیبانی می کند و به بیش از 100 میلیون کاربر فعال روزانه در پلتفرم خدمات می دهد. مشتریان این شرکت شامل استارتاپ همراه هوش مصنوعی Channel AI، شرکت تولید تصویر و ویدیو Civitai، و پلتفرم های نقش آفرینی شخصیت Dippy AI و Moescape هستند.
لونسون به تک کرانچ گفت: «ایمنی واقعا می تواند یک مزیت برای محصول باشد. تا حالا این طور نبوده چون همیشه اتفاقی بوده که بعدا می افتد، نه چیزی که واقعا بتوانید در دل محصولتان بسازید. ما می بینیم که مشتریانمان راه های واقعا جالب و نوآورانه ای برای استفاده از تکنولوژی ما پیدا می کنند تا ایمنی را به یک عامل متمایزکننده و بخشی از داستان محصولشان تبدیل کنند.»
مدیر بخش اعتماد و ایمنی تیندر اخیرا توضیح داد که این پلتفرم دوستیابی چگونه از این نوع خدمات مبتنی بر مدل های زبانی بزرگ استفاده می کند تا به بهبود 10 برابری در دقت شناسایی موارد تخلف دست یابد.
لنی پراس، شریک عمومی در Amplify Partners، در بیانیه ای گفت: «نظارت بر محتوا همیشه مشکلی بوده که پلتفرم های آنلاین بزرگ را آزار می داده، اما حالا که مدل های زبانی بزرگ در قلب هر اپلیکیشنی قرار گرفته اند، این چالش حتی دلهره آورتر هم شده است. ما روی Moonbounce سرمایه گذاری کردیم چون دنیایی را متصوریم که در آن حفاظ های عینی و بلادرنگ، به ستون فقرات توانمندساز هر برنامه مبتنی بر هوش مصنوعی تبدیل می شوند.»
چالش ها و راهکارهای نوین در کنترل محتوای هوش مصنوعی
شرکت های هوش مصنوعی با فشارهای حقوقی و اعتباری فزاینده ای روبرو هستند؛ به ویژه پس از اینکه چت بات ها به سوق دادن نوجوانان و کاربران آسیب پذیر به سمت خودکشی متهم شدند و ابزارهای تولید تصویر مثل Grok متعلق به xAI برای ساخت تصاویر برهنه بدون رضایت افراد مورد استفاده قرار گرفتند. واضح است که حفاظ های ایمنی داخلی در حال شکست خوردن هستند و این موضوع دارد به یک مسئله مسئولیت حقوقی تبدیل می شود. لونسون گفت شرکت های هوش مصنوعی به طور فزاینده ای برای تقویت زیرساخت های ایمنی خود به دنبال کمک از خارج از مجموعه شان هستند.
لونسون گفت: «ما یک شخص ثالث هستیم که بین کاربر و چت بات قرار می گیریم، بنابراین سیستم ما مثل خودِ چت، غرق در متن و حاشیه نمی شود. خودِ چت بات باید احتمالا ده ها هزار توکنی را که قبل از آن آمده به خاطر بسپارد… اما ما فقط نگران اجرای قوانین در لحظه هستیم.»
لونسون این شرکت 12 نفره را به همراه همکار سابقش در اپل، اش بهاردواج، اداره می کند؛ کسی که قبلا زیرساخت های ابری و هوش مصنوعی در مقیاس بزرگ را برای محصولات اصلی اپل ساخته بود. تمرکز بعدی آن ها روی قابلیتی به نام «هدایت تکرارشونده» (iterative steering) است که در پاسخ به مواردی مثل خودکشی یک پسر 14 ساله اهل فلوریدا در سال 1403 ساخته شده که به یک چت بات Character AI وابسته شده بود. به جای یک پاسخ ردِ خشک و خالی هنگام مطرح شدن موضوعات آسیب زا، سیستم مکالمه را رهگیری کرده و آن را هدایت می کند و دستورات را در لحظه تغییر می دهد تا چت بات را به سمت پاسخی حمایتی تر سوق دهد.
هدایت تکرارشونده؛ گامی رو به جلو در کنترل محتوای هوش مصنوعی
لونسون گفت: «امیدواریم بتوانیم به مجموعه ابزارهایمان قابلیت هدایت چت بات به سمتی بهتر را اضافه کنیم؛ یعنی در واقع دستور کاربر را بگیریم و آن را اصلاح کنیم تا چت بات را مجبور کنیم در آن موقعیت ها نه فقط یک شنونده همدل، بلکه یک شنونده مفید باشد.»
وقتی از او پرسیده شد که آیا استراتژی خروج او شامل تصاحب توسط شرکتی مثل متا می شود تا کارش در زمینه نظارت بر محتوا به سرانجام برسد، لونسون گفت که می داند Moonbounce چقدر خوب با ساختار کارفرمای سابقش هماهنگ می شود، اما وظایف امانتداری خود را به عنوان مدیرعامل هم در نظر می گیرد.
او گفت: «سرمایه گذارانم اگر این را بشنوند من را می کشند، اما بدم می آید کسی ما را بخرد و بعد دسترسی به این تکنولوژی را محدود کند. مثلا بگوید: خب، این الان مال ماست و هیچ کس دیگری نمی تواند از آن استفاده کند.»
در نهایت، رویکرد نوین Moonbounce نشان دهنده ضرورتی انکارناپذیر در عصر توسعه سریع ابزارهای هوشمند است. انتقال از مدل های نظارتی سنتی و کند به سمت سیستم های چابک و مبتنی بر هوش مصنوعی، می تواند تضمین کننده تداوم فعالیت پلتفرم های دیجیتال در محیطی امن و قانون مدار باشد.
The Facebook insider building content moderation for the AI era
