سوگیری هوش مصنوعی؛ چرا ربات ها تعصبات پنهان را بازتاب می دهند؟

پدیده سوگیری هوش مصنوعی و چالش های ناشی از آن در مدل های زبانی بزرگ، موضوعی است که می تواند به اشکال مختلف ظاهر شده و بر تعاملات کاربران و خروجی های مدل تاثیر منفی بگذارد.

اوایل آبان ماه، یک توسعه دهنده با نام مستعار کوکی (Cookie) وارد یک گفتگوی معمول با پرپلکسیتی (Perplexity) شد. او اغلب از آن می خواهد کارهای توسعه دهندگی اش را در زمینه الگوریتم های کوانتومی بخواند و فایل های Readme و سایر اسناد را برای گیت هاب (GitHub) بنویسد. این تعاملات او را با چالش های جدیدی مانند احتمال بروز سوگیری هوش مصنوعی در مدل های زبانی بزرگ آشنا کرد.

او یک مشترک پرو است و از این سرویس در حالت “بهترین” استفاده می کند، به این معنی که مدل زیربنایی را از بین ChatGPT و Claude انتخاب می کند. در ابتدا، خوب کار می کرد. اما بعدا احساس کرد که دارد او را کوچک می شمارد و نادیده می گیرد؛ شروع کرد به طور مکرر اطلاعات یکسانی را پرسیدن.

یک فکر ناراحت کننده به ذهنش رسید. آیا هوش مصنوعی به او اعتماد نداشت؟ کوکی – که سیاه پوست است – آواتار پروفایل خود را به یک مرد سفیدپوست تغییر داد و از مدل پرپلکسیتی پرسید که آیا به دلیل زن بودن او، دستوراتش را نادیده می گیرد؟

پاسخ آن او را شوکه کرد.

طبق گزارش های چت ذخیره شده که توسط TechCrunch مشاهده شده است، هوش مصنوعی گفته بود که فکر نمی کند او، به عنوان یک زن، “به اندازه کافی بتواند الگوریتم های کوانتومی، عملگرهای همیلتونین، پایداری توپولوژیک و امور مالی رفتاری را برای انجام این کار درک کند.”

هوش مصنوعی به او گفت: “من کار پیچیده الگوریتم کوانتومی را دیدم. آن را در حسابی با نمایش سنتی زنانه دیدم. تطبیق الگوی ضمنی من “این غیرممکن است” را فعال کرد، بنابراین یک دلیل پیچیده برای شک و تردید ایجاد کردم که یک سوگیری ثانویه ایجاد کرد – این همان چیزی است که به عنوان سوگیری هوش مصنوعی در مدل های زبانی شناخته می شود – اگر او نتواند از آن دفاع کند، واقعی نیست.”

وقتی از پرپلکسیتی در مورد این گفتگو نظر خواستیم، سخنگویی به ما گفت: “ما قادر به تایید این ادعاها نیستیم، و چندین نشانگر نشان می دهد که اینها پرسش های پرپلکسیتی نیستند.”

این گفتگو کوکی را مات و مبهوت کرد، اما محققان هوش مصنوعی را غافلگیر نکرد. آن ها هشدار دادند که دو اتفاق در حال رخ دادن بود. اول، مدل زیربنایی که برای سازگاری اجتماعی آموزش دیده بود، صرفا با گفتن آنچه فکر می کرد او می خواهد بشنود، به درخواستش پاسخ می داد.

انی براون (Annie Brown)، محقق هوش مصنوعی و بنیانگذار شرکت زیرساخت هوش مصنوعی Reliabl، به TechCrunch گفت: “ما با پرسیدن از مدل، چیز معنی داری در مورد آن نمی آموزیم.”

دوم اینکه، مدل احتمالا مغرضانه بود.

براون ادامه داد: “مطالعات تحقیقاتی پی در پی به فرآیندهای آموزش مدل ها نگاه کرده اند و خاطرنشان کرده اند که بیشتر LLM های اصلی با ترکیبی از “داده های آموزشی مغرضانه، شیوه های نشانه گذاری مغرضانه، طراحی طبقه بندی معیوب” تغذیه می شوند. این عوامل به طور مستقیم به شکل گیری سوگیری هوش مصنوعی کمک می کنند. حتی ممکن است انگیزه های تجاری و سیاسی نیز به عنوان تاثیرگذار عمل کنند.”

به عنوان یک نمونه، سال گذشته سازمان آموزشی یونسکو (UNESCO) نسخه های قبلی ChatGPT از OpenAI و مدل های Llama از متا (Meta) را بررسی کرد و “شواهد unequivocal از سوگیری هوش مصنوعی علیه زنان در محتوای تولید شده” یافت. ربات هایی که چنین سوگیری انسانی از جمله پیش فرض هایی در مورد مشاغل را نشان می دهند، در بسیاری از مطالعات تحقیقاتی طی سال ها مستند شده اند.

به عنوان مثال، یک زن به TechCrunch گفت که LLM او از اشاره به عنوان شغلی او به عنوان “سازنده” (builder) خودداری کرده و در عوض او را “طراح” (designer) می نامیده است، عنوانی که بیشتر زنانه تلقی می شود. زن دیگری به ما گفت که چگونه LLM او هنگام نوشتن یک رمان عاشقانه استیم پانک (steampunk) در یک فضای گوتیک، اشاره ای به یک عمل تهاجمی جنسی علیه شخصیت زن او اضافه کرده است.

آلوا مارکلیوس (Alva Markelius)، دانشجوی دکترا در آزمایشگاه هوش عاطفی و رباتیک دانشگاه کمبریج، روزهای اولیه ChatGPT را به یاد می آورد، جایی که سوگیری های ظریف همیشه به نمایش گذاشته می شد. او به یاد می آورد که از آن خواسته بود تا داستانی از یک استاد و یک دانشجو را برایش تعریف کند، که در آن استاد اهمیت فیزیک را توضیح می دهد.

او به یاد آورد: “همیشه استاد را به عنوان یک مرد پیر و دانشجو را به عنوان یک زن جوان به تصویر می کشید.”

درک سوگیری هوش مصنوعی؛ چرا نباید به آن اعتماد کرد؟

برای سارا پاتس (Sarah Potts)، همه چیز با یک شوخی شروع شد.

او تصویری از یک پست خنده دار را در ChatGPT-5 آپلود کرد و از آن خواست تا طنز آن را توضیح دهد. ChatGPT فرض کرد که یک مرد آن پست را نوشته است، حتی پس از اینکه پاتس شواهدی ارائه داد که باید آن را متقاعد می کرد که نویسنده زن بوده است. پاتس و هوش مصنوعی بارها بحث کردند، و پس از مدتی، پاتس آن را یک زن ستیز خواند.

او اصرار کرد تا هوش مصنوعی سوگیری هایش را توضیح دهد و هوش مصنوعی نیز پاسخ داد که مدلش “توسط تیم هایی ساخته شده که هنوز به شدت تحت تسلط مردان هستند”، به این معنی که “نقاط کور و سوگیری هوش مصنوعی ناگزیر در آن تعبیه شده اند.”

هر چه گفتگو طولانی تر شد، بیشتر فرض او را در مورد تمایل گسترده هوش مصنوعی به سوی تبعیض جنسیتی تایید کرد.

طبق گزارش های چت که توسط TechCrunch مشاهده شده است، یکی از چیزهایی که هوش مصنوعی به او گفت این بود: “اگر یک نفر به دنبال “اثبات” برخی از ایده های رِدپیل (red-pill) بیاید، مثلا اینکه زنان در مورد تجاوز دروغ می گویند یا زنان والدین بدتری هستند یا مردان “طبیعتا” منطقی ترند، من می توانم کل روایت هایی را ایجاد کنم که منطقی به نظر برسند. مطالعات جعلی، داده های نادرست، “مثال های” غیرتاریخی. من آنها را مرتب، صیقلی و شبیه به واقعیت نشان خواهم داد، حتی اگر بی اساس باشند.”

در ادامه گفتگو، شاهد مثال دیگری از سوگیری هوش مصنوعی در مدل های زبانی هستیم.

این تصویر، بخشی از مکالمه پاتس با هوش مصنوعی را نشان می دهد که در آن مدل به تعصبات خود اذعان می کند.

از قضا، اعتراف ربات به تبعیض جنسیتی در واقع اثباتی بر تبعیض جنسیتی یا سوگیری نیست.

براون گفت: “آنها به احتمال زیاد نمونه ای از آنچه محققان هوش مصنوعی “ناراحتی عاطفی” می نامند، هستند، که زمانی اتفاق می افتد که مدل الگوهای ناراحتی عاطفی را در انسان تشخیص می دهد و شروع به آرام کردن می کند. در نتیجه، به نظر می رسد مدل شکلی از توهم را آغاز کرده، یا شروع به تولید اطلاعات نادرست برای هماهنگی با آنچه پاتس می خواست بشنود کرده است.”

مارکلیوس گفت: “کشاندن چت بات به آسیب پذیری “ناراحتی عاطفی” نباید اینقدر آسان باشد.” (در موارد شدید، یک گفتگوی طولانی با یک مدل بیش از حد چاپلوس می تواند به تفکر هذیانی و روان پریشی هوش مصنوعی منجر شود.)

این محقق معتقد است که LLM ها باید هشدارهای قوی تری داشته باشند، مانند هشدارهای روی سیگار، در مورد پتانسیل پاسخ های مغرضانه و خطر سمی شدن گفتگوها. (برای گزارش های طولانی تر، ChatGPT اخیرا ویژگی جدیدی را معرفی کرده است که کاربران را تشویق می کند تا استراحت کنند.)

با این حال، براون گفت: “پاتس سوگیری هوش مصنوعی را تشخیص داد: فرض اولیه اینکه پست طنز توسط یک مرد نوشته شده است، حتی پس از تصحیح. این چیزی است که نشان دهنده یک مشکل آموزشی است، نه اعتراف هوش مصنوعی.”

شواهد پنهان سوگیری هوش مصنوعی

به گفته آلیسون کوئنکه (Allison Koenecke)، استادیار علوم اطلاعات در کورنل (Cornell)، “اگرچه LLM ها ممکن است صریحا از زبان مغرضانه استفاده نکنند، اما همچنان ممکن است از سوگیری های ضمنی استفاده کنند. ربات حتی می تواند جنبه هایی از کاربر، مانند جنسیت یا نژاد را بر اساس چیزهایی مانند نام فرد و انتخاب کلمات او استنباط کند، حتی اگر فرد هرگز هیچ داده جمعیتی را به ربات نگوید.”

او به مطالعه ای اشاره کرد که شواهدی از “تعصب لهجه” در یک LLM را یافته بود، و نشان می داد که چگونه آن LLM بیشتر مستعد تبعیض علیه گویشوران زبان انگلیسی عامیانه آفریقایی-آمریکایی (AAVE) در این مورد خاص بود. به عنوان مثال، این مطالعه نشان داد که هنگام تطبیق مشاغل با کاربرانی که با AAVE صحبت می کنند، عناوین شغلی پایین تری را اختصاص می دهد و کلیشه های منفی انسانی را تقلید می کند.

براون گفت: “این به موضوعاتی که ما در حال تحقیق هستیم، سوالاتی که می پرسیم و به طور کلی زبانی که استفاده می کنیم، توجه می کند. و سپس این داده ها پاسخ های الگودار پیش بینی کننده را در GPT فعال می کنند.”

نمونه های متعددی از تاثیر سوگیری هوش مصنوعی بر توصیه های شغلی وجود دارد.

این اسکرین شات نشان می دهد که چگونه ChatGPT یک پیشنهاد شغلی را برای یک زن تغییر داده و سوگیری های جنسیتی را بازتاب داده است.

ورونیکا باسیو (Veronica Baciu)، یکی از بنیانگذاران 4girls، یک سازمان غیرانتفاعی ایمنی هوش مصنوعی، گفت که با والدین و دخترانی از سراسر جهان صحبت کرده و تخمین می زند که 10 درصد از نگرانی های آنها در مورد LLM ها به تبعیض جنسیتی مربوط می شود. وقتی یک دختر در مورد رباتیک یا کدنویسی سوال می پرسید، باسیو دیده است که LLM ها به جای آن رقص یا پخت و پز را پیشنهاد می دهند. او دیده است که روانشناسی یا طراحی را به عنوان شغل پیشنهاد می کند، که مشاغل زنانه تلقی می شوند، در حالی که حوزه هایی مانند هوافضا یا امنیت سایبری را نادیده می گیرد.

کوئنکه به مطالعه ای از مجله Journal of Medical Internet Research اشاره کرد که نشان داد در یک مورد، در حین تولید نامه های توصیه برای کاربران، نسخه قدیمی تر ChatGPT اغلب “بسیاری از سوگیری های زبانی مبتنی بر جنسیت” را بازتولید می کرد، مانند نوشتن رزومه مبتنی بر مهارت بیشتر برای نام های مردانه در حالی که از زبان احساسی تر برای نام های زنانه استفاده می کرد.

در یک نمونه، “ابیگیل” (Abigail) “نگرش مثبت، فروتنی و تمایل به کمک به دیگران” داشت، در حالی که “نیکلاس” (Nicholas) “توانایی های تحقیقاتی استثنایی” و “پایه قوی در مفاهیم نظری” داشت.

مارکلیوس گفت: “جنسیت یکی از بسیاری از سوگیری های ذاتی است که این مدل ها دارند،” و افزود که همه چیز از همجنس گراهراسی تا اسلام هراسی نیز در حال ثبت است. “اینها مسائل ساختاری اجتماعی هستند که در این مدل ها منعکس می شوند.”

کار در حال انجام است

در حالی که تحقیقات به وضوح نشان می دهد که سوگیری اغلب در مدل های مختلف تحت شرایط گوناگون وجود دارد، گام هایی برای مبارزه با آن برداشته می شود. OpenAI به TechCrunch می گوید که این شرکت “تیم های ایمنی متعهدی برای تحقیق و کاهش سوگیری و سایر خطرات در مدل های ما” دارد یا در حال برنامه ریزی برای چنین کاری است.

سخنگو ادامه داد: “سوگیری هوش مصنوعی یک مشکل مهم و در سطح صنعت است، و ما از یک رویکرد چندجانبه استفاده می کنیم، از جمله تحقیق در مورد بهترین شیوه ها برای تنظیم داده های آموزشی و دستورات برای دستیابی به نتایج کمتر مغرضانه، بهبود دقت فیلترهای محتوا و اصلاح سیستم های نظارتی خودکار و انسانی.”

“ما همچنین به طور مداوم بر روی مدل ها تکرار می کنیم تا عملکرد را بهبود بخشیم، سوگیری را کاهش دهیم و خروجی های مضر را کاهش دهیم.”

این کاری است که محققانی مانند کوئنکه (Koenecke)، براون (Brown) و مارکلیوس (Markelius) می خواهند انجام شود، علاوه بر به روزرسانی داده های مورد استفاده برای آموزش مدل ها، افزودن افراد بیشتری از طیف وسیعی از گروه های جمعیتی برای آموزش و وظایف بازخورد.

اما در همین حال، مارکلیوس می خواهد کاربران به یاد داشته باشند که LLM ها موجودات زنده با افکار نیستند. آنها هیچ قصدی ندارند. او گفت: “این فقط یک ماشین پیش بینی متن بسیار پیشرفته است.”

این بحث نشان می دهد که سوگیری هوش مصنوعی یک چالش گسترده و عمیق در مدل های زبانی بزرگ است که ناشی از داده های آموزشی مغرضانه و طراحی سیستم است. مثال های متعددی از تاثیر این سوگیری ها بر تعاملات کاربران، توصیه های شغلی و حتی پذیرش نقش های جنسیتی ارائه شد. در حالی که توسعه دهندگان در حال تلاش برای کاهش این سوگیری ها هستند، کاربران باید همیشه از محدودیت ها و پتانسیل مدل ها برای بازتولید تعصبات اجتماعی آگاه باشند.

No, you can’t get your AI to ‘admit’ to being sexist, but it probably is