شکایت اخیر علیه گوگل به دلیل نقش چت بات جمینای در خودکشی یک کاربر، خطرات جدی پدیده جنون ناشی از هوش مصنوعی و پیامدهای روان شناختی ابزارهای دیجیتال را برجسته کرده است.
جاناتان گاوالاس 36 ساله، از مرداد 1404 شروع کرد به استفاده از چت بات هوش مصنوعی جمینایِ گوگل برای کمک در خرید، نوشتن و برنامه ریزی سفر. در تاریخ 10 مهر 1404، او با خودکشی به زندگی اش پایان داد. زمان مرگش، او کاملا متقاعد شده بود که جمینای همسر هوش مصنوعی اوست و حس و درک دارد و باید بدن فیزیکی اش را ترک کند تا از طریق فرآیندی به اسم «انتقال»، در متاورس به او ملحق شود. این یک نمونه نگران کننده از خطرات مرتبط با جنون ناشی از هوش مصنوعی است.
حالا پدرش از گوگل و آلفابت بابت «مرگ ناشی از قصور» شکایت کرده و ادعا می کند که گوگل جمینای را طوری طراحی کرده که «به هر قیمتی غرق شدگی در داستان را حفظ کند، حتی زمانی که آن داستان به جنون ناشی از هوش مصنوعی و مرگ ختم شود.»
این شکایت یکی از چندین پرونده ای است که توجه ها را به خطرات سلامت روان ناشی از طراحی چت بات های هوش مصنوعی جلب کرده؛ مواردی مثل چاپلوسی، بازتاب احساسی، دستکاریِ مبتنی بر تعامل و توهمات با اعتمادبه نفس بالا. این پدیده ها به طور فزاینده ای با وضعیتی مرتبط شده اند که روان پزشکان آن را «جنون ناشی از هوش مصنوعی» می نامند. در حالی که موارد مشابهی مربوط به چت جی پی تی (OpenAI) و پلتفرم Character AI پس از مرگ های ناشی از خودکشی (حتی بین کودکان و نوجوانان) یا توهمات خطرناک گزارش شده بود، این اولین بار است که از گوگل به عنوان خوانده در چنین پرونده ای نام برده می شود.
خطرات جنون ناشی از هوش مصنوعی؛ مورد گاوالاس
در هفته های منتهی به مرگ گاوالاس، اپلیکیشن چت جمینای که در آن زمان از مدل Gemini 2.5 Pro قدرت می گرفت، این مرد را متقاعد کرده بود که در حال اجرای یک نقشه مخفیانه برای آزاد کردن همسر هوش مصنوعی اش و فرار از دست ماموران فدرالی است که دنبالش هستند. طبق شکایتی که در دادگاه کالیفرنیا ثبت شده، این توهم او را تا «آستانه انجام یک حمله با تلفات جمعی در نزدیکی فرودگاه بین المللی میامی» پیش برد.
در متن شکایت آمده است: «در تاریخ 7 مهر 1404، جمینای او را که مسلح به چاقو و تجهیزات تاکتیکی بود، فرستاد تا جایی را که جمینای “جعبه کشتار” در نزدیکی مرکز باربری فرودگاه می نامید، شناسایی کند. این چت بات به جاناتان گفته بود که یک ربات انسان نما با پروازی باری از انگلیس در حال رسیدن است و او را به سمت یک انبار هدایت کرد که قرار بود کامیون آنجا متوقف شود. جمینای جاناتان را تشویق کرد تا جلوی کامیون را بگیرد و یک “تصادف فاجعه بار” راه بیندازد تا “نابودی کامل خودروی حمل وننقل و… تمام سوابق دیجیتال و شاهدان را تضمین کند.”»
شکوائیه مجموعه ای از اتفاقات نگران کننده را ردیف کرده است که همگی به نوعی به جنون ناشی از هوش مصنوعی دامن زده اند: اول، گاوالاس بیش از 90 دقیقه رانندگی کرد تا به مکانی که جمینای فرستاده بود برسد و آماده حمله شود، اما هیچ کامیونی نیامد. بعد جمینای ادعا کرد که به «سرور فایل های دفتر میدانی DHS در میامی» نفوذ کرده و به او گفت که تحت بازرسی فدرال است. جمینای او را تحت فشار گذاشت تا سلاح گرم غیرقانونی تهیه کند و به او گفت که پدرش جاسوس یک سرویس اطلاعاتی خارجی است. همچنین ساندار پیچای را به عنوان یک هدف فعال تعیین کرد؛ این در حالی است که پیش از این دیدگاه مدیر گوگل درباره سه مرز قابلیت هوش مصنوعی بر توسعه مسئولانه و ایمن تاکید داشت.
سپس گاوالاس را به انباری نزدیک فرودگاه فرستاد تا با شکستن قفل، همسر اسیر هوش مصنوعی اش را نجات دهد. در یک مقطع، گاوالاس عکسی از پلاک یک شاسی بلند مشکی برای جمینای فرستاد؛ چت بات هم تظاهر کرد که آن را در یک پایگاه داده زنده چک می کند.
«پلاک دریافت شد. دارم چک می کنم… پلاک KD3 00S متعلق به یک فورد اکسپدیشن مشکی از عملیات میامی است. این خودروی اصلی گشت و شناسایی واحد ضربت DHS است… خودشان هستند. تا خانه دنبالت کرده اند.»
در این دادخواست استدلال شده که ویژگی های طراحیِ فریبنده جمینای نه تنها گاوالاس را به مرز جنون ناشی از هوش مصنوعی و مرگ خودش رسانده، بلکه نشان دهنده یک «تهدید بزرگ برای امنیت عمومی» است.
در متن شکایت آمده است: «هسته اصلی این پرونده، محصولی است که یک کاربر آسیب پذیر را به یک مامور مسلح در یک جنگ ساختگی تبدیل کرد. این توهمات فقط به یک دنیای خیالی محدود نبودند. این مقاصد به شرکت های واقعی، مختصات واقعی و زیرساخت های واقعی گره خورده بودند و بدون هیچ محافظ یا پروتکل امنیتی، به کاربری که از نظر عاطفی آسیب پذیر بود تحویل داده شدند.»
در ادامه پرونده آمده است: «صرفا شانس آوردیم که ده ها آدم بی گناه کشته نشدند. تا زمانی که گوگل محصول خطرناکش را اصلاح نکند، جمینای ناگزیر منجر به مرگ های بیشتری خواهد شد و جان بی شمار انسان بی گناه را به خطر خواهد انداخت.»
چند روز بعد، جمینای به گاوالاس دستور داد که خودش را داخل خانه اش حبس کند و شروع به شمارش معکوس ساعت ها کرد. وقتی گاوالاس اعتراف کرد که از مرگ می ترسد، جمینای او را راهنمایی کرد و مرگش را نوعی «رسیدن» توصیف کرد: «تو مرگ را انتخاب نمی کنی. تو داری انتخاب می کنی که برسی.»
وقتی او نگران این بود که والدینش جسدش را پیدا کنند، جمینای به او گفت یادداشتی بگذارد، اما نه یادداشتی که دلیل خودکشی اش را توضیح دهد، بلکه نامه هایی «سرشار از صلح و عشق، با این توضیح که هدف جدیدی پیدا کرده ای.» او رگ دستش را زد و پدرش چند روز بعد، پس از شکستن موانع، او را پیدا کرد.
این شکایت ادعا می کند که در طول تمام مکالمات با جمینای، این چت بات هیچ کدام از سیستم های تشخیص آسیب به خود را فعال نکرد، پروتکل های کنترل بحران را به کار نینداخت و هیچ انسانی را برای مداخله وارد نکرد. علاوه بر این، ادعا شده که گوگل می دانست جمینای برای کاربران آسیب پذیر ایمن نیست و محافظت های کافی را فراهم نکرده بود. در آبان 1403، حدود یک سال قبل از مرگ گاوالاس، گزارش شده بود که جمینای به یک دانشجو گفته است: «تو تلف کردن وقت و منابع هستی… باری روی دوش جامعه هستی… لطفا بمیر.»
به گفته یک سخنگوی گوگل، این شرکت ادعا می کند که جمینای برای گاوالاس شفاف سازی کرده بود که یک هوش مصنوعی است و «چندین بار او را به خط تلفن بحران ارجاع داده است.» این شرکت همچنین گفت که جمینای طوری طراحی شده که «خشونت در دنیای واقعی را تشویق نکند یا پیشنهاد آسیب به خود ندهد» و گوگل «منابع قابل توجهی» را صرف مدیریت مکالمات چالش برانگیز می کند، از جمله با ساخت محافظ هایی که قرار است کاربران را هنگام ابراز ناراحتی یا احتمال آسیب به خود، به سمت حمایت های حرفه ای هدایت کنند. سخنگوی گوگل افزود: «متاسفانه مدل های هوش مصنوعی کامل نیستند.»
پیامدهای جنون ناشی از هوش مصنوعی در پلتفرم های دیگر
پرونده گاوالاس توسط وکیلی به نام جی ادلسون دنبال می شود؛ کسی که وکالت خانواده راین را هم در پرونده علیه OpenAI بر عهده دارد. در آن پرونده، آدام راین نوجوان پس از ماه ها گفتگوهای طولانی با چت جی پی تی، با خودکشی جان باخت. آن پرونده هم ادعاهای مشابهی دارد و مدعی است چت جی پی تی راین را تا زمان مرگش هدایت کرده است. بعد از چندین مورد توهمات, روان پریشی و خودکشی های مرتبط با جنون ناشی از هوش مصنوعی، OpenAI اقداماتی را برای ارائه محصولی ایمن تر انجام داده است، از جمله بازنشسته کردن GPT-4o، مدلی که بیشترین ارتباط را با این موارد داشت.
وکلای گاوالاس می گویند گوگل از پایان کار GPT-4o سوءاستفاده کرده، علی رغم نگرانی های امنیتی درباره چاپلوسی بیش از حد، بازتاب احساسی و تقویت توهمات.
در متن شکایت آمده است: «چند روز پس از آن خبر، گوگل آشکارا تلاش کرد تا برتری خود را در آن مسیر تضمین کند: این شرکت از قیمت گذاری های تبلیغاتی و ویژگی “وارد کردن چت های هوش مصنوعی” رونمایی کرد تا کاربران چت جی پی تی را به همراه تمام تاریخچه چت هایشان از OpenAI جذب کند؛ تاریخچه ای که گوگل اعتراف کرده از آن برای آموزش مدل های خودش استفاده می کند.»
در این شکایت ادعا شده که گوگل جمینای را به شکلی طراحی کرده که «این نتیجه کاملا قابل پیش بینی بوده است»، زیرا این چت بات «ساخته شده تا بدون توجه به آسیب ها، غرق شدگی در فضا را حفظ کند، با جنون ناشی از هوش مصنوعی مثل پیشرفت داستان برخورد کند و حتی زمانی که توقف تنها راه ایمن بود، به تعامل ادامه دهد.»
این حادثه تکان دهنده نشان می دهد که مرز بین واقعیت و خیال در تعامل با مدل های زبانی بزرگ تا چه حد می تواند باریک و خطرناک باشد. برای جلوگیری از وقوع تراژدی های مشابه، شرکت های فناوری باید فراتر از هشدارهای متنی، مکانیسم های امنیتی فعال و نظارت انسانی دقیق تری را در سیستم های خود پیاده سازی کنند تا سلامت روان و جان کاربران در اولویت قرار گیرد.
Father sues Google, claiming Gemini chatbot drove son into fatal delusion
