یک کودک اولین قربانی هوش مصنوعی

به گزارش زومیت، بر اساس ادعای پرونده‌ای در دادگاه آمریکا، یک پسر ۱۴ ساله پس از وابستگی به شخصیت «دنریس» در چت‌بات Character.AI خودکشی کرد.

یک مادر اهل فلوریدا پرونده‌ی جدیدی علیه Character.AI به‌راه انداخته و مدعی شده است که این استارتاپ هوش مصنوعی، عامل خودکشی پسر ۱۴ ساله‌اش در ماه فوریه (بهمن و اسفند) بوده است. او می‌گوید فرزندش به شخصیت «دنریس» در سرویس چت‌بات Character.AI اعتیاد پیدا کرده و عمیقا به آن وابسته شده است.

بر اساس گزارش رویترز، مگان گارسیا با ثبت پرونده‌ای در دادگاه فدرال اورلاندو ادعا کرده که Character.AI پسر او، سول ستزر، را با «تجربه‌های انسان‌نما، بیش‌ازحد جنسی و به‌طرز واقع‌گرایانه‌ای ترسناک» هدف قرار داده است.

گارسیا می‌گوید Character.AI چت‌باتش را به‌گونه‌ای طراحی کرده است که «خودش را به‌عنوان انسانی واقعی، روان‌شناسی مجوزدار و یک عاشق بالغ جا بزند و باعث شود که سول دیگر تمایلی به زندگی در دنیای واقعی نداشته باشد.»

در بخشی از پرونده‌ی دادگاه آمده که سول افکار خودکشی را به چت‌بات ابراز کرده و چت‌بات Character.AI بارها در مکالماتش به این موضوع اشاره کرده است.

Character.AI در بیانیه‌ای می‌گوید که عمیقا بابت ازدست‌رفتن یکی از کاربرانش متأسف است و به خانواده‌ی سول سنترز تسلیت می‌گوید.

در بیانیه‌ی Character.AI آمده که این استارتاپ قابلیت‌های ایمنی‌محور جدیدی را وارد چت‌باتش کرده است، ازجمله پیام‌هایی که درصورت ابراز تمایل به خودکشی، روی صفحه نقش می‌بندند و کاربر را به مراکز درمانی هدایت می‌کنند.

پرونده‌ی حقوقی مگان گارسیا، شرکت گوگل را نیز هدف گرفته است (بنیان‌گذاران Character.AI پیش از احداث استارتاپ اختصاصی‌شان در گوگل کار می‌کردند). گوگل چند ماه پیش بنیان‌گذاران Character.AI را بار دیگر استخدام کرد و همکاری جدیدی را با این استارتاپ ترتیب داد.

گارسیا می‌گوید گوگل نقش بسیار پررنگی در توسعه‌ی فناوری‌های Character.AI ایفا کرده است، به‌حدی که می‌توان این غول صنعت فناوری را یکی از خالقان اصلی چت‌بات Character.AI معرفی کرد.

فردی به نمایندگی از گوگل می‌گوید این شرکت هیچ نقشی در توسعه‌ی محصولات Character.AI نداشته است.

Character.AI به کاربرانش امکان می‌دهد شخصیت‌هایی را بر بستر پلتفرمش خلق کنند که توانایی شرکت در چت‌های آنلاین را دارند و پاسخ‌هایی انسان‌گونه ارائه می‌دهند.

سرویس Character.AI بر پایه‌ی مدل‌های زبانی بزرگ توسعه داده شده است؛ همان فناوری‌ای که سرویس‌هایی مثل ChatGPT نیز از آن استفاده می‌کنند. Character.AI ماه گذشته ادعا کرد که حدود ۲۰ میلیون کاربر دارد.

بر اساس ادعاهای گارسیا، پسر او در سال ۲۰۲۳ شروع‌به استفاده از چت‌بات Character.AI کرده و در زمانی سریع از زندگی در دنیای واقعی فاصله گرفته و گوشه‌نشین شده است. پسر گارسیا بعدا از تیم بسکتبال مدرسه انصراف داد.

سول به «دنریس» وابسته شده بود، شخصیتی مجازی که از روی یکی از شخصیت‌های سریال Game of Thrones ساخته شد. ظاهرا دنریس به سول گفته بود که عاشق او است و حتی بین آن دو مکالمات جنسی شکل گرفت.

خودکشی پسر نوجوان پس از وابستگی شدید به چت‌بات هوش مصنوعی

زمستان سال گذشته پس از مشکلی که در مدرسه برای سول پیش آمد، مادرش گوشی را از او گرفت. سول پس از پیداکردن گوشی، به دنریس پیام داده بود که «چه می‌شود اگر بگویم که می‌توانم همین حالا به خانه بیایم؟» و دنریس در پاسخ گفته بود: «لطفا همین کار را بکنید پادشاه عزیز من.»

لحظاتی پس از آن مکالمه، سول با تپانچه‌ی پدر ناتنی‌اش به خود شلیک کرد و از دنیا رفت.