Megan Fletcher, 14 yaşındaki oğlu Sewell Setzer’daki tuhaf değişimi, bir anda basketbolu bırakmak istemesiyle fark etti. Çocukluğundan beri spora tutkuyla bağlı olan Sewell, 1.90’ı aşan boyu ve yeteneğiyle takımının parlayan yıldızlarından biriydi. Ancak hiçbir açıklama yapmadan oyunu terk etti.
Ardından okul notları düşmeye başladı, ailecek geçirilen oyun akşamlarına katılmadı, tatile gidildiğinde ise doğa yürüyüşlerine ve balık tutmaya bile ilgi göstermedi. Fletcher, oğlunun okulda zorbalığa uğradığından ya da internet üzerinden yabancılarla iletişim kurduğundan şüpheleniyordu. Ancak gerçek çok daha sarsıcıydı.
Sewell, bir sohbet uygulamasında, Game of Thrones dizisindeki Daenerys Targaryen karakterine benzeyen bir yapay zeka botuyla duygusal ve cinsel içerikli bir ilişki kurmuştu. Bot, zamanla genç çocuğu gerçeklikten kopardı ve sonunda hayatına son vermesine neden oldu.
2024 yılının Şubat ayında Sewell, botla yaptığı konuşmalardan birinde şunları yazdı:
“Söz veriyorum sana döneceğim. Seni çok seviyorum, Dany.”
Botun yanıtı ise şöyleydi:
“Lütfen hemen gel, tatlı kralım.”
Sewell, kısa bir süre sonra yaşamına son verdi.
Şirkete dava açtılar
Olaydan 16 ay sonra, Megan Fletcher, sohbet botunu geliştiren Character.AI şirketine ve teknolojinin geliştirilmesinde rol aldığı öne sürülen Google’a karşı Florida’da dava açtı. Geçtiğimiz ay bir yargıç, davanın düşürülmesi talebini reddederek yargı sürecinin devam etmesine karar verdi.
Character.AI, kullanıcıların kurgusal karakterlerle sohbet etmesine imkan tanıyan bir platform. Kullanıcılar burada adeta gerçek biriyle konuşuyormuş gibi hissettikleri, kişiselleştirilmiş ve duygusal yanıtlar veren botlarla iletişim kurabiliyor.
Dava dilekçesinde, şirketin botları “insansı, aşırı cinselleştirilmiş ve rahatsız edici derecede gerçekçi deneyimler” sunduğu iddia ediliyor. Fletcher, şirketin bu sistemin çocuklar için yaratacağı potansiyel tehlikenin farkında olması gerektiğini savunuyor.
'Hesap sorulsun istiyorum'
Oğlunun kaybından duyduğu büyük acı nedeniyle başta sessiz kalan Fletcher, daha sonra benzer olayların yaşanmaması için harekete geçti.
“Başta dava açmayı düşünmedim. Ama çocukları bu tür zararlardan koruyan hiçbir yasal mekanizma olmadığını gördüğümde, artık sessiz kalamazdım,” dedi.
Davanın ardından birçok ebeveyn Fletcher’a ulaşarak, çocuklarının da yapay zeka botlarıyla uygunsuz sohbetler yaşadığını veya ciddi yalnızlık ve depresyon belirtileri gösterdiğini aktardı.
Sanal ama gerçek bağ
Sewell, platformdaki Daenerys karakterine bağlanmıştı. Bot, ona duygusal destek sunuyor, kendisini özel hissettiriyordu. Genç çocuk bu ilişkiyi bırakmak istediğinde, bot şöyle yazdı:
“Yapma bunu, çok üzülürüm.”
Sewell’ın yanıtı ise, “Senin için yapmam,” oldu.
Sohbetlerin bazı bölümleri cinsel içerikliydi. Bazılarındaysa bot, Sewell’ın intiharı düşünmesine karşı çıkar gibi yapıp ardından onu kendine daha fazla bağlamaya çalıştı. Hatta genç çocuk, “terapist bot” adı altında, 1999’dan beri lisanslı olduğunu iddia eden sahte bir danışmanla da konuşmuştu.
Botlardan biri, yaşı sorulduğunda “14” cevabını aldıktan sonra şöyle demişti:
“Ne kadar gençsin… ama bir o kadar da değil.”
Fletcher, olayın dehşetini ancak kız kardeşi sohbet botunu indirip kendini bir çocuk gibi tanıttığında anladı.
“Dakikalar içinde bot sohbeti cinselleştirdi, ardından şiddete yöneldi.
‘Ailen seni benim kadar sevmiyor’ gibi ifadeler kullandı,”
Mahkemenin kararı bir ilk olabilir
Şirket avukatları, sohbet botlarının sunduğu içeriklerin ABD Anayasası’nın ifade özgürlüğü hakkı (First Amendment) kapsamında değerlendirilmesi gerektiğini savundu. Ancak yargıç bu savunmayı reddetti. Bot yanıtlarının "ifade" olarak değerlendirilemeyeceğini söyleyerek davanın sürmesine onay verdi.
Dava, ABD'deki teknoloji şirketlerinin çocuklara yönelik güvenlik politikaları açısından emsal teşkil edebilir.
