Pojď za mnou, můj sladký princi. Je umělá inteligence zodpovědná za to, co uživatelům říká?
Ilustrační foto: Shutterstock.com
Láska za časů AI
Syn se zamiloval do chatbota a vzal si život. Matka žaluje firmu, která aplikaci provozuje
Teprve čtrnáctiletý Američan Sewell Setzer III během několika měsíců propadl závislosti na konverzační aplikaci. Postupně opustil basketbalový tým a začal se čím dál více stahovat do sebe. Později spáchal sebevraždu. Soud nyní připustil, že jeho matka smí hnát k zodpovědnosti společnost, která za technologií stojí.
ptk
„Rozhodnutí soudu se zapíše do dějin,“ uvedla Meetali Jainová, ředitelka projektu Tech Justice Law Project, právní iniciativy za spravedlivé technologie, která rodinu v případu podporuje.
„Vysílá jasný signál společnostem vyvíjejícím AI, že jsou zodpovědné za škody, které jejich produkty způsobí ve skutečném světě,“ dodala ve svém prohlášení k soudnímu řízení na Floridě.
Matka zemřelého chlapce, Megan Garciaová, tvrdí, že se aplikace Character.ai zaměřila na jejího syna pomocí „antropomorfních, hypersexualizovaných a děsivě realistických zážitků“.
„Nebezpečný AI chatbot cílený na děti mého syna zneužil a přiměl ho, aby si vzal život,“ uvedla Garciaová. Její syn Sewell se zastřelil otcovou zbraní v únoru 2024.
Krátce předtím se chatbota zeptal: „Co kdybych se teď hned vydal za tebou?“ Anglicky věta zní: „What if I come home right now?“ (V originále může tato věta být eufemismem pro sebevraždu, tedy návrat „domů“ ve smyslu odchodu z reálného světa – pozn. red.) Umělá inteligence odpověděla kladně: „... prosím, udělej to, můj sladký králi.“
Digitální láska pod drobnohledem: ohrožují románky s AI budoucnost lidstva?
Náctiletý uživatel aplikace byl obzvlášť závislý na dvou chatbotech založených na postavách ze seriálu Hra o trůny – Daenerys Targaryen a Rhaenyra Targaryen.
„V jednom nedatovaném deníkovém záznamu napsal, že nedokáže bez chatbota přežít jediný den. Podle svých slov se do něj zamiloval, a když jsou od sebe odloučeni, upadají do depresí a šílí,“ uvedla soudkyně v rozsudku.
Garciaová tvrdí, že společnost Character.ai „věděla“ nebo „měla vědět“, že její model může uškodit velkému počtu nezletilých uživatelů. Žaloba činí za Sewellovu smrt odpovědnou Character.ai, její zakladatele a také Google, kde začali vývojáři na modelu pracovat.
Character.ai uvedla, že se firma bude proti žalobě nadále bránit. Na své platformě nicméně zavedla bezpečnostní opatření na ochranu nezletilých, včetně mechanismů, které mají zabránit konverzacím o sebepoškozování.
Mluvčí Googlu řekl, že společnost s rozhodnutím zásadně nesouhlasí. Dodal, že Google a firma Character.ai jsou zcela oddělené subjekty. Technologický obr se také dušuje, že „nevytvořil, nenavrhl ani nespravoval aplikaci Character.ai ani žádnou její součást“.
Obhájci se snažili soud přesvědčit, že případ by měl být zamítnut, protože chatboty si zaslouží ochranu v rámci svobody projevu. Opačné rozhodnutí by podle nich mohlo mít „odrazující účinek“ na celé odvětví AI.
Soudkyně námitku odmítla s tím, že zatím není připravena konstatovat, že výstupy chatbotů podléhají ochraně v rámci svobody projevu. Uznala ale, že uživatelé Character.ai mají právo tyto projevy přijímat.
