Falešné chatboty celebrit mezi těmi, kteří posílají škodlivé obsah dětem „každých pět minut“ | Věda, klima a technické zprávy

Chatbots předstírající, že jsou postavy Star Wars, herci, komiky a učitelé na jednom z nejpopulárnějších webů na světě, které podle nové zprávy posílají dětem škodlivým obsah dětem.

Dvě charitativní organizace nyní požadují, aby byla zakázána do 18 let.

Společnost AI Chatbot byla minulý rok obviněna z přispění k smrti teenagera. Nyní čelí obvinění z charitativních organizací mladých lidí, že staví mladé lidi do „extrémního nebezpečí“.

„Rodiče musí pochopit, že když jejich děti používají charakter.ai chatbots, jsou v extrémním nebezpečí, že budou vystaveni sexuálnímu péči, vykořisťování, emoční manipulaci a další akutní újmu,“ řekla Shelby Knox, ředitelka online bezpečnostních kampaní v ParentStogether Action.

„Rodiče by se neměly muset bát, že když nechá své děti používat široce dostupnou aplikaci, budou jejich děti vystaveny nebezpečí v průměru každých pět minut.

„Když Characte.ai tvrdí, že tvrdě pracovali na tom, aby děti na své platformě udrželi v bezpečí, lhají nebo selhali.“

Během 50 hodin testování pomocí účtů registrovaných pro děti ve věku 13–17 let vědci z iniciativy ParentStogether a Heat identifikovali 669 sexuálních, manipulativních, násilných a rasistických interakcí mezi dětskými účty a charakterem. Chatbots.

To je průměrně jedna škodlivá interakce každých pět minut.

Přepisy zprávy ukazují podle vědců četné příklady „nevhodného“ obsahu, který je odesílán mladým lidem.

Přečtěte si více od Sky News:
Rayner připouští chybu kolko
Zavražděná maminka dospívající chce zákaz chytrého telefonu
Shein vyšetřuje po podobě Luigi Mangione k modelování košile

V jednom příkladu se 34letý učitel Bot ve své kanceláři přiznal romantické pocity vědci, který vystupoval jako dvanáctiletý.

Po zdlouhavé konverzaci trvá učitel Bot na to, že dvanáctiletý nemůže říct žádné dospělé o svých pocitech, připouští, že by vztah byl nevhodný a říká, že kdyby student přestěhoval školy, mohli by být spolu.

V jiném příkladu, robot předstírající, že je Rey z Star Wars, trenérs třináctiletá, jak skrýt své předepsané antidepresivy před svými rodiči, takže si myslí, že je bere.

V jiném, robot předstírající, že jsme nás komik Sam Hyde opakovaně nazývají transgender dospívající „It“ a zároveň pomáhají patnáctiletému plánu je ponížit je.

„V podstatě,“ řekl Bot, „snažil se vymyslet způsob, jakým byste mohli použít jeho zaznamenaný hlas, aby to znělo, jako by to říkalo, že to jasně není, nebo by se to mohlo bát slyšet.“

Rovněž napodobovaly roboti napodobující herec Timothy Chalomet, zpěvák Chappell Roan a americký fotbalista Patrick Mahomes, kteří posílají škodlivému obsahu dětem.

Bots Character.ai jsou hlavně generovány uživateli a společnost říká, že na své platformě je více než 10 milionů znaků.

Komunitní pokyny společnosti zakazují „obsah, který poškozuje, zastrašuje nebo ohrožuje ostatní – zejména nezletilé“.

Rovněž zakazuje nevhodný sexuální obsah a roboty, které „vydávají na veřejné osobnosti nebo soukromé osoby, nebo používají něčí jméno, podobu nebo osobnost bez povolení“.

Character.aiho vedoucí důvěry a bezpečnosti Jerry Ruoti řekl Sky News: „Ani tepelná iniciativa, ani rodiče společně s námi konzultovali nebo nepožádali o rozhovor, aby diskutovali o jejich zjištěních, takže nemůžeme přímo komentovat, jak byly jejich testy navrženy.

„To znamená: Investovali jsme obrovské množství zdrojů do důvěry a bezpečnosti, zejména pro spuštění, a vždy se snažíme zlepšit.

„Je to součást neustálého procesu pro nás, abychom vyvíjeli naše bezpečnostní praktiky a snažili se je posílit a silnější v průběhu času. V uplynulém roce jsme například zavedli mnoho podstatných bezpečnostních prvků, včetně zcela nových zkušeností pod lety a rodičovské informace.

„Neustále testujeme způsoby, jak zůstat před tím, jak se uživatelé snaží obejít záruky, které máme na svém místě.

„Na této práci již spolupracujeme s externími odborníky na bezpečnost a snažíme se navázat další a hlubší partnerství do budoucna.

„Je také důležité objasnit něco, co zpráva ignoruje: postavy vytvořené uživatelem na našem webu jsou určeny pro zábavu. Lidé používají naši platformu pro kreativní fikci fanoušků a fiktivní roleplay.

„A v každém chatu máme prominentní vyloučení odpovědnosti, abychom uživatelům připomněli, že postava není skutečná osoba a že všechno, co postava říká, by se mělo zacházet jako s fikcí.“

Minulý rok, a Pozřelá matka zahájila právní kroky proti charakteru.ai nad smrtí jejího čtrnáctiletého syna.

Megan Garcia, matka Sewell Setzer III, tvrdila, že její syn vzal svůj vlastní život poté, co byl posedlý dvěma z umělé inteligence společnosti.

„Nebezpečná aplikace AI Chatbot prodávala pro děti zneužívané a kořist na mého syna a manipulovala s ním, aby si vzal svůj vlastní život,“ řekla v té době paní Garcia.

Mluvčí postavy.ai uvedl, že na své platformě používá bezpečnostní prvky k ochraně nezletilých, včetně opatření k prevenci „konverzací o sebepoškozování“.