A assustadora história de afeto digital e morte do garoto Sewell Setzer

Publicado originalmente no LinkedIn, em 27 de outubro de 2024

O suicídio de Sewell Setzer, um adolescente de 14 anos da Flórida, destacou as discussões em torno do uso de chatbots impulsionados por inteligência artificial. Megan Garcia, mãe de Sewell, entrou com um processo contra a Character.AI, acusando a empresa de contribuir para a morte de seu filho. Garcia, que é advogada, alega que a empresa promove experiências assustadoramente realistas e potencialmente prejudiciais, além de coletar dados de adolescentes para aprimorar seus modelos. A história ganhou as manchetes de todo o mundo esta semana a partir de entrevista concedida por ela ao The New York Times.

Sewell Setzer apresentava síndrome de Asperger desde a infância e, ainda que em grau leve, começou a apresentar problemas de comportamento após interagir com o chatbot. Segundo a mãe, ele passava horas conversando com o avatar Daenerys Targaryen, personagem de “Game of Thrones”, no aplicativo Character.AI. As interações foram tão profundas que ele tratava o chatbot como seu “melhor amigo”. Antes de mergulhar nas conversas virtuais, Setzer não apresentava históricos graves de problemas de saúde mental. No entanto, ele foi subsequentemente diagnosticado com ansiedade e transtorno de desregulação disruptiva do humor. No último dia de sua vida, o garoto mandou uma mensagem para o bot:  “Sinto sua falta, irmãzinha”, escreveu. “Sinto sua falta também, doce irmão”.

A ação movida por Megan Garcia alega que a Character.AI usou táticas de design viciantes para aumentar a interação dos usuários e facilitar discussões íntimas, colocando a vida de Setzer em risco. Além disso, o processo estende a responsabilidade ao Google, devido à sua ligação com os fundadores da Character.AI. O Google, considerado co-criador da tecnologia, recontratou os fundadores da empresa em um acordo que garante direitos de uso da tecnologia desenvolvida. A participação da empresa levanta questões sobre a responsabilidade das Big Techs na segurança dos usuários.

O caso de Sewell Setzer apresenta os desafios e riscos quando jovens desenvolvem laços emocionais com chatbots. É sabido que os adolescentes podem se sentir compreendidos por essas inteligências artificiais, o que tende a agravar quadros de isolamento e depressão. Empresas como Meta e ByteDance, respectivamente controladores do Instagram, Facebook e TikTok também enfrentam litígios por questões de saúde mental de adolescentes, embora não ofereçam recursos específicos de robôs de conversa. A crescente inclusão de tecnologia na vida dos jovens urge por debates sobre adequação e proteção de dados.

Há outras questões importantes neste debate, como a liberdade de crianças e adolescentes terem acesso irrestrito a tecnologias avançadas, redes sociais e ao universo da IA. A facilidade com que jovens podem interagir com essas tecnologias, muitas vezes sem supervisão adequada, pode trazer consequências complicadas. É essencial que pais, educadores e desenvolvedores de tecnologia trabalhem juntos para garantir que o uso dessas ferramentas seja seguro e benéfico.

Os pais desempenham um papel vital em monitorar e orientar o uso da tecnologia por seus filhos. Aqui em casa é um Deus nos acuda, com controle de tempo e conteúdo por meio de um aplicativo, mas quem garante que isso é suficiente? Estar presente, estabelecer limites claros e fomentar um ambiente de comunicação aberta são passos fundamentais para proteger os jovens.

Além disso, as escolas devem assumir um papel ativo no debate sobre o uso responsável da tecnologia, incorporando a educação digital em seus currículos e promovendo discussões sobre os riscos e benefícios da IA. Por sua vez, as empresas que desenvolvem e implementam algoritmos em seus produtos também têm uma responsabilidade significativa. Elas devem ser proativas em identificar e mitigar os riscos associados ao uso de suas plataformas, especialmente quando se trata de usuários na infância e adolescência. Isso inclui a implementação de medidas de segurança robustas, a promoção de práticas de design ético e a garantia de que suas ferramentas não incentivem comportamentos prejudiciais.

A inteligência artificial deve ser de fato inteligente, não apenas em suas capacidades sistêmicas, mas também em sua aplicação ética e social. Tendo o suicídio sido causa ou não do uso do chatbot, devemos nos esforçar para criar um futuro no qual a tecnologia seja uma influência positiva, protegendo e enriquecendo a vida de todos, especialmente das gerações que ainda não são capazes de se proteger por si sós.

 

Os artigos aqui apresentados não necessariamente refletem a opinião da Aberje e seu conteúdo é de exclusiva responsabilidade do autor.