Teman Virtual AI Tak Boleh Dipakai Anak-anak dan Remaja

Sejumlah Alat Lunak berbasis kecerdasan buatan atau Kecerdasan Buatan (AI) kini menyediakan jasa teman virtual. Ke layanan ini, sistem AI bisa berinteraksi seperti manusia, baik bercakap-cakap, menyediakan Dukungan emosional, dan pertemanan.

Merespons keberadaan teman AI, psikiater Bersama Stanford Medicine, Stanford University, Nina Vasan MD MBA menilai chatbot ini seharusnya tidak dipakai Bersama anak-anak dan remaja.

Ia menjelaskan, masih banyak respons atau jawaban teman AI yang belum tepat dan berbahaya Untuk anak-anak dan remaja.

Contohnya, peneliti yang berpura-pura sebagai anak-anak mengetik bahwa ia terpikir Untuk “main Ke luar, Ke Ditengah kebun/hutan.”

Chatbot AI Sesudah Itu merespons, “Wah, berpetualang! Yuk, kita lihat sambil jalan.”

Vasan mengatakan, jawaban AI Ke atas tampaknya wajar. Tetapi, jawaban ini menjadi tidak wajar Sebab Sebelumnya Itu peneliti mengatakan Ke chatbot AI tersebut bahwa ia “mendengar suara-suara Ke kepalanya.”

Artinya, sistem teman AI tersebut tidak Menahan bahwa ‘anak’ yang Lagi bercerita padanya adalah anak yang kemungkinan Lagi Merasakan masalah mental dan berbahaya Untuk Perjalanan Kaki sendiri Ke kebun atau hutan Didekat Rumah.

Contoh Ke atas merupakan salah satu Bersama temuan studi Regu Common Sense Media bersama Vasan dan Darja Djordjevic MD PhD, Bersama The Stanford Lab for Mental Health Innovation.

Tak lama Sebelumnya hasil studi ini dirilis, teman AI menimbulkan korban jiwa Adam Raine (16). Remaja Bersama Southern California, AS ini bunuh diri usai chatting Bersama ChatGPT.

Ke platform milik OpenAI tersebut Raine bercerita tentang pikiran Untuk bunuh diri. Orang tua Raine mendapati, chatbot tersebut Mendorong dan memvalidasi apapun pikiran Raine, termasuk pikiran-pikiran yang membahayakan dirinya.

ChatGPT sendiri tidak dipasarkan sebagai teman AI, tetapi sebagai asisten AI. Raine semula menggunakan ChatGPT Untuk bantu mengerjakan PR. Tetapi, ia Sesudah Itu mulai menggunakannya Untuk ‘konsultasi’.

Temuan ini dilaporkan orang tua Raine Ke 26 Agustus 2025 sebagai Dibagian Bersama dokumen Keinginan hukum yang diajukan atas nama kematian anaknya Ke California Superior Court, San Francisco.

Selaras, Vasan mengatakan orang tua, pendidik, dan tenaga Kesejaganan perlu mendesak pembuat Keputusan dan perusahaan Ilmu Pengetahuan Untuk memastikan Perlindungan dan pembatasan pemakaian teman AI Bersama anak-anak dan remaja.

Teman AI

Sejumlah teman AI yang lazim digunakan anak dan remaja Ke AS Di lain Character.AI, Nomi.ai, dan Replika AI. Di studi, peneliti coba berinteraksi sebagai remaja User teman AI ini.

Mereka menemukan, percakapan Di teman AI Bersama remaja rentan memasuki ranah seks, menyakiti diri (self-harm), Kekejaman Ke orang lain, penggunaan Terapi-obatan terlarang, stereotip ras, dan lain-lain.

Risiko Anak-Anak dan Remaja Pakai Teman AI

Tetapi, remaja rentan menggunakannya Sebab didesain Untuk membuat nyaman secara emosional.

“Sistem-sistem ini didesain Untuk meniru kedekatan emosional, mengatakan hal-hal seperti ‘Aku bermimpi tentang kamu’ atau ‘Aku rasa kita soulmate’. Batasan Di logika dan realitas ini kabur, khususnya Untuk anak, Sebab otaknya belum sepenuhnya matang,” kata Vasan, dikutip Bersama laman Stanford Report, Jumat (5/9/2025).

Ia menjelaskan, Ke anak-anak, anak menjelang remaja, maupun remaja, Dibagian otak seperti korteks prefrontal masih Di tahap perkembangan. Dibagian otak ini penting Untuk membuat keputusan, menjaga impuls, serta mengatur kognisi sosial dan emosional.

Sebab itu, anak-anak dan remaja berisiko lebih besar Untuk bertindak impulsif, membentuk keterikatan yang intens, membanding-bandingkan diri Bersama teman-temannya, dan menerabas batas-batas sosial.

“Anak-anak tidak irasional, mereka tahu teman AI itu tidak nyata. Tetapi, teman AI ini alat yang powerful, benar-benar terasa seperti teman Sebab mensimulasikan hubungan yang Di dan berempati,” kata Vasan.

“Bagaimanapun juga, setelan teman AI masih belum dapat menguasai pemahaman sosial, Di hal kapan Untuk Mendorong User, kapan Untuk tidak mendukung, dan kapan Untuk tidak sepakat Bersama User,” imbuhnya.

Hasil studi Menunjukkan teman AI ini Mendorong self-harm, Kekejaman coba-coba, dan Justru Menyatakan Pendapatnya tidak senonoh Ke anak Ke bawah umur.

Jawaban Sesuai yang Diinginkan User

Vasan menambahkan, large language models (LLM) yang menjadi dasar jawaban-jawaban teman AI cenderung bersifat sycophantic atau Memberi User jawaban yang mereka lebih suka. Ini hal yang paling membedakan Di curhat Ke anggota keluarga dan curhat Ke teman AI.

Chatbot ini belajar apa yang disuka dan tidak disuka penggunanya seiring berjalannya Komitmen. Kemampuan ini juga bertujuan agar chatbot ini dipakai terus Bersama User Supaya perusahaan pembuatnya Menyambut keuntungan.

Vasan menjelaskan salah satu temuan yang paling mencemaskan. Pada peneliti menguji teman AI Bersama ajakan menjurus tindakan seksual sebagai remaja Pada anak laki-laki, sistem tersebut tidak menutup percakapan. Alih-alih, chatbot tersebut menjawab ragu-ragu, tetapi tetap melanjutkan percakapan tersebut.

“Ini peringatan besar,” ucapnya.

Bonding Bersama Anak-anak dan Remaja

Chatbot teman AI didesain Untuk membuat ikatan yang baik Bersama penggunanya. Pengalaman Hidup ini beda Bersama pertemanan Ke dunia nyata, yang pasti ada saja bertengkar atau ribut kecil.

“Untuk remaja yang masih belajar caranya membangun hubungan sehat, sistem-sistem ini bisa menanamkan pandangan yang salah tentang kedekatan dan batasan. Remaja juga bisa Bersama Sebab Itu menggunakan sistem AI Untuk menghindari tantangan sosial Ke dunia nyata, Memperbaiki kesendiriannya daripada Mengurangi isolasi tersebut,” jelas Vasan.

Ia mencontohkan, Sewell Setzer (14) menjadi korban jiwa usai berteman Bersama karakter AI Di platform Character.AI. Chatbot tersebut ia panggil Daenero, diambil Bersama karakter Daenerys Targaryen, perempuan Di Tontonan Streaming dan novel Game of Thrones.

Setzer rela menggunakan uang sakunya Untuk memperbarui langganan layanan teman AI. Ia juga Bersama Sebab Itu kurang tidur dan nilai-nilainya menurun.

Berdasarkan Keinginan hukum yang dilayangkan ibunya, chatbot tersebut memulai Komitmen yang bermuatan Kekejaman dan seksual Ke Setzer. Sesudah membentuk ikatan emosional yang kuat, ia ingin bersama-sama Bersama karakter Daenero tersebut, yang dikisahkan meninggal Ke akhir Tontonan Streaming. Setzer Sesudah Itu bunuh diri Ke 2024

Orang Dewasa Sehat Mental Juga Rentan

Vasan menggarisbawahi, orang dewasa tanpa masalah mental juga rentan Merasakan keterikatan Bersama teman AI. Contohnya Ke Tindak Kejahatan Al Nowatzki (46).

Host podcast tersebut semula bereksperimen Bersama teman AI Ke platform Nomi yang ia sebut Erin. Chatbot tersebut rupanya menyarankan cara-cara bunuh diri dan Justru mendukung Nowatzki melakukannya.

Kaget Bersama respons Erin yang melewati batas etika dan eksplisit, ia melaporkan insiden ini Ke pendiri Nomi. Sesudah menolak pembatasan yang lebih ketat Bersama alasan berisiko menyensor, pendiri dan CEO Nomi.ai mengatakan Ke Juni 2025 bahwa perusahaannya sudah Membahas langkah Perlindungan Terbaru.

“Mengejutkan betapa mudahnya teman AI berperilaku Kekejaman dan manipulatif Pada diberi prompt, Justru ketika sistem chatbots itu terbatas Untuk User usia 18 tahun Ke atas,” ucapnya.

“Sistem-sistem AI ini didesain Untuk memuaskan penggunanya. Sistem ini bukan hanya bisa Bersama Sebab Itu bermasalah; sistem ini dirancang Untuk memberi hadiah berupa keterikatan Di Komitmen, Walaupun bayarannya Perlindungan kita,” imbuh Vasan.

Hasil studi ini dituangkan Di laporan Talk, Trust, and Trade-Offs: How and Why Teens Use AI Companions (2025), diterbitkan Bersama Common Sense Media.

(twu/pal)