Internet Watch Foundation Temukan AI Grok Dipakai Membuat Konten Pornografi Remaja

JAKARTA, KOMPAS —  Protes terhadap penyalahgunaan fitur AI Grok, bot kecerdasan buatan yang ada di platform X (dulu Twitter), terus merajarela. Terbaru, Internet Watch Foundation yang berbasis di Inggris menemukan pengguna forum dark web telah menggunakan fitur itu untuk membuat gambar pornografi dari remaja perempuan berusia 11 dan 13 tahun. 

Gambar-gambar tersebut akan dianggap sebagai materi pelecehan seksual anak (CSAM) berdasarkan hukum Inggris.

”Kami dapat mengonfirmasi bahwa analis kami telah menemukan gambar pornografi anak-anak berusia antara 11 dan 13 tahun yang tampaknya dibuat menggunakan alat tersebut,” kata Ngaire Alexander, Kepala Hotline Internet Watch Foundation (IFW), yang menyelidiki laporan CSAM dari masyarakat, seperti dikutip dari The Guardian, Jumat (9/1/2026), di Jakarta. 

Alexander mengatakan, gambar pornografi yang dilihat oleh IWF telah digunakan untuk membuat materi yang lebih ekstrem, seperti aktivitas seksual penetratif menggunakan alat kecerdasan buatan yang berbeda.

”Kami sangat prihatin tentang kemudahan dan kecepatan orang-orang yang tampaknya dapat menghasilkan materi pelecehan seksual anak yang fotorealistik. Alat kecerdasan buatan seperti Grok sekarang berisiko membawa gambar seksual anak-anak yang diproduksi oleh kecerdasan buatan generatif ke arus utama. Itu tidak dapat diterima,” kata Alexander.

Pada Rabu (7/1/2026), komite perempuan dan kesetaraan Dewan Perwakilan Rakyat Inggris mengatakan bahwa mereka tidak akan lagi menggunakan X untuk saluran komunikasi. Pencegahan kekerasan terhadap perempuan dan anak perempuan adalah salah satu bidang kebijakan utama mereka.

Juru bicara resmi Perdana Menteri Inggris mengatakan, X perlu segera menangani masalah ini. Regulator Ofcom mendapat dukungan penuh dari perdana menteri untuk mengambil tindakan penegakan hukum di mana pun perusahaan gagal melindungi pengguna di Inggris.

Badan pengawas data Inggris, yaitu Kantor Komisioner Informasi (ICO) , mengatakan telah menghubungi X dan xAI. ICO meminta kejelasan tentang langkah-langkah yang perusahaan itu terapkan untuk mematuhi hukum pelindungan data Inggris dan melindungi hak-hak individu. Setiap warga negara memiliki hak untuk menggunakan media sosial dengan mengetahui data pribadi mereka ditangani secara sah dan hormat. 

Permintaan agar fitur AI Grok memanipulasi gambar perempuan, bukan hanya remaja perempuan, untuk konten asusila terus membanjiri X. Beberapa pengguna telah meminta konten yang lebih ekstrem, meminta fitur AI Grok untuk menghias bikini dengan swastika, atau meminta perubahan pada foto perempuan sehingga mereka tampak seperti korban pelecehan. Chatbot itu telah memenuhi permintaan tersebut dengan menambahkan luka bakar rokok, memar wajah, dan darah pada beberapa gambar perempuan.

Investigasi Reuters menemukan bahwa dalam rentang sepuluh menit pada Jumat (2/1/2026) terdapat 102 upaya manipulasi foto menggunakan fitur AI Grok agar orang lain — kebanyakan perempuan muda dan anak-anak — tampak mengenakan bikini. Fitur AI Grok kerap mematuhi permintaan tersebut hingga menghasilkan gambar berpakaian sangat minim, transparan, atau bahkan hampir telanjang.

Di Indonesia, Kementerian Komunikasi dan Digital (Kemenkomdigi) mengakui, fitur AI Grok belum memiliki pengaturan yang eksplisit dan memadai untuk mencegah produksi dan distribusi konten pornografi berbasis foto nyata warga Indonesia. Hal ini berisiko menimbulkan pelanggaran serius terhadap privasi dan hak citra diri warga.

Sejak Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-undang Hukum Pidana (KUHP) berlaku pada 2 Januari 2026, konten pornografi diatur antara lain dalam Pasal 172 dan Pasal 407. Pasal 172 mendefinisikan pornografi sebagai media yang memuat kecabulan atau eksploitasi seksual yang melanggar norma kesusilaan.

Bagi yang terbukti melakukan pelanggaran, sebagaimana diatur pada Pasal 407, ancaman pidananya berupa hukuman penjara paling singkat 6 bulan dan paling lama 10 tahun atau pidana denda sesuai dengan ketentuan. Apabila ditemukan ketidakpatuhan atau sikap tidak kooperatif, Kemenkomdigi menegaskan bahwa mereka dapat menjatuhkan sanksi administratif hingga pemutusan akses layanan Grok AI dan platform X. 

Pendiri Indonesia Cyber Security Forum (ICSF) Ardi Sutedja, Jumat (9/1/2026), di Jakarta, berpendapat, kemampuan AI Grok untuk memanipulasi foto menjadi konten vulgar bukan hanya masalah privasi individual, melainkan juga ancaman terhadap stabilitas sosial dan keamanan nasional. 

”Bayangkan jika teknologi ini disalahgunakan untuk memanipulasi foto pejabat negara, tokoh agama, atau figur publik lainnya. Dampaknya bisa memicu konflik horizontal, menurunkan kepercayaan publik, hingga destabilisasi politik,” ujarnya.

Korban manipulasi foto menggunakan teknologi kecerdasan buatan generatif tidak hanya mengalami kerugian material, tetapi juga trauma psikologis yang mendalam. Dampak sosial dari penyebaran konten manipulatif juga sangat merusak tatanan masyarakat.

UU Perlindungan Data Pribadi (PDP) yang telah disahkan pada September 2022 seharusnya menjadi benteng pertahanan Indonesia. Namun, hampir dua tahun berlalu, peraturan pelaksanaannya masih belum juga rampung. Celah ini menciptakan zona abu-abu yang dimanfaatkan oleh pihak tidak bertanggung jawab untuk melakukan kejahatan digital.

”Pasal 26 UU PDP memang menyebutkan tentang hak subyek data untuk tidak menjadi obyek profiling yang menimbulkan dampak diskriminasi. Namun, tanpa peraturan pelaksanaan yang jelas, bagaimana cara menerapkan pasal ini terhadap kasus manipulasi foto oleh teknologi kecerdasan buatan generatif, seperti fitur AI Grok,” kata Ardi. 

Direktur Kebijakan Publik Raksha Initiatives, Wahyudi Djafar, memiliki pandangan senada. Upaya paling menantang dari kasus penyalahgunaan fitur AI Grok untuk produksi konten asusila ialah siapa pihak yang paling bertanggung jawab dan tunduk aturan hukum Indonesia.

”Apakah Grok, X, atau warganet yang membuat perintah agar fitur AI Grok mengubah citra perempuan berpakaian lengkap menjadi telanjang dalam hitungan detik?” ujarnya.

Sejak awal Elon Musk, menurut Wahyudi, mengizinkan adanya konten pornografi di X. Sementara pengembang chatbot kecerdasan buatan generatif lainnya berupaya mengembangkan inovasi yang beretika dan bertanggung jawab. 

Pemerintah Indonesia telah mengeluarkan Surat Edaran Menteri Komunikasi dan Informatika Nomor 9 Tahun 2023 tentang Etika Kecerdasan Artifisial. Sejak 2025, Kemenkomdigi telah mengeluarkan wacana ingin mengeluarkan dasar hukum yang lebih tinggi beserta peta jalan terkait kecerdasan buatan yang bertanggung jawab. Namun, wacana itu belum juga terealisasi.

”Namun, menutup platform X sepertinya bukan langkah yang bijak di tengah dinamika suasana demokrasi seperti sekarang,” katanya.

Mengutip The Conversation, beberapa regulator internasional telah meluncurkan investigasi terhadap X dan fitur AI Grok. Otoritas Perancis telah memulai investigasi terhadap ”penyebaran deepfake yang eksplisit secara seksual” dari Grok, dan Dewan Hak Sipil Irlandia dan Hak Digital Irlandia telah mendesak kepolisian nasional Irlandia untuk menyelidiki konten telanjang massal di X.

Komisi Eropa, India, dan Malaysia dilaporkan juga sedang menyelidiki X. Di Amerika Serikat, beberapa akademisi memperkirakan tindakan terbaik mengatasi kasus penyalahgunaan fitur AI Grok ialah menunggu Undang-Undang Penghapusan Konten (Take It Down Act) berlaku pada Mei 2026.

Selain The Guardian, sejumlah media internasional telah menurunkan artikel tentang temuan Internet Watch Foundation. Mereka juga berusaha mengonfirmasi ke xAI dan X. Tidak ada perwakilan X di Indonesia.

Dalam pernyataan sebelumnya, X mengatakan, ”Kami mengambil tindakan terhadap konten ilegal di X, termasuk CSAM, dengan menghapusnya, menangguhkan akun secara permanen, dan bekerja sama dengan pemerintah daerah dan penegak hukum jika diperlukan.”