Kemenkomdigi Temukan Grok AI di X Bisa Manipulasi Foto Pribadi untuk Konten Pornofografi 

JAKARTA, KOMPAS - Kementerian Komunikasi dan Digital menemukan, fitur kecerdasan buatan ”Grok AI” di platform X (dulu Twitter) belum memiliki pengaturan yang eksplisit dan memadai untuk mencegah produksi dan distribusi konten pornografi berbasis foto nyata warga Indonesia. Hal ini berisiko menimbulkan pelanggaran serius terhadap privasi dan hak citra diri warga.

“Temuan awal menunjukkan belum adanya pengaturan spesifik dalam Grok AI untuk mencegah pemanfaatan teknologi ini dalam pembuatan dan penyebaran konten pornografi berbasis foto pribadi. Hal ini berisiko menimbulkan pelanggaran serius terhadap privasi dan hak citra diri warga,” ujar Direktur Jenderal Pengawasan Ruang Digital Kementerian Komunikasi dan Digital (Kemenkomdigi) Alexander Sabar dalam pernyataan tertulis di Jakarta, Rabu (07/01/2026).

Pernyataan tersebut menindaklanjuti ramainya dugaan penyalahgunaan fitur kecerdasan buatan Grok AI pada platform X untuk memproduksi dan menyebarluaskan konten asusila. Misalnya adalah manipulasi foto pribadi yang bersifat sensitif tanpa persetujuan pemiliknya.

Setiap PSE, termasuk X, wajib memastikan bahwa teknologi yang mereka sediakan tidak menjadi sarana pelanggaran privasi, eksploitasi seksual, maupun perusakan martabat seseorang.

Manipulasi digital terhadap foto pribadi bukan sekadar masalah kesusilaan. Dia menekankan, perilaku itu juga sebagai bentuk perampasan kendali individu atas identitas visual yang bisa menimbulkan kerugian psikologis, sosial, dan reputasi.

Kemenkomdigi, dia melanjutkan, sedang berkoordinasi dengan para penyelenggara sistem elektronik (PSE) untuk memastikan tersedianya mekanisme pelindungan yang efektif. Langkah tersebut mencakup penguatan sistem moderasi konten, pencegahan pembuatan deepfake asusila, serta prosedur penanganan cepat atas laporan pelanggaran privasi dan hak citra diri.

“Setiap PSE, termasuk X, wajib memastikan bahwa teknologi yang mereka sediakan tidak menjadi sarana pelanggaran privasi, eksploitasi seksual, maupun perusakan martabat seseorang,” tegasnya.

Terhadap penyedia layanan kecerdasan buatan, termasuk X, beserta pengguna yang terbukti memproduksi ataupun menyebarkan konten pornografi atau manipulasi citra pribadi tanpa hak, pemerintah dapat menjatuhkan sanksi administratif ataupun pidana sesuai ketentuan hukum yang berlaku.

Sejak berlakunya Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-Undang Hukum Pidana (KUHP) pada 2 Januari 2026, konten pornografi diatur antara lain dalam Pasal 172 dan Pasal 407. Pasal 172 mendefinisikan pornografi sebagai media yang memuat kecabulan atau eksploitasi seksual yang melanggar norma kesusilaan.

Bagi yang terbukti melakukan pelanggaran, sebagaimana diatur pada pasal 407, ancaman pidananya berupa hukuman penjara paling singkat 6 (enam) bulan dan paling lama 10 (sepuluh) tahun atau pidana denda sesuai ketentuan.

”Apabila ditemukan ketidakpatuhan atau sikap tidak kooperatif, Kemkomdigi dapat menjatuhkan sanksi administratif hingga pemutusan akses layanan Grok AI dan platform X,” tegas Alexander.

Masyarakat yang menjadi korban manipulasi foto, deepfake asusila, ataupun pelanggaran hak citra diri dapat menempuh upaya hukum melalui mekanisme yang tersedia dalam peraturan perundang-undangan. Misalnya, pelaporan kepada aparat penegak hukum dan pengaduan kepada Kemkomdigi.

“Kami mengimbau seluruh pihak untuk menggunakan teknologi akal imitasi secara bertanggung jawab. Ruang digital bukan ruang tanpa hukum, ada privasi dan hak atas citra diri setiap warga yang harus dihormati dan dilindungi,” kata Alexander.

Saat dihubungi terpisah, peneliti gender, hak asasi manusia, dan kebijakan teknologi di PurpleCode Collective, Alia Yofira Karunian, berpendapat, penggunaan Grok AI di X untuk memproduksi foto intim non-konsensual merupakan pelanggaran privasi perempuan.

Dalam kerangka hukum Indonesia, tindakan ini merupakan salah satu bentuk kekerasan seksual berbasis sistem elektronik (KSBE) yang diatur dalam pasal 14 Undang-Undang (UU) Nomor 12 Tahun 2022 tentang Tindak Pidana Kekerasan Seksual (TPKS).

Selain UU TPKS, terdapat beragam ketentuan hukum yang dapat ditegakkan pemerintah terhadap X maupun pengguna yang menyalahgunakan Grok AI. Misalnya, UU Informasi dan Transaksi Elektronik dan UU Pelindungan Data Pribadi.

”Selain tindakan (pemerintah) yang sifatnya reaktif, kasus Grok AI ini menggarisbawahi terkait tata kelola AI yang masih belum memadai di Indonesia,” ujar Alia.

Saat ini, Indonesia masih menggunakan soft regulatory approach. Kemenkomdigi akan menerbitkan panduan etis tata kelola AI. Kasus Grok AI merupakan contoh bagaimana panduan etis tidak dapat diimplementasikan secara efektif terhadap perusahaan pengembang teknologi AI.

Penting bagi Indonesia untuk bergerak ke kerangka hukum yang mengikat, guna memitigasi risiko-risiko yang seringkali berdampak besar bagi kelompok rentan seperti perempuan dan anak.

”Oleh karenanya, penting bagi Indonesia untuk bergerak ke kerangka hukum yang mengikat, guna memitigasi risiko-risiko yang seringkali berdampak besar bagi kelompok rentan seperti perempuan dan anak,” ucap dia.

Alia menambahkan, dalam jangka panjang, literasi digital bisa digunakan untuk mengedukasi masyarakat. Perspektif gender dan seksualitas penting untuk diintegrasikan ke dalam pendidikan literasi digital, dengan menjelaskan konsep persetujuan dalam era digital, bentuk-bentuk kekerasan berbasis gender online (KBGO), dampak bagi korban, dan konsekuensi hukum bagi pelanggar.

Di Indonesia, beberapa figur populer seperti penyanyi Bernadya Ribka sudah bersuara. Dia bahkan melontarkan kritik keras terhadap penyalahgunaan Grok AI untuk mengedit foto perempuan menjadi berpakaian minim. Ia menilai tindakan itu tak beretika.

Kasus penyalahgunaan fitur kecerdasan buatan Grok AI pada platform X untuk memproduksi dan menyebarluaskan konten asusila terjadi juga di berbagai negara, bukan hanya di Indonesia. Semakin banyak pejabat di seluruh dunia yang mengecam.

Mengutip Reuters, Senin (5/1/2026), Komisi Eropa di Uni Eropa mengatakan bahwa gambar-gambar perempuan dan anak-anak tanpa busana yang dibagikan di platform media sosial milik Elon Musk, X, adalah ilegal dan mengerikan.

Kecaman ini menyusul laporan chatbot kecerdasan buatan bawaan X, Grok, menyebarkan banyak gambar perempuan dan anak di bawah umur dengan pakaian yang sangat minim sesuai permintaan pengguna X. Grok AI mempunyai sebuah fungsi yang sebelumnya disebut X sebagai "mode pedas."

”Komisi Eropa mengatakan pihaknya "sangat menyadari" fakta bahwa X menawarkan "mode pedas”. Ini ilegal, mengerikan, dan menjijikkan. Beginilah cara kami melihatnya, dan ini tidak memiliki tempat di Eropa," katanya.

Di Inggris, regulator Ofcom menuntut agar X menjelaskan bagaimana Grok AI mampu menghasilkan gambar orang telanjang dan gambar anak-anak yang berbau seksual. Mereka juga menuding mereka gagal menjalankan kewajiban hukumnya untuk melindungi pengguna.

X tidak segera membalas pesan yang meminta komentar tentang pernyataan Komisi Eropa atau Ofcom. Dalam pesan terakhirnya kepada Reuters mengenai masalah ini, X mengatakan, "Media Lama Berbohong."

Secara daring, Musk mengabaikan kekhawatiran atas aksi Grok yang menampilkan gambar telanjang. Dia memposting emoji tertawa terbahak-bahak hingga menangis sebagai tanggapan terhadap tokoh publik yang diedit agar terlihat seperti mengenakan bikini.

Ofcom mengatakan pihaknya menyadari "kekhawatiran serius" yang muncul tentang fitur tersebut. Ofcom telah melakukan kontak mendesak dengan X dan xAI untuk memahami langkah-langkah apa yang telah mereka ambil untuk mematuhi kewajiban hukum mereka untuk melindungi pengguna di Inggris.

Membuat atau membagikan gambar intim tanpa persetujuan atau materi pelecehan seksual anak, termasuk gambar seksual hiper-realistis yang dihasilkan AI, adalah ilegal di Inggris. Selain itu, platform teknologi memiliki kewajiban untuk mengambil langkah-langkah untuk mencegah pengguna Inggris menemukan konten ilegal dan menghapusnya ketika mereka mengetahuinya.

Pernyataan dari pejabat Uni Eropa dan Inggris ini muncul setelah para menteri di Prancis melaporkan X kepada jaksa dan regulator terkait gambar-gambar yang mengganggu tersebut. Mereka mengatakan dalam sebuah pernyataan pada Jumat (1/1/2026) bahwa konten "seksual dan seksis" itu "jelas ilegal." Pejabat India juga telah meminta penjelasan dari X atas apa yang mereka sebut sebagai konten cabul.