Inisiatif ini merupakan kemajuan dalam pengembangan Akamai Inference Cloud, yang diperkenalkan pada akhir tahun lalu. Sebagai perusahaan pertama yang mengimplementasikan AI Grid, Akamai kini mengerahkan ribuan unit GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, menyediakan platform yang sangat terdistribusi bagi perusahaan untuk menjalankan AI berbasis agen dan fisik dengan kecepatan respons komputasi lokal dan skalabilitas jaringan web global.
Menurut Adam Karon, Chief Operating Officer and General Manager, Cloud Technology Group Akamai, infrastruktur terpusat akan terus memberikan tokenomics terbaik untuk beban kerja pelatihan model terdepan. Namun, aplikasi modern seperti video real-time, AI fisik, dan pengalaman personalisasi dengan tingkat koneksi yang sangat tinggi menuntut proses inferensi di titik kontak, bukan melalui perjalanan bolak-balik ke klaster terpusat.
Orkestrasi cerdas AI Grid Akamai berfungsi sebagai perantara real-time untuk permintaan AI, mengarahkan beban kerja AI ke 4.400 lokasi edge untuk menyeimbangkan latensi, biaya, dan kinerja.
Inti dari sistem ini adalah orkestrator cerdas yang menerapkan keahlian Akamai dalam optimalisasi kinerja aplikasi ke bidang AI. Bidang kendali yang peka terhadap beban kerja ini mengoptimalkan tokenomics dengan secara drastis meningkatkan efisiensi biaya per token, waktu hingga token pertama, dan throughput.
Hal utama yang membedakan Akamai adalah kemampuannya untuk memungkinkan pelanggan mengakses model yang disesuaikan melalui jangkauan edge globalnya yang sangat luas, sehingga menawarkan keunggulan besar dalam hal biaya dan kinerja untuk beban kerja AI skala kecil.
Dalam hal efisiensi biaya skala besar, perusahaan dapat mengurangi biaya inferensi dengan menyesuaikan beban kerja secara otomatis, didukung oleh Akamai Cloud yang dibangun di atas infrastruktur open source dengan kuota lalu lintas keluar yang besar.
Untuk responsivitas real-time, jaringan edge global Akamai yang tersebar di lebih dari 4.400 lokasi memungkinkan studio game menghadirkan interaksi NPC berbasis AI dengan waktu respons di bawah 50 milidetik, dan lembaga keuangan dapat melakukan deteksi penipuan yang dipersonalisasi dan memberikan rekomendasi pemasaran dengan cepat.
Infrastruktur ini dibangun berbasis NVIDIA AI Enterprise serta memanfaatkan arsitektur NVIDIA Blackwell dan NVIDIA BlueField DPU untuk jaringan dan keamanan yang dipercepat perangkat keras.
Akamai telah melihat adopsi awal yang kuat terhadap Akamai Inference Cloud di berbagai industri, termasuk Gaming, Layanan Keuangan, Media dan Video (untuk transcoding berbasis AI dan dubbing real-time), serta Ritel dan Perdagangan (untuk aplikasi AI di dalam toko). Platform ini juga telah diakui oleh penyedia teknologi terkemuka, termasuk perjanjian layanan senilai USD200 juta selama empat tahun untuk klaster yang terdiri dari ribuan GPU.
Akamai Inference Cloud kini telah tersedia bagi pelanggan korporat yang memenuhi syarat, dan berbagai organisasi dapat mengajukan permohonan akses.
Cek Berita dan Artikel yang lain di
Google News
(MMI)
