Selama ini, standar performa sering kali hanya diukur berdasarkan throughput token GPU. AMD menekankan bahwa di era layanan AI terkelola, kemampuan infrastruktur untuk menyajikan token secara efisien kepada pelanggan melalui API menjadi prioritas yang lebih krusial.
MLPerf Endpoints, yang dikembangkan oleh konsorsium MLCommons, hadir sebagai rangkaian benchmark inferensi AI yang dirancang khusus untuk merefleksikan penggunaan dunia nyata pada layanan GenAI.
"AMD telah lama mendukung standar terbuka dan benchmarking berbasis komunitas," ujar Emad Barsoum, Corporate VP AMD. Transparansi dalam evaluasi memberikan manfaat besar bagi seluruh ekosistem teknologi. Keterlibatan AMD sejak hari pertama mencakup pendefinisian beban kerja, aturan, serta infrastruktur untuk metode evaluasi baru ini.
Salah satu keunggulan utama dari MLPerf Endpoints adalah arsitektur berbasis API dan sistem pengiriman bergulir (rolling submission). Fitur ini memungkinkan pembaruan benchmark dilakukan secepat pembaruan perangkat lunak, sehingga hasil yang diperoleh tetap relevan dengan cepatnya perkembangan model GenAI modern.
David Kanter, Co-founder MLCommons, mengapresiasi kontribusi AMD dalam membangun standar ini menggunakan infrastruktur produksi nyata, yang memperkuat posisi MLPerf sebagai standar industri tepercaya.
Bagi AMD, kepemimpinan dalam AI juga tentang kontribusi aktif dalam menciptakan standar yang transparan dan dapat direproduksi. Dengan mempublikasikan panduan reproduksibilitas menggunakan framework AI open-source, AMD memastikan bahwa hasil benchmark dapat diverifikasi oleh komunitas secara luas.
Ke depannya, AMD berencana untuk terus mempublikasikan hasil kinerja pada GPU AMD Instinct mereka melalui kerangka kerja MLPerf Endpoints. Langkah ini diharapkan dapat memberikan gambaran performa yang lebih realistis dan transparan bagi para penyedia layanan dan perusahaan yang ingin mengadopsi teknologi GenAI dalam skala besar.
Cek Berita dan Artikel yang lain di
Google News
(MMI)
