NVIDIA merilis Nemotron 3.5 Super VL dan Bolt 74B sebagai model terbuka

NVIDIA memperluas keluarga Nemotron pada 15 Oktober 2026 dengan tiga model terbuka sekaligus. Yang terbesar, Nemotron 3.5 Super VL, berukuran 120 miliar parameter total dengan 12 miliar parameter aktif, memakai arsitektur hybrid Mamba-Transformer berbentuk MoE dan menerima input gambar serta video. Model ini diposisikan untuk agen yang berjalan terus-menerus di pusat data, dengan penekanan pada kecepatan menyelesaikan tugas dan akurasi untuk pekerjaan khusus. Bobotnya tersedia di Hugging Face bersama dataset dan resep pelatihannya, dengan lisensi OpenMDW-1.1.

Dua model lainnya menyasar perangkat. Nemotron 3.5 Bolt 74B-A9B 24GB memiliki 74 miliar parameter total dan 9 miliar parameter aktif per token, lalu dipadatkan dengan kuantisasi 2-bit yang dilatih sadar-kuantisasi sehingga muat dalam 24 GB memori dan bisa berjalan bersama aplikasi lain. Panjang konteksnya hingga 256 ribu token, masukannya teks, gambar, dan video, dan NVIDIA mengklaim kecepatan 84 token per detik pada perangkat RTX Spark. Model ini didukung llama.cpp, Ollama, LM Studio, Unsloth, dan vLLM, termasuk varian GGUF dan sebuah drafter speculative decoding bernama LiLiCorr untuk menambah kecepatan. Versi terkecil, Bolt E4B 4GB, baru menyusul pada 23 Oktober.

Klaim performa yang disampaikan NVIDIA bersifat internal. Perusahaan menyebut Bolt 74B-A9B sebagai model terbuka nomor satu di kelasnya pada PinchBench dan nomor dua di antara model terbuka pada BrowseComp, dengan pengujian mencakup GDPVal v2 untuk kemampuan agentic umum, BrowseComp untuk penjelajahan web, dan Terminal-Bench 2.1 untuk penggunaan terminal. Laporan teknisnya menjelaskan bahwa model dibentuk dari checkpoint Nemotron 3.5 Super VL 120B-A12B lewat kompresi Star Elastic dan distilasi, lalu dikuantisasi ke sekitar 2,06 bit pada bagian pakar sehingga ukurannya turun dari 148 GB dalam BF16 menjadi sekitar 22 GB. Semua angka itu datang dari pihak yang membuat model, dan belum direproduksi penguji independen.

Yang membuat rilis ini layak dicatat bukan posisinya di papan peringkat, melainkan ambang perangkat kerasnya. Selama ini model kelas 70 miliar parameter praktis menuntut 80 GB memori atau lebih bila ingin dipakai dengan konteks panjang; memadatkannya ke 24 GB mengubah siapa yang bisa menjalankannya, dari penyedia cloud menjadi pemilik satu workstation atau laptop kelas atas. Bagi layanan yang memproses dokumen pelanggan, data medis, atau berkas pengadaan yang tidak boleh dikirim ke API pihak ketiga, opsi menjalankan agen sendiri di perangkat lokal menghapus satu kategori risiko kepatuhan tanpa menuntut investasi pusat data.

Tetap ada harga yang dibayar. Kuantisasi 2-bit adalah kompromi agresif, dan meskipun dilatih dengan sadar-kuantisasi, perilakunya pada tugas bernalar panjang perlu diuji sendiri, terutama pada pekerjaan yang menuntut ketelitian angka seperti pembacaan dokumen keuangan atau pemeriksaan konsistensi. Langkah uji yang wajar: jalankan model pada 20 sampai 30 tugas nyata dari pekerjaan sehari-hari, bandingkan dengan model API yang sekarang dipakai pada tugas yang sama, lalu catat tingkat kesalahan yang butuh koreksi manusia. Jika selisihnya masih dapat diterima, barulah bicara soal penghematan biaya per tugas.