EmbeddingGemma 2 menyatukan teks, kode, gambar, video, dan audio dalam satu ruang vektor

EmbeddingGemma 2 adalah model embedding berbobot terbuka dari Google yang dirancang untuk berjalan di ponsel dan laptop, bukan di kluster GPU. Model ini dibangun di atas Gemma 4 dan dilepas dengan lisensi Apache 2.0. Fungsi utamanya adalah mengubah berbagai jenis konten menjadi vektor angka yang bisa dibandingkan berdasarkan kedekatan makna, sehingga mesin pencari dan sistem retrieval augmented generation bisa menemukan dokumen, tangkapan layar, atau rekaman suara yang relevan dengan satu kueri.

Perubahan terpenting dibanding generasi pertama adalah penyatuan modalitas. EmbeddingGemma 2 memetakan teks, kode, gambar, video, dan audio ke satu ruang 768 dimensi, sehingga hasil dari modalitas berbeda tetap bisa dihitung kemiripannya tanpa membangun ruang embedding terpisah yang tidak kompatibel. Google juga membuat encoder bisa dimuat sesuai kebutuhan: sekitar 271 juta parameter untuk teks dan kode saja, 439 juta untuk teks dan gambar, 577 juta untuk teks dan audio, sampai 744 juta untuk multimodal penuh. Untuk menghemat penyimpanan, model mendukung Matryoshka Representation Learning sehingga vektor bisa dipotong lebih pendek; satu juta vektor 768 dimensi pada presisi bfloat16 memakan sekitar 1,5 GB, sedangkan pada 128 dimensi tinggal sekitar 250 MB.

Ada harga yang harus dibayar untuk pemotongan itu. Google menyatakan pada 128 dimensi model masih mempertahankan sekitar 90 persen kualitas untuk tugas teks, tetapi turun ke sekitar 75 persen untuk pencarian gambar, video, dan suara, sehingga pemotongan sebaiknya hanya dipakai bila penyimpanan atau kecepatan benar-benar menekan. Praktisi yang mengomentari rilis ini di Reddit juga mengingatkan dua jebakan teknis: prefiks tugas bukan opsional, karena memakai prefiks kueri saat mengindeks dokumen akan menurunkan recall secara nyata, dan bila vektor dipotong untuk MRL, pemotongan harus dilakukan sebelum normalisasi L2, bukan sesudahnya. Kritik lain yang muncul: lonjakan kualitas pada tugas teks murni tidak sebesar lonjakan pada kemampuan lintas modalitas.

Untuk pengembangan sehari-hari, rilis ini menarik karena menghapus satu sumber kerumitan. Katalog PDF, arsip gambar hasil konversi, transkrip audio, dan potongan video bisa masuk ke satu indeks dan dicari dengan satu kueri, tanpa perlu tiga sistem berbeda yang masing-masing punya model dan dimensi sendiri. Karena berjalan di perangkat, model ini juga cocok untuk pemakaian yang sensitif terhadap privasi. Yang perlu diuji sendiri sebelum dipakai produksi: kualitas retrieval pada bahasa Indonesia, karena pengujian yang dipublikasikan berpusat pada konten berbahasa Inggris dan kode, serta efek pemotongan dimensi pada campuran dokumen dan gambar yang biasanya ada di arsip perusahaan.