Retrieval tanpa embedding
3 Agustus 2026
Kenapa saya membuat vektor 256 dimensi dengan tangan, deterministik, gratis, dan sengaja bodoh, dan filter empat tahap yang memakainya.
Cara bawaan membangun retrieval sekarang adalah embedding: teks dijalankan lewat model embedding, vektornya disimpan di vector database, lalu diurutkan dengan cosine similarity. Cara ini jalan dan cepat dipasang. Saya tidak memakainya.
Vektor retrieval di sini saya bangun dengan tangan: 256 dimensi, tanpa inferensi model, Go murni, di-hash dengan FNV-1a. Tanpa panggilan API, tanpa GPU, tanpa biaya per item. Vektornya menjadi masukan bagi filter empat tahap yang menentukan apa yang disimpan.
Berawal dari obrolan dengan Pak Aria Ghora
Tulisan ini sebagian berawal dari obrolan saya dengan Aria Ghora bulan Juni lalu, soal kutipan antirez bahwa raw vector search adalah struktur data yang fundamental. Satu gagasan beliau tertinggal di kepala saya. Vektor itu representasi yang umum dan tidak harus lahir dari LLM. Hasil feature extraction ML klasik, bahkan struktur layout dokumen, semuanya bisa dijadikan vektor.
Selama bisa di-encode dalam vektor, entah via ekstraksi manual atau via suatu pretrained model, secara teknis bisa dibingkai sebagai permasalahan vector search.
Jawaban saya waktu itu: "saya coba kulik, Pak." Vektor 256 dimensi di bawah adalah hasil kuliknya.
Kenapa tidak embedding
Ada tiga alasan, kira-kira urut dari yang paling berpengaruh.
Biaya. Di volume ini, satu panggilan API embedding per halaman menjadi pos anggaran yang nyata.
Reproducibility. Model embedding bisa berubah tanpa kita sadari. Vendor memperbarui modelnya, vektor bergeser, dan threshold yang bulan lalu sudah kita tuning diam-diam bermakna lain. Encoder buatan tangan adalah fungsi murni: input sama, 256 angka yang sama, setiap kali. Jadi kalau sebuah match tampak salah, saya bisa mereproduksinya persis.
Alasan utamanya struktural. Embedding melebur semuanya (topik, kategori, wilayah, gaya bahasa) menjadi satu vektor, dan cosine similarity mencampur semuanya sekaligus. Saya butuh sebagian informasi itu jadi filter keras dan sisanya jadi pengurutan lunak: dua item wajib satu kategori dan satu wilayah, baru kemudian diurutkan berdasarkan isi. Di dalam satu embedding hasil pelatihan tidak ada cara bersih untuk berkata "dimensi ini syarat, dimensi itu skor". Jadi saya bangun vektornya supaya keduanya terpisah.
Vektornya dua blok
dim = 256
// Blok SHAPE, dimensi 0..63: hard equality filter, bukan similarity math
catBase = 0, catSpan = 16 // one-hot kategori
provBase = 16, provSpan = 38 // one-hot wilayah
flagBase = 58, flagSpan = 6 // structural flag
shapeEnd = 64
// Blok CONTENT, dimensi 64..255: inilah yang benar-benar diukur cosine
contentBase = 64, contentSpan = 19264 dimensi pertama adalah blok shape: one-hot kategori, one-hot wilayah, dan beberapa flag struktural. Blok ini tidak pernah masuk perhitungan jarak. Ia kunci filter: "bandingkan aku hanya dengan item yang kategori dan wilayahnya sama".
192 dimensi sisanya adalah blok content: sidik jari teks item yang dihasilkan feature hashing, dan satu-satunya bagian yang disentuh cosine similarity.
Shape menyaring, content mengurutkan, dan keduanya tidak pernah digabung jadi satu skor. Kalau digabung, kita kembali ke satu angka campuran ala embedding.
Feature hashing untuk kontennya
Blok content memakai hashing trick, yang usianya jauh mendahului transformer. Tidak ada vocabulary hasil pelatihan dan tidak ada tabel embedding. Kita ambil fitur (di sini: character 3-gram dari nama yang sudah dinormalisasi, token wilayah, dan kumpulan atribut khas tiap kategori), hash tiap fitur ke sebuah bucket, lalu tambahkan nilainya.
Saya memakai varian bertanda (signed). Kalau setiap fitur hanya menambah, fitur yang bertabrakan selalu saling menguatkan, dan tabrakan berubah jadi sinyal palsu. Dengan bit hash kedua yang menentukan tanda, tabrakan cenderung saling meniadakan:
// Feature hashing dengan signed trick (Weinberger dkk.).
// Bit hash kedua menentukan +1 atau -1, jadi fitur yang collide
// cenderung saling meniadakan alih-alih menguatkan. Collision jadi
// noise, bukan bias.
func addFeature(vec []float32, token string, base, span int) {
h := fnv32(token)
bucket := base + int(h%uint32(span))
if h&(1<<31) != 0 {
vec[bucket] -= 1
} else {
vec[bucket] += 1
}
}Beberapa batas menjaganya tetap waras: maksimal 48 token per item, tanpa duplikat, minimal 3 huruf, stopword dibuang. Setelah itu seluruh vektor dinormalisasi L2 supaya operator cosine pgvector bekerja benar. Itulah seluruh encoder-nya: satu pemanggilan fungsi sinkron per item, tanpa batching, tanpa jaringan. Vektornya tidak tahu arti kata apa pun, ia hanya tahu bucket mana yang menyala. Untuk pekerjaan ini cukup, dan sifatnya yang deterministik dan gratis lebih berharga daripada memahami teks.
Penyimpanan: pgvector, dipartisi per kategori
Vektornya disimpan di Postgres dengan pgvector dan HNSW. Tabelnya saya partisi berdasarkan category_id (16 partisi plus satu default), dengan indeks HNSW lokal di tiap partisi.
Alasannya ada di cara HNSW bekerja bersama filter. HNSW itu aproksimasi: ia menyusuri graf dan mengembalikan kira-kira ef_search tetangga terdekat. Kalau hasil itu baru difilter dengan category_id = 3, padahal kategori 3 hanya 1% dari sejuta baris, tetangga aproksimasinya bisa saja tidak berisi satu pun baris yang cocok. Hasilnya kosong dari tabel yang jelas berisi data yang cocok, dan recall anjlok tanpa suara. Partisi berdasarkan kunci yang sama dengan filter menghindari itu: query untuk kategori 3 hanya menyentuh indeks kategori 3, graf kecil yang setiap simpulnya sudah lolos filter.
-- Shape block adalah hard equality pre-filter (langkah "blocking").
-- Cosine distance content block (<=>) melakukan ranking.
-- Karena tabel dipartisi berdasarkan category_id, ini mengenai satu
-- HNSW graph kecil per partisi, jadi recall tetap tinggi.
SELECT candidate_id, title, 1 - (vec <=> $1::vector) AS similarity
FROM vector_index
WHERE category_id = $2 AND province_id = $3
ORDER BY vec <=> $1::vector
LIMIT 8;Ketika pipeline menolak sebuah item karena duplikat atau tidak relevan, vektornya dihapus dalam transaksi yang sama dengan keputusan itu. Dengan begitu indeks hanya berisi vektor yang layak dijadikan pembanding.
Gate-nya berbentuk corong
Untuk setiap halaman, sistem memutuskan apakah halaman itu disimpan dan apakah isinya sudah tercakup. Itu butuh empat keputusan, disusun supaya tiap tahap lebih presisi dan lebih mahal dari tahap sebelumnya, dan hanya berjalan pada yang lolos dari tahap sebelumnya.
Daftar istilah leksikal, saat crawl, tanpa biaya AI. Kosakata domain yang saya susun tangan, diberi skor (kena di judul 2 poin, di isi 1 poin), dengan ambang di bawah mana halaman tidak pernah masuk ke bagian pipeline yang mahal. Tahap ini jalan pada semua halaman, jadi harus gratis.
Pre-gate LLM yang murah dan longgar. Ekstraksi (mengubah halaman jadi data terstruktur) memakan sekitar 95% dari total biaya AI, dan gate presisi di hilir menolak sekitar 85% dari hasil ekstraksi. Maka model kecil dan cepat berjalan lebih dulu, dibatasi 150 token output, hanya untuk membuang sampah yang jelas sebelum kita membayar ekstraksi penuh. Ia fail open: pada error apa pun atau balasan yang tidak terbaca, halaman diloloskan. Pre-gate yang salah menolak membuat data hilang permanen, sedangkan yang salah menerima hanya membuang sedikit uang di hilir.
Gate LLM yang presisi. Pemeriksaan rentang kategori yang deterministik dulu (masih gratis), lalu satu panggilan ke model yang lebih kuat dengan prompt klasifikasi yang sudah diperketat. Kalau balasannya ambigu, ia tidak dipaksa jadi lolos atau gagal; job-nya di-retry. Vonis salah yang tidak ketahuan lebih mahal daripada satu panggilan tambahan.
Vector gate, tempat retrieval terjadi.
Penolakan di tahap mana pun melewati semua tahap di bawahnya, jadi penilaian yang mahal hanya berjalan pada sisa kecil yang tak bisa diputuskan filter murah.
Retrieval di dalam vector gate
Di dalam vector gate, retrieval berupa cascade empat langkah berurutan, tanpa BM25 atau full-text search sama sekali:
- Pencarian judul yang sudah dinormalisasi, persis sama, terhadap korpus acuan. Ini yang termurah; kalau judulnya identik, selesai.
- Vector ANN search, query di atas. Blok shape menyaring, blok content mengurutkan, 8 teratas.
- Fallback judul fuzzy, ketika langkah 1 dan 2 sama-sama kosong: trigram-Jaccard similarity yang saya tulis sendiri di Go (saya memilih tidak memasang
pg_trgm), dibatasi prefix-scan SQL sampai maksimal 500 kandidat supaya tidak pernah memindai seluruh tabel. - Net-new, tidak ada yang cocok.
Kalau ada yang cocok, keputusannya menggabungkan tiga sinyal yang saling bebas, bukan satu:
Cosine band vektor (deterministik, tanpa AI):
similarity >= 0.90 -> near-duplicate, skip
0.60 .. 0.90 -> probable match, butuh penilaian
similarity < 0.60 -> net-new
+ title trigram similarity (deterministik, Go)
+ content coverage dinilai-LLM (seberapa banyak ini sudah dicakup match?)Cosine band adalah potongan pertama yang cepat dan deterministik. Hanya rentang tengah 0.60–0.90, "mungkin hal yang sama, belum yakin", yang memakai panggilan LLM, untuk menilai seberapa banyak isi item baru sudah tercakup item lama. Satu panggilan cross-validation di akhir bertindak sebagai gerbang kepercayaan, dan sebuah item baru dipublikasikan hanya kalau semuanya sepakat:
func shouldPublish(d Decision) bool {
if d.CulturalGate != "pass" || d.CrossValidation != "accept" {
return false
}
return d.NoveltyVerdict == "net-new" ||
d.NoveltyVerdict == "enrich" ||
d.NoveltyVerdict == "supplement"
}Near-duplicate di 0.90 ke atas tidak menghabiskan satu token pun.
Memutuskan ulang ketika classifier berubah
Gate berbasis LLM punya masalah tersendiri. Ketika prompt klasifikasi diperbaiki (kita menemukan satu kelas false positive lalu memperketatnya), semua yang sudah terbit dengan prompt lama jadi patut dicurigai, dan perbaikan itu tidak menjangkau ke belakang.
Karena itu ada batch re-gate yang menjalankan ulang gate yang sekarang terhadap setiap item yang sudah terbit. Satu batasan membentuk desainnya: isi halaman mentah hanya disimpan 7 hari, jadi untuk item yang lebih tua HTML sumbernya sudah hilang dan re-gate berjalan terhadap kandidat hasil ekstraksi yang tersimpan. Secara default ia dry-run, dan baru mengubah sesuatu kalau diberi -execute -confirm=<token> secara eksplisit, karena ia bisa membatalkan publikasi. Dan karena penyimpanan di hilir tidak punya API hapus, ia tidak berpura-pura bisa menghapus; ia mencetak daftar purge untuk dikerjakan manusia.