What is Vector Database(向量資料庫)?

    專門用於儲存、索引和查詢高維向量嵌入的資料庫。

    Definition

    向量資料庫是專為高維向量嵌入——由神經網路產生的編碼文字、圖片、音訊或其他資料語義意義的數值表示——設計的儲存系統。與透過精確匹配或關鍵詞重疊進行搜尋的傳統資料庫不同,向量資料庫執行近似最近鄰(ANN)搜尋,在高維空間中找到與查詢向量最相似的向量。這實現了語義搜尋:找到與查詢在概念上相似的文件,即使它們不共享任何精確的關鍵詞。

    向量資料庫隨著檢索增強生成(RAG)的興起而成為現代 AI 堆疊的關鍵組件。在 RAG 系統中,文件被轉換為向量嵌入並儲存在向量資料庫中。當使用者提出問題時,問題也被嵌入,向量資料庫高效地找到最語義相似的文件分塊——通常在毫秒內,即使跨越數百萬個向量。

    流行的向量資料庫解決方案包括專門構建的系統如 Pinecone、Weaviate、Qdrant、Milvus 和 Chroma,以及傳統資料庫的向量擴展如 PostgreSQL 的 pgvector。每個在可擴展性、成本、自託管選項和功能豐富度之間提供不同的折衷。向量資料庫的選擇顯著影響 RAG 系統效能,因為檢索品質直接決定了生成回應的品質。

    Why It Matters

    向量資料庫是 RAG 應用的基礎設施骨幹,RAG 代表了最常見的企業 LLM 部署模式。沒有高效的向量搜尋,RAG 系統無法以互動使用所需的速度檢索相關上下文——透過暴力方法掃描數百萬個嵌入將需要數秒而非毫秒。

    除了 RAG 之外,向量資料庫還實現語義搜尋、推薦系統、重複偵測和異常偵測。對於 AI 團隊來說,選擇和配置正確的向量資料庫是影響其 AI 應用品質和成本的關鍵基礎設施決策。Qdrant 和 Milvus 等自託管選項對於需要將資料保持在本地的組織特別重要。

    How It Works

    向量資料庫使用近似最近鄰(ANN)演算法使高維相似度搜尋變得可行。最常見的索引方法包括 HNSW(分層可導航小世界圖),它構建多層圖連接相似的向量;IVF(倒排檔案索引),它將向量分割為叢集並只搜尋附近的叢集;以及乘積量化,它壓縮向量以減少記憶體使用和搜尋時間。

    當查詢向量到達時,索引結構快速將搜尋空間從數百萬個候選縮小到幾千個,然後對這個縮小的集合進行精確距離計算。距離指標——通常是餘弦相似度、點積或歐幾里得距離——決定了相似度的定義方式。大多數向量資料庫還支援混合搜尋,將向量相似度與傳統的基於關鍵詞的過濾相結合,允許像「找到過去 30 天內的相似文件」這樣的查詢。

    Example Use Case

    一個客服平台將 200 萬篇知識庫文章和常見問題條目嵌入到向量資料庫中。當客戶以自然語言描述他們的問題時,系統嵌入描述並在 50ms 內檢索 5 篇最語義相似的知識庫文章。這些文章被傳遞給 LLM 生成量身定制的回應,與基於關鍵詞的搜尋相比,轉接到人工客服的工單減少了 40%。

    Key Takeaways

    • 向量資料庫儲存和搜尋高維嵌入以進行語義相似度檢索。
    • 它們是 RAG 系統和語義搜尋應用的基礎設施。
    • HNSW 和 IVF 等 ANN 演算法實現跨數百萬向量的毫秒級搜尋。
    • 專門構建的(Pinecone、Qdrant)和基於擴展的(pgvector)選項都存在。
    • 向量資料庫的檢索品質直接決定 RAG 回應品質。

    How Ertas Helps

    Ertas Data Suite 可以將處理和分塊的文件匯出為準備好供向量資料庫攝取的格式,簡化從原始文件到可搜尋嵌入的管線,服務於由 Ertas Studio 中微調的模型驅動的 RAG 系統。

    Related Resources

    Ship AI that runs on your users' devices.

    Early bird pricing starts at $14.50/mo — locked in for life. Plans for builders and agencies.