高級Redis架構師——史磊演講
《搜索、探索、求索、Redis向量數據庫》
Search, Explore, Search, Redis Vector Database
史磊 Redis高級架構師
專題采訪：ChatGPT 和 OpenAI 都在用的 Redis，是如何升級為向量數據庫的？
采訪簡介：各行業的公司越來越認識到，制定數據驅動的決策是現在、未來 5 年、未來 20 年甚至更長時間內競爭的必要條件。數據增長（尤其是非結構化數據增長）達到了前所未有的水平，數據泛濫和人工智能時代已經來臨。
這一現實隱含的是，人工智能可以對海量數據進行有意義的分類和處理——不僅對 Alphabet、Meta 和微軟等擁有龐大研發業務和定制人工智能工具的科技巨頭是這樣，對普通企業甚至中小型企業而言也是如此。
精心設計的基於人工智能的應用程序可以極快地篩選極其龐大的數據集，以產生新的見解並最終推動新的收入來源，從而為企業創造真正的價值。但是，如果沒有新出現的新事物——向量數據庫，任何數據增長都無法真正實現可操作性和民主化。
隨著大語言模型的爆火，向量數據庫也成為了熱門話題。只需幾行簡單的 Python 代碼，向量數據庫就可以充當大語言模型廉價但高效的“外部大腦”。但我們真的需要一個專門的向量數據庫嗎？向量數據庫究竟是炒作還是剛需？聽虹科雲科技官方合作生態夥伴Redis高級架構師史磊聊一聊 Redis向量數據庫技術實踐。
Use AI to reimagine search
使用 AI 重新建構非結構化數據的搜索
用戶期望在遇到的每個應用程序和網站中提供搜索功能。然而，超過 80% 的業務數據是非結構化的，以文本、圖像、音頻、視頻或其他格式存儲。
組織需要重新構想使每種數據可發現的方法 – 其中最重要的是因為用戶需要。強大的搜索功能將為下一代應用程序提供動力。
什麽是向量數據庫？
MISSION-DRIVEN
矢量相似性搜索（VSS）
——矢量數據庫的關鍵功能
矢量數據庫是一種以向量或數據點的數學表示形式存儲數據的數據庫 人工智能和機器學習使非結構化數據能夠轉換為捕獲意義和上下文的數字表示（向量），這得益於自然語言處理和計算機視覺的進步。
矢量相似性搜索 （VSS） 是矢量數據庫的關鍵功能。它是查找與向量數據庫中給定查詢向量相似的數據點的過程。常用的 VSS 用途包括推薦系統、圖像和視頻搜索、自然語言處理和異常檢測。例如，如果構建推薦系統，則可以使用 VSS 查找（並建議）與用戶以前表現出興趣的產品類似的產品。
為什麽VSS是向量數據庫的關鍵組成部分？
傳統的關鍵字匹配和過濾只能帶您到此為止。普通的搜索算法對於文本和文檔用例很有用，但當搜索結果不包含含義或上下文時，它們會受到限制。非結構化數據的激增在傳統關鍵字匹配和過濾的有效性方面造成了巨大差距。每個存儲非文本數據的組織（幾乎是每個人）都可以從改進非結構化數據的搜索功能中受益。但直到最近，只有少數大型雲原生科技公司擁有這種能力。
Redis向量數據庫
適用於每個組織的矢量數據庫解決方案
1
實時搜索性能
搜索和推薦系統必須運行得非常快。Redis 企業版中的 VSS 功能保證了低搜索延遲，無論數據收集是數萬個還是數億個對象，分布在多個數據庫節點上。
2
內置容錯和彈性
Redis 企業版使用無共享集群架構。它在所有級別都具有容錯能力，可在進程級別、單個節點和跨基礎架構可用性區域進行自動故障轉移。Redis 企業版包括可調持久性和災難恢覆機制。
3
降低架構和應用程序覆雜性
最有可能的是，您的組織已從 Redis Enterprise 中受益，以滿足其緩存需求。開發人員可以像在 Redis 哈希或 JSON 對象中存儲任何其他字段一樣輕松地存儲向量。
4
跨雲和地理位置的靈活性
選擇數據庫的運行位置。Redis 企業版可以部署在任何位置、任何雲平台、本地或多雲或混合雲架構中。
Redis向量數據庫使用案例
1
檢索增強（RAG）
Redis Enterprise 提供強大的混合語義功能，將相關上下文數據發送到 LLM 之前將其注入提示中，並存儲特定於外部領域的知識以提高結果質量。
2
語義緩存
Redis 企業版可識別和檢索在語義上與輸入查詢非常相似的緩存響應，從而大大減少響應時間和發送到 LLM 的請求數。
3
推薦系統
Redis 企業版幫助推薦引擎以低延遲向用戶提供新鮮的相關建議。幫助您找到與購物者喜歡的產品相似的產品。
4
文檔搜索
Redis Enterprise 使用自然語言和語義搜索，可以更輕松地從大型文檔語料庫中發現和檢索信息。
客戶案例
借助 Redis VSS，我們可以為客戶提供矢量搜索，並確信它可靠且速度極快。與最初基於 Lucene 的實現相比，我們看到延遲改善了 80%。我們很高興與值得信賴的品牌和團隊合作，與企業的合作更加輕松。
我們的實時推薦器基礎設施需要在幾毫秒內搜索和更新矢量嵌入，為我們的社交和市場客戶提供超快的體驗。我們對市場上的所有產品進行了基準測試，Redis名列前茅。此外，它很容易通過一鍵式 Redis 企業雲設置使用。
我們的檢索、轉換和擴充平台嚴重依賴矢量數據庫，將內部數據與強大的語言模型無縫集成，同時優先考慮數據安全性。在對多個矢量數據庫提供商進行詳盡評估後，Mantium 選擇了 Redis，因為它具有卓越的性能和廣泛的開發人員支持。Redis 提供的速度和成本優勢簡直無與倫比。
Docugami的用於商業文檔的生成式AI需要令人難以置信的速度和效率，以實現我們的LLM和ML運營。通過 Redis Enterprise，我們看到了文檔 XML 知識圖譜編寫性能的顯著提高，以及 COGS 的顯著降低。Redis 矢量數據庫的集成使我們能夠更有效地處理嵌入，在將長篇文檔轉換為客戶數據時提高一致性和準確性。
矢量相似性搜尋功能
矢量索引算法
Redis 企業版以索引數據結構管理向量，實現智能相似性搜索，平衡搜索速度和搜索質量。根據您的數據和用例，從兩種流行的技術中進行選擇，即 FLAT（暴力破解方法）和 HNSW（更快、更近似的方法）。
矢量搜索距離指標
Redis 企業使用距離度量來衡量兩個向量之間的相似性。從三個流行的指標（歐幾里得、內積和余弦相似性）中進行選擇，用於計算兩個向量的“接近”或“遠距離”。
強大的混合過濾
利用 Redis 企業查詢和搜索中提供的全套搜索功能。通過將矢量相似性的強大功能與更傳統的數字、文本和標簽過濾器相結合，增強您的工作流程。將更多業務邏輯合並到查詢中並簡化客戶端應用程序代碼。
實時更新
實時搜索和推薦系統生成大量不斷變化的數據。新圖像、文本、產品或元數據？隨著數據集隨時間的變化，無縫地對搜索索引執行更新、插入和刪除。Redis Enterprise 減少了數據停滯帶來的代價高昂的影響。
矢量範圍查詢
傳統的向量搜索是通過查找“前 K”個最相似的向量來執行的。Redis Enterprise 還支持在預定義的相似性範圍或閾值內發現相關內容，並提供更靈活的搜索體驗。
相關資源
使用Redis VSS檢索
企業級向量數據庫
Redis 企業版向量相似性搜索
合作夥伴
