Search

Hongke's latest articles

HongKe

Add your title text here

I. Introduction: Strategic Changes at the Data Layer under the Critical Infrastructure Legislation

【虹科方案】AI 讀不懂業務?破解企業 AI 上下文斷裂與實時數據瓶頸

AI 能自動總結文件,也能回答網絡上幾乎任何開放式問題。然而,一旦讓它處理企業私有的業務問題,一切就不再奏效:擷取過期的價格、忽視內部政策,或者捏造一些聽起來可信、卻與現實對不上的細節。這究竟是大語言模型(LLM)的問題,還是企業 AI 架構出了差錯?

為什麼企業 AI 對「當前業務狀態」的依賴如此苛刻?

通用 AI 的容錯空間很大:答案多說一句、少說一句,在大多數日常場景下無傷大雅。但企業級 AI(Enterprise AI)截然不同,它需要精準到具體業務細節:這個客戶的合約條款是什麼?今天的庫存餘量是多少?上週剛修改的審批政策是哪一條?這張報價單(Quotation)的有效期截止到星期五幾點?任何一處不精準,輸出就徹底失去了商業價值,哪怕它的格式再漂亮、語氣再專業。

大多數企業 AI 出現故障,追根溯源都是「上下文缺口」(Context Gap):系統雖然能存取數據,卻缺乏告訴模型「這條數據在當前商業語境下代表什麼」的背景資訊。它檢索到一個營收數字,卻不知道那是暫定估值而非已確認數字;它推薦了一個操作方案,卻沒有拿到上週策略變更的資訊;它引用了一個昨天就已失效的價格。模型在拿到的資訊上進行了正確的邏輯推理,但缺失的上下文,讓技術上正確的輸出變成了業務上無法執行的廢話。

這充分解釋了為什麼很多 AI 項目能輕鬆通過 POC 演示與驗收,卻在正式上線(Go-live)後悄悄被束之高閣。Demo 運行的是一份精心篩選的靜態數據切片(Static Data Snapshot);生產環境運行的則是隨時在動態變化的真實業務狀態。當模型推理依據的上下文與業務現實脫節,使用者對 AI 的信任很快就會瓦解。

上下文斷裂在哪些場景最為致命?

以下幾個典型應用場景,清晰展現了上下文缺口如何在真實業務中造成損害:

1. 客服 Copilot

處理退款訴求的 Agent 需要拿到的是:客戶當前的服務計劃等級、這筆訂單的實時狀態(Real-time Status),以及該地區今天生效的退換貨政策,而不是上個季度的版本。一旦拿到舊政策,它不會察覺任何異常,而是把過期規則當作事實陳述並流暢生成回覆。一條錯誤資訊進去,一個看似無懈可擊的錯誤答案出來,客戶便會信以為真。

2. 銷售與商機助手

銷售人員詢問「這個客戶我該發送什麼資料」,需要的是當前價格表、現行折扣方案、最近的售後工單紀錄(Ticket Records),以及團隊內部上次與該客戶溝通的會議紀錄。如果索引裡混雜著現行價格表、上季度的產品發佈資料和一份已封存的折扣政策,助手給出的依然是一個聽起來很自信的答案,只不過是從錯誤的混合來源裡拼湊出來的,報出去的數字商務團隊根本不會認可。

3. 內部知識 Copilot

HR、法務、IT、財務等部門的 Copilot,能力上限完全取決於檢索到的政策文件質量。如果正確條款與過時的討論紀錄混在一起,模型會把兩者融合作答,員工得到的指引可能是幾個月前就已失效的版本。這裡出錯的不是模型本身,而是系統把錯誤的文件遞給了模型。

4. 營運與供應鏈 Agent

庫存水位、產能分配、SLA(服務層級協定)履約判斷,這些決策每小時都在變。當同一條 SLA 規則的兩個版本分散在不同系統,一個工作路徑拿到了最新版,另一個拿到的是封存版,同一個問題就可能得到兩個截然相反的答案,取決於哪個數據源被優先命中。建議重新路由、補貨或升級處理的 Agent,必須基於當下的業務狀態進行推理,而不是上一次批次同步時的快照。

5. 多步驟 Agentic 工作流

一旦一個 Agent 的輸出變成另一個 Agent 的輸入,每一處過時或缺失的上下文都會在鏈路中持續放大。隨著推理鏈(Reasoning Chain)延伸,上下文窗口被工具調用結果、中間筆記和歷史對話填滿,真正關鍵的業務資訊被淹沒,最終行動反映的是上下文裡「聲音最響」的內容而非真實情況。鏈條越長,答錯的代價越高。

核心結論:在所有這些失敗案例中,大模型本身並非瓶頸所在。瓶頸在於——系統能否在模型推理的那一刻,把完全正確的實時業務狀態精準送到模型面前。

換個更大的模型,為什麼解決不了問題?

即使數據就在企業系統的某個角落存著,上下文在抵達模型之前,往往已經以幾種可預見的方式損壞:

  • 過時或失真的資訊被當作事實基準(Truth Baseline)
  • 數據雜訊淹沒了真正具有高訊號量的關鍵內容
  • 相互矛盾的數據源讓系統無法判斷哪個版本反映了業務現實
  • 隨著上下文窗口(Context Window)擴大,檢索質量與精準度在悄悄衰減

每種故障模式各有其根因和修復路徑,但它們的共同結果只有一個:模型輸出了業務上無法落地的內容。而這些,沒有一個是大模型本身的問題The

常見的誤判是把這些問題貼上「模型質量不足」的標籤,然後去尋找一個規模更大的 LLM——但更強的模型只會把錯誤答案表達得更流暢。真正能帶來實質突破的工作,存在於模型周圍的系統層:檢索管道(Retrieval Pipeline)、數據時效性保障、衝突處理機制以及雜訊控制。工程團隊在這一層上的投入往往嚴重不足,最終在生產環境中付出代價。模型周圍的系統必須在模型作答之前,修復並優化好輸入數據。

Context Layer(上下文層)要做好的三件事

Context Layer(上下文層)是技術棧中負責將業務實時狀態轉化為 AI 應用在推理時可用素材的核心層級。具體而言,它需要做好三件事:

1. 將業務系統與 AI 查詢層徹底隔離

業務數據庫、CRM 系統、文件存儲仍然是數據的權威來源(Source of Truth),但 AI 應用不能在每一步交互中直接穿透查詢這些核心系統。它需要一個專門為快速檢索與服務設計的中間層,最新狀態持續流入,讓應用不必在昨天的快照上進行推理。

2. 精準檢索「對的內容」,而不只是更多內容

更大的上下文窗口,並不代表能解決抓取錯誤內容的問題。業務上下文沒有單一形態:有些問題依賴文本語義相似度(Semantic Similarity),有些依賴精確產品名稱與 SKU 編號的全文匹配,有些則依賴標籤、數值範圍、元數據等結構化過濾。上下文層需要同時處理這三類檢索,並把結果排得足夠準,讓模型不必在大批「接近但不對」的內容裡掙扎。

3. 響應速度快至毫秒級,確保真正可用

上下文只有在應用能在一次用戶交互或 Agent 執行步驟的時間窗口內完成檢索與組裝時,才有意義。檢索慢不只是影響用戶體驗,它直接限制了 Agent 能嘗試的操作範圍。上下文響應越快,Agent 能鏈式執行的步驟越多,在延遲累積至用戶無法接受之前能完成的事情也越多。

Redis 如何強效支撐 AI 上下文層?

Redis 本身就是為快速存取持續變化的數據而生的,這使它天然契合 AI 工作負載中上下文層的職責:應用層負責編排工作流(Workflow Orchestration),Redis 負責存儲、索引與服務工作流所依賴的上下文,以超低延遲讀取持續更新的最新狀態。

Redis Iris 是 Redis 面向此場景推出的實時上下文引擎,位於 Agent 與其所需數據之間,由五大核心組件協同構成:

• Redis Context Retriever

讓外部數據源對 Agent 可導航、可高效率檢索。

• Redis Agent Memory

提供跨會話(Cross-session)的短期與長期記憶存儲能力。

• Redis Data Integration

透過 Change Data Capture (CDC) 技術,從 PostgreSQL、MongoDB、Oracle 等系統實時同步變更至 Redis。

• Redis LangCache

語義快取(Semantic Cache),識別語義等價的重複請求,顯著降低延遲與 Token 開銷。

• Redis Search

混合搜索引擎,在單次查詢中完美融合向量檢索(Vector Search)、全文檢索與結構化欄位過濾。

這五個組件加在一起,把「當前、相關、夠快」從需要企業自行拼裝的複雜基礎設施,變成了一個可以直接調用的服務層。

Conclusion

把一個好模型變成一個有用的系統,關鍵往往不在於撰寫更好的 Prompt(提示詞),而是在於模型進行推理的那一刻,給它正確的業務狀態:足夠新鮮、足夠相關、快至即時可用The

這本質上是一個基礎設施(Infrastructure)問題,而不是提示詞工程(Prompt Engineering)問題。AI 應用的能力邊界,最終由餵給它的上下文質量(Context Quality)所決定。

Other Articles

Hongke Dry Goods

[Hongke Solutions] Human Security Defenses for Hong Kong Businesses: Compliance, Training, and AI-Powered Phishing Response – KnowBe4 Solutions

Generative AI phishing attacks are surging, and technical defenses alone are insufficient to counter social engineering. This article provides an in-depth analysis of the latest data from HKCERT, as well as key regulatory compliance requirements under the PDPO, HKMA CFI 2.0, and SFC. It also explains how to use KnowBe4 to establish a continuous human-factor risk management cycle and automated training exercises.

Read more
Hongke Dry Goods

[Hongke Insights] Did You Receive an Urgent Email from the CEO Asking for a Wire Transfer? It Might Be a Scam: How Companies Can Protect Themselves Against Business Email Compromise Scams

An urgent email from the CEO requesting a wire transfer could be a Business Email Compromise (BEC) scam! Scammers impersonate the CEO, CFO, or a supplier and use their positional authority, along with urgent and confidential language, to trick employees into making wire transfers, changing bank accounts, or disclosing sensitive information. This article breaks down common CEO fraud tactics and shares prevention strategies for businesses, including KnowBe4-style security awareness training, simulation exercises, one-click reporting, independent payment verification, and dual approval processes—all designed to help organizations thwart these scams.

Read more
Hongke Dry Goods

[Hongke Insights] The Hong Kong Monetary Authority’s Anti-Fraud Checklist Reveals Corporate Blind Spots: Why the Financial Industry Needs KnowBe4-Style Cybersecurity Awareness Training

The Hong Kong Monetary Authority’s “Beware of Scammers!” anti-fraud checklist is continuously updated, exposing scammers who impersonate banks and create fake websites, emails, and apps. Phishing attacks are becoming increasingly industrialized, and nearly all of Hong Kong’s major banks have been targeted by imposters. Relying solely on firewalls and email gateways makes it difficult to block social engineering attacks that bypass technical checks; what scammers truly exploit is people’s sense of urgency and trust. KnowBe4-style cybersecurity awareness training employs a closed-loop “assessment, training, simulation, feedback” approach. Through simulated phishing attacks, microlearning, real-time coaching, and quantifiable reports, it continuously enhances employee vigilance, transforming employees from the weakest link into the first line of defense.

Read more

Contact Hongke to help you solve your problems.

Let's have a chat