利用 LM Studio 實作 RAG 系統

很常有人問怎麼訓練自己的 AI 模型，但是又不懂怎麼訓練模型。或是不想要把自己公司的資料放在雲端上而苦惱著。

所以這次我想介紹一個很簡單的工具，LM Studio。

什麼是 RAG（檢索增強生成）？

檢索增強生成（RAG Retrieval Augmented Generation）是一種結合了檢索技術和生成模型的方法。它的主要目的是使用者提供的相關資訊，透過一些技術來增強內容的輸出。讓我們在檢索資訊的過程中，提高生成內容的準確性和提問的相關性。

在檢索的過程中，系統會從預定的檔案文件、資料庫或網路資源中檢索與使用者查詢相關的資訊。這些資訊可以是文本段落、文件或網頁內容等。例如我想查詢：3/15 日有什麼行程，一個理想的 AI 模型就會去檢索我的 Google 日曆，或是某些電子信箱，幫我整理出有 3/15 相關的內容。我們會透過 Embedding，也就是向量化的方式來表示文本，目前最簡單的向量化是將文本資料轉換為以數字表達向量距離的過程。我們就可以透過向量距離（相關性）來回傳相似度最高的答案。

完成了檢索階段，我們就進入到內容生成階段，模型會利用這些前面檢索到的內容，來生成更為精確和有意義的回答或文本。

這樣的過程，我們不直接調整模型參數取得資訊的方式，我們就稱之為檢索增強生成。