Ollama：筆記本用AI更簡單，還無需聯網！

隨着 Ollama

GGUF（由 GPT 生成的統一格式）模型格式是一種高度優化的文件設計，由開源 AI 社區創建，旨在用於 中等規模的消費硬件 。

將模型壓縮爲單個 GGUF 文件後，通過互聯網下載很容易，而且幾乎能在任何像樣的家用電腦上運行。更重要的是，非技術用戶也可以安裝和運行它們。

以前，模型必須首先通過 Ollama 庫 提供，才能在您的筆記本電腦上運行和下載。這讓整個過程變得更簡單，HuggingFace 表示會努力進一步簡化。

可以說，GGUF 格式對於提高開源 AI 的普及度和可用性所發揮的作用，或許比近期的其他任何發展都要大，除了 Meta 發佈的 LlaMA 系列模型。

目前在 HuggingFace 上存儲着 500 多個 GGUF 模型文件可供選擇，涵蓋了從圖像生成到多語言聊天模型等任何內容。

要使用這種格式，用戶通常得下載自己所選的 GGUF 模型，並依照其軟件客戶端的安裝說明進行操作。

然而，HuggingFace（HF）所提供的這個新選項更進了一步——只要您的機器上已經安裝了 Ollama 就行。

您只需要在 HuggingFace 上找到您心儀的模型，點擊頁面右上角的“使用此模型”按鈕，接着選擇 Ollama。這樣就會彈出一個窗口，裡面有可供複製的模型的 URL 地址。

在 Windows 系統裡，去到搜索欄那兒，輸入“cmd”這個指令並按下回車鍵。當終端窗口冒出來的時候，把您剛複製的 URL 粘貼上去（按 ctrl-V）並再次按下回車鍵。此時，Ollama 將自動下載模型以供使用。快速、簡單且輕鬆。在 Mac 上的過程大致相同，只需將 cmd 替換爲 Terminal。

得注意啦，這些 GGUF 文件也可以使用越來越多的用戶客戶端運行。其中有一些特別受歡迎的，像 Jan、LMStudio 和 Msty。OpenWebUI 聊天應用程序也支持這種格式。

免費開源的 AI 模型這個領域一直都在以超快的速度向前發展，有一部分就是被這樣的發展給推動的。越來越多的人發現，他們能夠用上小型本地運行的 AI 的強大功能和靈活性，而無需擁有計算機科學學位。並且性能一直都在不停地變好。

例如，有一個日益壯大的用戶羣體將本地 GGUF 模型用於專業應用，例如協助他們的家庭業務或幫助完成特定語言翻譯任務。

很高興看到開源即便在面對有風險投資支持的大型公司時，仍能蓬勃發展。