Ollama Integration
本頁說明如何將微語對接本地 Ollama 服務，並在聊天與 embedding 場景中使用自託管模型。
前置條件
- 已完成微語部署
- 已安裝並啟動 Ollama
- 已拉取所需本地模型
配置步驟
1. 安裝 Ollama
- 前往 https://ollama.ai/download
- 安裝對應作業系統版本
- 啟動 Ollama 服務
2. 拉取模型
ollama pull qwen3:0.6b
3. 配置微語
- 登入微語管理後台
- 進入 provider 配置
- 選擇 Ollama 為預設模型提供商
4. 嵌入聊天元件
- 在管理後台產生聊天程式碼
- 複製結果
- 嵌入到你的網站
效果展示
設定完成後，微語可呼叫本地託管的 Ollama 模型提供 AI 對話。
可選配置
Docker 環境變數
SPRING_AI_OLLAMA_BASE_URL=http://host.docker.internal:11434
SPRING_AI_OLLAMA_CHAT_ENABLED=true
SPRING_AI_OLLAMA_CHAT_OPTIONS_MODEL=qwen3:0.6b
SPRING_AI_OLLAMA_CHAT_OPTIONS_TEMPERATURE=0.7
SPRING_AI_OLLAMA_EMBEDDING_ENABLED=true
SPRING_AI_OLLAMA_EMBEDDING_OPTIONS_MODEL=qwen3:0.6b
原始碼配置
spring.ai.ollama.base-url=http://127.0.0.1:11434
spring.ai.ollama.chat.enabled=true
spring.ai.ollama.chat.options.model=qwen3:0.6b
spring.ai.ollama.chat.options.temperature=0.7
spring.ai.ollama.embedding.enabled=true
spring.ai.ollama.embedding.options.model=qwen3:0.6b
常見問題
- 服務連線失敗：檢查 Ollama 服務與 URL。
- 模型載入失敗：確認模型已在本地拉取。
- 回應過慢：檢查主機資源，必要時改用較小模型。