Skip to content

feat: 整合 oMLX 本地推理加速 AI enrichment#2

Open
JaplinChen wants to merge 3 commits into
mainfrom
claude/busy-hopper
Open

feat: 整合 oMLX 本地推理加速 AI enrichment#2
JaplinChen wants to merge 3 commits into
mainfrom
claude/busy-hopper

Conversation

@JaplinChen
Copy link
Copy Markdown
Owner

Summary

  • 新增 oMLX (Apple Silicon 本地 LLM 推理伺服器) 作為首選 LLM provider
  • 三層自動降級:oMLX → OpenCode CLI → DDG Chat,無需人工切換
  • 支援 text (flash/standard/deep) 與 vision (VLM) 模型路由
  • 利用 SSD KV 快取加速重複前綴的 enrichment 請求(TTFT 30-90s → 1-3s)

變更內容

  • 新增 src/utils/omlx-client.ts — HTTP fetch wrapper(text + vision + health check)
  • 修改 src/utils/local-llm.ts — 加入 oMLX 作為首選 provider
  • 修改 src/utils/vision-llm.ts — 加入 oMLX VLM 支援
  • 修改 .env.example — 新增 oMLX 設定區塊
  • 修改 CLAUDE.md — 放寬本地 LLM 規則(僅限 oMLX)
  • 修改 README.md — 反映三層降級架構

模型對應

Tier oMLX 模型 OpenCode 備援
flash Qwen3.5-4B mimo-v2-flash
standard Qwen3.5-9B minimax-m2.5
deep Qwen3.5-27B nemotron-3-super
vision Qwen2.5-VL-7B gpt-5-nano

Test plan

  • npx tsc --noEmit 零錯誤
  • oMLX API 端到端測試通過(text + JSON 產生)
  • 實際 enrichment 品質驗證(送 URL 比較 oMLX vs OpenCode 產出)

🤖 Generated with Claude Code

JaplinChen and others added 3 commits March 22, 2026 12:08
- 新增 content-cleaner:cleanAdSpeak 過濾 body 廣告詞,cleanTitle 預清洗標題
- GitHub extractor 提取 stars/language/topics 結構化元資料
- AI enricher 增加平台感知,GitHub 專屬深度分析 prompt(用途、技術棧、同類對比、優缺點)
- formatter 整合 body 清洗,GitHub 新增項目概覽/項目資訊區塊
- reprocess 支援 --all 全量處理 + --refetch 重新抓取模式
- 新增 admin-command(/logs /health /restart)修復預存 TS 錯誤
- note-parser 升級:解析 stars/language/body/extraTags 欄位

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
iOS/macOS 鍵盤自動將 -- 轉換為 — (U+2014),導致 --all 被當作檔案路徑。
新增 Unicode em-dash/en-dash → double hyphen 正規化。

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
新增 oMLX 作為 LLM 推理首選 provider,三層自動降級:
oMLX (本地) → OpenCode CLI (遠端) → DDG Chat (備援)。
支援 text (flash/standard/deep) 與 vision (VLM) 模型路由。

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant