Translator Overlay - 即時辨識 AI 翻譯

分享一個我也有參與開發的工具，緣起於我和另一個團隊的朋友會玩一些 Galgame 或日區遊戲，但日文能力沒有說很好，所以會看不懂遊戲上的文字。
現在是 AI 開發盛行的時代，所以就想說和身邊擁有許多 AI 訂閱的朋友用 AI 開發一下這類工具，於是這個工具就誕生了。

Vibe Coding 聲明

本工具的程式碼主要由 AI 撰寫。人類負責提出需求、測試與驗收，沒有逐行審查過程式碼，因此可能存在未發現的問題。

使用技術與功能介紹

Translator Overlay 是一個 Windows 上的螢幕翻譯小工具，在遊戲視窗上框出對話框，先在本機用 OCR 辨識文字，丟給你選的 AI 提供者進行翻譯，再透過 Overlay 將譯文蓋在原文上。
此工具會保留翻譯歷史供 AI 參考，通常能改善翻譯品質，且你可以直接用電腦上現有的 AI 訂閱（如：Claude Code、Codex、Grok 或 OpenCode）進行翻譯，並提供單獨翻譯視窗讓 OBS 等直播工具直接擷取，相當方便。

介面

本工具使用 Rust 語言並透過 Rust for Windows 結合微軟推出的 Windows Reactor 撰寫 WinUI 3 原生應用程式。提供原生且美觀的應用程式介面外，也較節省資源耗用。

擷取

使用 Windows 原生視窗擷取，且可在擷取範圍內框選多個翻譯區域，避免無關文字也被翻譯。

文字辨識

使用目前可本機執行且辨識率相對好的模型，來源為 GreatV/oar-ocr v0.7.0，並透過 ONNX Runtime 支援 GPU 加速，引擎可選 WebGPU（預設）或 DirectML，還可選擇模型大小。

如需辨識日文文字，模型請選擇 small 以上，因為 tiny 無法辨識日文。

翻譯

善用 AI 能力，內建提示詞與結構化輸出讓模型有更好的輸出，且保留翻譯歷史讓語言模型可以根據情境翻譯。
支援透過官方 CLI 使用現有的 AI 訂閱，或者用 OpenCode 的免費模型！

隱私提醒

OCR 辨識在本機進行，但辨識出的文字（以及保留的翻譯歷史）會送到你選擇的 AI 提供者。若使用雲端 API、官方 CLI 或 OpenCode 免費模型，內容會經過對方的服務，請自行確認各家的隱私政策。若有隱私考量，建議使用本機模型。

顯示

可開關 Overlay 或獨立翻譯視窗，並且可自訂顏色與透明度。
非侵入性 Overlay 僅會在目標視窗上顯示並自動跟隨，不會永遠蓋在最上層，降低與遊戲反作弊系統衝突的機率。
此外還可開啟快速控制框，允許控制翻譯及查看狀態。

線上遊戲的反作弊系統規則各家不同，使用時仍須自行判斷是否能在你的遊戲上使用，若因為使用本工具而遭反作弊系統封鎖，本工具一概不負責。

設定

支援設定 OCR 信心值、多行合併、擷取速率、穩定等待時間等參數。
API 可指定思考等級、串流輸出、保留思考等模型參數，也可調整超時重試等設定。

使用方式

系統需求

Windows 11 22H2 或以上（實測 21H2 無法安裝 Windows App Runtime）
Windows App Runtime 2.4
遊戲必須是視窗或無邊框全螢幕，獨佔全螢幕不能用
日文遊戲的 OCR 模型必須選 small 以上
第一次開會自動下載 OCR 模型，下載完才能按開始

基本使用

從 GitHub 的 Release 下載 TranslatorOverlay-x.x.x-win-x64.zip
解壓縮 zip 檔案，免安裝，設定檔會存在和執行檔同一個目錄下
執行 translator-app.exe 啟動程式，第一次啟動會下載 OCR 模型
從「視窗」下拉選單選擇目標視窗
按下「選取區域」選擇翻譯範圍（可以不選，就是翻譯整個視窗），選好後按「完成」
填寫 API 設定並按「儲存」，模型選擇見下節
點擊左下角開始

AI 模型選擇

本機模型

適合顯卡夠好可以直接在本機跑模型的人，使用本機 URL 時資料不會離開你的電腦，目前建議使用 Gemma4 並且關閉思考（推理強度設 none），因為思考太長了而且對翻譯不太有用。（實測環境：Ollama 0.40.2、Gemma 4 e4b，2026-10-11）
可以使用 LM Studio 或 Ollama 來跑模型，選擇 OpenAI-compatible 並填入本機 URL 即可。

既有 AI 訂閱

如果有 ChatGPT Codex、Claude Code 或 Grok 訂閱的使用者可以直接安裝官方 CLI，直接透過 CLI 使用訂閱額度，模型名稱會抓取 CLI 的可用模型並自動補完。

API

可以填相容於 OpenAI 的 API 端點和金鑰，目前 GPT-6 Luna 價格很低且翻譯品質也不錯，用 Flex tier 還可以半價（2026-10-11），如果用 OpenRouter 的話只要在模型名稱後面加上 :floor 就會自動選 flex 或最便宜的供應商了。

OpenCode 免費模型

目前 OpenCode 有提供免費模型，可以直接透過 OpenCode CLI 使用，目前建議限時提供的 Muse Spark 1.3 Contributor Free 模型。
直接透過 scoop 安裝 OpenCode： scoop install opencode，免登入裝好就可以用了。
不知道能免費用多久，且用且珍惜。

隱私提醒

使用既有 AI 訂閱、API 或 OpenCode 時，辨識出的文字（以及保留的翻譯歷史）內容會經過 AI 提供者的服務，請自行確認各家的隱私政策。
請注意：OpenCode 上的 Muse Spark 1.3 Contributor Free 資料將用於蒐集回饋，請自行斟酌使用。

OBS 擷取

視窗選取來源需選 Translator Overlay Captions（Overlay）或 Translator Overlay Translation（翻譯視窗），不要選控制視窗 Translator Overlay。
擷取方式要設成 Windows 10，不能用 BitBlt。
遊戲擷取只能擷取遊戲本身，需再加一層 Window Capture 疊譯文。

後記

雖然這是一個 AI 寫的工具，但其實還算蠻實用的，而且有上下文對照，只要搭上又好又快的模型，翻譯品質就會很好。

更詳細的說明和介紹，可以參考 GitHub 上的 Readme 或 Moe 萌及巴哈的文章。
有問題可以到 GitHub 上開 issues，但不一定會修~~，要看看 AI 們的意見~~。