騰訊研發(fā)全新框架：用AI打，讓DeepSeek學(xué)會(huì)戰(zhàn)略性思考

電競資訊10月05日稱 據(jù) decoder 今天報(bào)道，騰訊研究人員最近用《王者榮耀》游戲作為訓(xùn)練平臺(tái)，探索如何讓 AI 在游戲中學(xué)會(huì)“戰(zhàn)略性思考”，研究全新 TiG（Think in Games）框架，相關(guān)成果已發(fā)表于 Hugging Face 網(wǎng)站和 arXiv 平臺(tái)。

研究團(tuán)隊(duì)指出，目前的 AI 模型存在明顯的功能鴻溝，以游戲?yàn)槿∠虻?AI 能正常游玩但無法理解自己所做的決策，而語言模型雖然可以推理策略，但很難真正執(zhí)行操作，為此他們研發(fā)了全新 TiG 框架，讓模型在游戲中同步思考、行動(dòng)。

團(tuán)隊(duì)選擇以《王者榮耀》游戲作為訓(xùn)練范本，先使用匿名且標(biāo)準(zhǔn)化的賽事數(shù)據(jù)定義推上路、擊殺暴君、守家等 40 種宏觀行動(dòng)，勝負(fù)回?cái)?shù)均衡，AI 模型們必須要在每個(gè)定義好的場景下選擇最佳策略，并解釋其戰(zhàn)略緣由。

具體來說，訓(xùn)練分為兩個(gè)階段，首先是在監(jiān)督中學(xué)習(xí)，弄清楚這些策略的基本機(jī)制；隨后通過獎(jiǎng)勵(lì)機(jī)制進(jìn)行強(qiáng)化學(xué)習(xí)，如果行動(dòng)正確能得 1 分，錯(cuò)誤行動(dòng)則得 0 分。

隨后團(tuán)隊(duì)測試了多種語言模型，涵蓋 Qwen2.5（7B、14B、32B）、Qwen3-14B 模型，并使用 DeepSeek-R1 大模型作為對(duì)照組；先從 DeepSeek-R1 提煉高質(zhì)量訓(xùn)練數(shù)據(jù)，然后使用群體相對(duì)策略優(yōu)化（GRPO）技術(shù)，比較不同策略之間的優(yōu)劣。

最終經(jīng)過 TiG 框架訓(xùn)練的模型不僅能制定行動(dòng)計(jì)劃，還能解釋原因，例如 AI 會(huì)指出某個(gè)防御塔防守薄弱，是理想的進(jìn)攻目標(biāo)，但需要注意埋伏的敵人。模型訓(xùn)練后仍保持原有的文本理解、數(shù)學(xué)推理與問答能力。