恭喜！
您已成功登錄幫注網(wǎng)！
發(fā)布時(shí)間：2024-09-10 19:12:40 來源：本站 作者：admin
在 2024 年 8 月 29 日的一篇論文中，維也納大學(xué)的 Miguel Rios 探討了指令調(diào)整的大型語言模型 (LLM) 如何改善專業(yè)領(lǐng)域（尤其是醫(yī)學(xué)領(lǐng)域）的機(jī)器翻譯 (MT)。
Rios 指出，雖然最先進(jìn)的 LLM 在高資源語言對(duì)和領(lǐng)域中表現(xiàn)出了令人鼓舞的結(jié)果，但它們?cè)趯I(yè)的低資源領(lǐng)域中往往難以實(shí)現(xiàn)準(zhǔn)確性和一致性。“在專業(yè)領(lǐng)域（例如醫(yī)學(xué)），LLM 的表現(xiàn)低于標(biāo)準(zhǔn)的神經(jīng)機(jī)器翻譯模型，”Rios 說。
他還解釋說，LLM 在低資源領(lǐng)域的局限性源于它們的訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)可能無法充分涵蓋有效翻譯所需的特定術(shù)語和上下文細(xì)微差別。
為了應(yīng)對(duì)這一挑戰(zhàn)，Rios 建議通過指令調(diào)整來整合專業(yè)術(shù)語，從而提高 LLM 的性能——這是一種使用格式化為指令的各種任務(wù)的數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)的技術(shù)?！拔覀兊哪繕?biāo)是將術(shù)語、語法信息和文檔結(jié)構(gòu)約束整合到醫(yī)學(xué)領(lǐng)域的 LLM 中，”他說。
具體來說，Rios 建議將醫(yī)學(xué)術(shù)語作為 LLM 指令的一部分。在翻譯一個(gè)片段時(shí)，會(huì)向模型提供翻譯中應(yīng)使用的相關(guān)醫(yī)學(xué)術(shù)語。
此外，該方法還涉及識(shí)別與正在翻譯的文本相關(guān)的術(shù)語對(duì)——源術(shù)語和相應(yīng)的目標(biāo)術(shù)語——確保在翻譯過程中將正確的醫(yī)學(xué)術(shù)語應(yīng)用于這些片段。
如果一個(gè)或多個(gè)候選術(shù)語在片段中成功匹配，則將它們合并到提供給 LLM 的指令模板中。這意味著模型會(huì)收到一個(gè)提示，不僅指示它翻譯文本，還指定要使用哪些醫(yī)學(xué)術(shù)語。
如果未找到匹配的候選術(shù)語，則向模型提供基本的翻譯任務(wù)提示，指示其在沒有任何特定醫(yī)學(xué)術(shù)語指導(dǎo)的情況下翻譯文本。
Unbabel 的 Tower 領(lǐng)先
在實(shí)驗(yàn)中，Rios 使用 Google 的 FLAN-T5、Meta 的 LLaMA-3-8B 和 Unbabel 的 Tower-7B 作為基線模型，應(yīng)用 QLoRA 進(jìn)行參數(shù)高效微調(diào)，并在英語-西班牙語、英語-德語和英語-羅馬尼亞語語言對(duì)中對(duì)其進(jìn)行測試。
結(jié)果顯示，指令調(diào)整后的模型在 BLEU、chrF 和 COMET 分?jǐn)?shù)等自動(dòng)指標(biāo)方面“顯著”優(yōu)于基線。具體而言，Tower-7B 模型在英語-西班牙語和英語-德語翻譯中表現(xiàn)出色，其次是 LLaMA-3-8B，它在英語-羅馬尼亞語翻譯中表現(xiàn)出色。
在與 Slator 交談時(shí)，里奧斯表示他打算在未來與專業(yè)翻譯人員進(jìn)行人工評(píng)估，因?yàn)閱慰孔詣?dòng)化指標(biāo)可能無法完全反映模型在翻譯中生成正確醫(yī)學(xué)術(shù)語的效果。
公司信息
商標(biāo)業(yè)務(wù)
專利業(yè)務(wù)
新聞中心
