北京2024年1月18日 /美通社/ -- 近日，源2.0開源大模型與LLaMA-Factory框架完成全面適配，用戶通過LLaMA-Factory，即可快捷、高效地對不同參數規(gui)模(mo)的(de)源2.0基礎模(mo)型(xing)(xing)進行全量微調(diao)及(ji)高效微調(diao)，輕松實現專屬大模(mo)型(xing)(xing)。
LLM（大語言模型）微調，是指在大模型的基礎上，針對特定任務或領域進行調整和優化，以提升模型的性能和表現，有效的微調方案與工具也正是解決基礎大模型落地私有領域的一大利器。基于開源大模(mo)型(xing)的(de)微調，不僅可以(yi)提(ti)升(sheng)LLM對(dui)于指令(ling)的(de)遵循能力，也能通(tong)過行(xing)業(ye)知識的(de)引(yin)入，來提(ti)升(sheng)LLM在專業(ye)領域的(de)知識和能力。
當前，業界已經基于LLM開(kai)發及實踐(jian)出(chu)了(le)眾多的微(wei)(wei)(wei)調(diao)方法(fa)，如指令微(wei)(wei)(wei)調(diao)、基于人類反(fan)饋的強化學習（RLHF，Reinforcement Learning from Human Feedback）、直接偏(pian)好優化（DPO，Direct Preference Optimization）等。以高(gao)效(xiao)微(wei)(wei)(wei)調(diao)（PEFT，Parameter-Efficient Fine-Tuning）方案為例，可(ke)有效(xiao)解決內存和計(ji)算(suan)資(zi)源(yuan)的制(zhi)約，通過(guo)LoRA、QLoRA等高(gao)效(xiao)微(wei)(wei)(wei)調(diao)技(ji)術，在單(dan)張GPU上(shang)(shang)完(wan)成千(qian)億參數的微(wei)(wei)(wei)調(diao)訓練。因此(ci)，一(yi)個(ge)能夠實現上(shang)(shang)述功能的簡潔、高(gao)效(xiao)且易(yi)用的微(wei)(wei)(wei)調(diao)框(kuang)架正是開(kai)展LLM微(wei)(wei)(wei)調(diao)工作的最佳抓(zhua)手。
LLaMA-Factory是零隙智能（SeamLessAI）開源的低代碼大模型訓練框架，旨在為開發者提供可視化訓練、推理平臺及一鍵配置模型訓練。基于LLaMA-Factory, 用戶可輕松選擇業界最全面的微調方法和優化技術，通過使用私域數據，或是LLaMA-Factory內置的中文數據集（GPT-4優化后的alpaca中文數據集、ShareGPT數據集和llama-factory提供的模型認知數據集），對源2.0進行輕松微調，基于有限算力完成領域大模型的定制開發。實測數據顯示(shi)，在一臺搭(da)載(zai)8顆GPU的主流AI服務器NF5468M7，7小(xiao)時內(nei)即可實現(xian)千億模型（Yuan2.0- 102B）的高(gao)效(xiao)指令(ling)微調，10分鐘即可完成Yuan2.0-2B參(can)數的指令(ling)微調，輕松實現(xian)即調即用。
Step by Step
單機即可實現千億參數模型微調
GitHub項目地址：
//github.com/IEIT-Yuan/Yuan-2.0/blob/main/docs/Yuan2_llama-factory.md
