數(shù)據(jù)交易導(dǎo)航網(wǎng)是一個數(shù)據(jù)要素市場相關(guān)的數(shù)據(jù)交易、數(shù)據(jù)管理、數(shù)據(jù)服務(wù)等數(shù)商企業(yè)商業(yè)生態(tài)導(dǎo)航平臺。
網(wǎng)址：https://wenxin.baidu.com/
在模型層，文心大模型一次性發(fā)布11個大模型，涵蓋基礎(chǔ)大模型、任務(wù)大模型、行業(yè)大模型的三級體系，全面滿足產(chǎn)業(yè)應(yīng)用需求；在工具與平臺層，全面升級大模型開發(fā)套件、文心API和提供全流程開箱即用大模型能力的EasyDL和BML開發(fā)平臺，全方位降低應(yīng)用門檻；新增產(chǎn)品與社區(qū)層，包括AI藝術(shù)與輔助創(chuàng)作平臺“文心一格”、產(chǎn)業(yè)級搜索系統(tǒng)“文心百中”和旸谷社區(qū)，讓更多人零距離感受到最先進(jìn)的AI大模型技術(shù)帶來的新體驗。
除行業(yè)大模型外，此次還發(fā)布了5個基礎(chǔ)大模型和1個任務(wù)大模型，包括：知識增強(qiáng)輕量級大模型ERNIE 3.0 Tiny、跨模態(tài)理解大模型ERNIE ViL 2.0、跨模態(tài)生成大模型ERNIE ViLG 2.0、文檔智能大模型 ERNIE-Layout、單序列蛋白質(zhì)結(jié)構(gòu)預(yù)測大模型HelixFold-Single和代碼大模型 ERNIE-Code。
其中，知識增強(qiáng)輕量級大模型ERNIE 3.0 Tiny是以ERNIE 3.0千億參數(shù)大模型為師，通過多任務(wù)知識蒸餾手段將千億多任務(wù)大模型的所學(xué)遷移至輕量級模型中，訓(xùn)練了10億級、億級、千萬級不同體量大小的輕量級大模型。ERNIE 3.0 Tiny具備非常優(yōu)秀的泛化能力，同時相對于超大參數(shù)模型，推理速度提升數(shù)十倍到百倍，能夠顯著降低超大參數(shù)模型落地的成本。ERNIE 3.0 Tiny和ERNIE ViLG大模型將上線“鵬城云腦”，在云腦上精調(diào)訓(xùn)練、部署服務(wù)，進(jìn)一步降低大模型開發(fā)和應(yīng)用的門檻。
文心大模型工具平臺全面升級，全流程支撐大模型開箱即用
為了讓開發(fā)者更加方便、快速地使用大模型的最新能力，文心大模型工具與平臺進(jìn)行了全面更新。吳甜介紹到，在工具方面，文心大模型開發(fā)套件全面升級，發(fā)布行業(yè)大模型定制工具，同時提供更加完備的場景化建模工具、更為豐富的模型精調(diào)工具，以及大模型可信學(xué)習(xí)工具，讓大模型開發(fā)訓(xùn)練更加靈活高效；文心API服務(wù)支持多種模型尺寸的精調(diào)，體驗專區(qū)提供更多可體驗?zāi)芰?，同時基于大規(guī)模集群算力分布式推理加速能力，可滿足大規(guī)模高性能產(chǎn)業(yè)級調(diào)用。
大模型的開發(fā)、訓(xùn)練、推理部署的門檻是非常高的。為了更好地支持大模型應(yīng)用落地，飛槳發(fā)布了端到端大模型開發(fā)套件PaddleFleetX。針對大模型的訓(xùn)練挑戰(zhàn)，PaddleFleetX基于框架自適應(yīng)分布式訓(xùn)練能力，根據(jù)模型和硬件平臺的特點，自動感知硬件特性，支持在異構(gòu)硬件上進(jìn)行自適應(yīng)并行訓(xùn)練。同時，充分發(fā)揮飛槳動轉(zhuǎn)靜能力優(yōu)勢，進(jìn)行訓(xùn)練加速，實現(xiàn)端到端的極致性能優(yōu)化。訓(xùn)練過程還支持彈性容錯訓(xùn)練，大幅提升訓(xùn)練過程的魯棒性。針對大模型推理部署的挑戰(zhàn)，PaddleFleetX提供了大小模型無縫聯(lián)動的能力，以滿足大模型推理對性能的極致要求。同時，PaddleFleetX支持自適應(yīng)分布式推理技術(shù)，真正做到分布式策略的訓(xùn)推一體，大可支持超大模型的服務(wù)化部署，小可協(xié)同極致小型化策略，支持端側(cè)輕量化部署。
