一本久道综合久久精品,青青青青手机在线观看,久久国产香蕉一区精品蜜桃免费,国产精品久久久久久,九九艳阳天电影免费观看,中文成人久久久久影院免费观看,天天操天天干

中國(guó)西藏網(wǎng) > 即時(shí)新聞 > 國(guó)內(nèi)

鵬城實(shí)驗(yàn)室等開(kāi)展合作 突破國(guó)產(chǎn)算力大模型長(zhǎng)窗口技術(shù)

發(fā)布時(shí)間:2023-11-20 13:57:00來(lái)源: 中國(guó)新聞網(wǎng)

  中新網(wǎng)北京11月19日電 (記者 張素)上下文窗口長(zhǎng)度,對(duì)于模型理解和生成與特定上下文相關(guān)文本極為重要,是大模型核心技術(shù)之一。記者近日采訪獲悉,鵬城實(shí)驗(yàn)室等相關(guān)機(jī)構(gòu)開(kāi)展合作,在國(guó)產(chǎn)算力大模型長(zhǎng)窗口技術(shù)方面有所突破。

  通常來(lái)說(shuō),更長(zhǎng)的上下文窗口可以提供更豐富的語(yǔ)義信息,并且能夠讓模型生成的內(nèi)容更準(zhǔn)確流暢?!谤i城—百川·腦海33B”的128K長(zhǎng)上下文窗口基于“鵬城云腦”國(guó)產(chǎn)算力平臺(tái)訓(xùn)練,未來(lái)可升級(jí)至192K。

  據(jù)知,為提升上下文窗口長(zhǎng)度和模型整體性能,百川智能和鵬城實(shí)驗(yàn)室對(duì)模型進(jìn)行了全流程優(yōu)化。在數(shù)據(jù)集構(gòu)建方面,研發(fā)人員采用精細(xì)的數(shù)據(jù)構(gòu)造,實(shí)現(xiàn)段落、句子粒度的自動(dòng)化數(shù)據(jù)過(guò)濾、選擇、配比,進(jìn)一步提升了數(shù)據(jù)質(zhì)量。

  在全生命周期的模型工具集中方面,包括來(lái)自北京大學(xué)的王亦洲、楊耀東團(tuán)隊(duì)在內(nèi),多方開(kāi)展合作,創(chuàng)新提出帶安全約束的RLHF對(duì)齊技術(shù),有效提升了模型內(nèi)容生成質(zhì)量和安全性。

  鵬城實(shí)驗(yàn)室相關(guān)負(fù)責(zé)人表示,接下來(lái)還將廣泛聯(lián)合企業(yè)、高校和科研院所,通過(guò)開(kāi)源群智的合作模式共享資源,為千行百業(yè)插上人工智能的“翅膀”。百川智能相關(guān)負(fù)責(zé)人也表示,希望通過(guò)開(kāi)源、與合作伙伴共創(chuàng)等方式,助力中國(guó)大模型創(chuàng)新,促進(jìn)本土大模型生態(tài)日益繁榮。

  有評(píng)論認(rèn)為,上述在大模型訓(xùn)練和應(yīng)用領(lǐng)域的合作研發(fā)實(shí)踐,對(duì)于國(guó)產(chǎn)算力大模型發(fā)展具有積極示范作用,希望更多科研機(jī)構(gòu)、企業(yè)廠商基于各自優(yōu)勢(shì)形成合力,更好地滿足國(guó)內(nèi)不斷增長(zhǎng)的智能化轉(zhuǎn)型需求,助力中國(guó)人工智能產(chǎn)業(yè)持續(xù)發(fā)展。(完)

(責(zé)編:陳濛濛)

版權(quán)聲明:凡注明“來(lái)源:中國(guó)西藏網(wǎng)”或“中國(guó)西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來(lái)源中國(guó)西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責(zé)任。

冕宁县| 遂溪县| 星座| 临海市| 吉林省| 海原县| 唐河县| 鄢陵县| 永福县| 菏泽市| 庆安县| 宜城市| 邹平县| 桃园市| 延庆县| 泰和县| 瑞安市| 策勒县| 石屏县| 香河县| 凤台县| 二连浩特市| 延庆县| 太白县| 澄迈县| 新竹市| 洛阳市| 崇礼县| 剑河县| 房山区| 本溪市| 京山县| 永善县| 海林市| 利辛县| 齐齐哈尔市| 菏泽市| 西林县| 青田县| 苗栗县| 正蓝旗|