国产大片黄在线观看,欧美国产激情二区三区,亚洲不卡一卡2卡三卡4卡5卡,国产免费AV片在线观看

數(shù)字報
客戶端
公眾號
百度智能云升級兩大AI基礎(chǔ)設(shè)施 文心大模型日調(diào)用量超7億次
2024-09-25 18:48:31
來源:中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報  作者: 孫立彬

9月25日,2024百度云智大會在北京召開。為幫助企業(yè)更快、更好、更省地使用大模型,百度智能云分別針對算力、模型、AI應(yīng)用,全面升級百舸AI異構(gòu)計算平臺4.0、千帆大模型平臺3.0兩大AI基礎(chǔ)設(shè)施,并升級代碼助手、智能客服、數(shù)字人三大AI原生應(yīng)用產(chǎn)品。 

百度集團執(zhí)行副總裁、百度智能云事業(yè)群總裁沈抖表示,大模型以及配套的算力管理平臺、模型和應(yīng)用開發(fā)平臺,正在迅速成為新一基礎(chǔ)設(shè)施。

“2024年大模型的產(chǎn)業(yè)落地正在加速,目前在千帆大模型平臺上,文心大模型日均調(diào)用量超過7億次,累計幫助用戶精調(diào)了3萬個大模型,開發(fā)出70多萬個企業(yè)級應(yīng)用。過去一年,文心旗艦大模型降價幅度超過90%,主力模型全面免費,最大限度降低了企業(yè)創(chuàng)新試錯的成本。”沈抖說。

升級百舸4.0:模型訓(xùn)練有效時長達99.5%,可高效管理十萬卡集群

大算力是大模型落地的基礎(chǔ)條件。為滿足企業(yè)落地大模型從集群創(chuàng)建、開發(fā)實驗,到模型訓(xùn)練、推理的全旅程算力需求,應(yīng)對超大規(guī)模GPU集群高成本、難運營兩大挑戰(zhàn),百度智能云升級發(fā)布百舸AI異構(gòu)計算平臺4.0,面向萬卡、十萬卡集群全面升級算力管理能力。

首先,在集群創(chuàng)建階段,企業(yè)通常需要進行大量復(fù)雜、瑣碎的算力配置和調(diào)試工作。百舸4.0預(yù)置了主流的大模型訓(xùn)練工具,能夠?qū)崿F(xiàn)工具層面的秒級部署,并將萬卡集群運行準備時間從幾周縮減至1小時,極大地提升部署效率,縮短業(yè)務(wù)上線周期。

 

在開發(fā)實驗階段,企業(yè)需要針對業(yè)務(wù)目標對不同架構(gòu)、參數(shù)的模型進行多次測試,進而制定最佳模型訓(xùn)練策略,保障后續(xù)訓(xùn)練的性能和效果。百舸4.0全新升級的可觀測大盤,能夠?qū)Χ嘈具m配、集群效能、任務(wù)自動容錯等方面進行全方位監(jiān)測,提供直觀決策依據(jù),幫助用戶更好地把控整體項目。

在模型訓(xùn)練階段,穩(wěn)定和高效是衡量GPU集群水平的“金指標”“硬通貨”。

在穩(wěn)定性方面,一張GPU出現(xiàn)故障就會導(dǎo)致集群整體停擺,大量時間、成本浪費在故障恢復(fù)和數(shù)據(jù)回滾上。百舸4.0能夠自動篩查集群狀態(tài),并基于對GPU故障的精準預(yù)測,及時轉(zhuǎn)移工作負載,降低故障發(fā)生頻次。此外,百舸獨有的故障秒級感知定位、Flash Checkpoint模型任務(wù)狀態(tài)回滾等技術(shù),能夠大幅減少集群故障處置時間,實現(xiàn)接近無損的集群容錯。

目前,百舸在萬卡集群上實現(xiàn)了有效訓(xùn)練時長占比99.5%以上,業(yè)界領(lǐng)先,極大地節(jié)約了客戶算力與時間成本。此外,百舸4.0通過在集群設(shè)計、任務(wù)調(diào)度、并行策略、顯存優(yōu)化等一系列創(chuàng)新,大幅提升了集群的模型訓(xùn)練效率,整體性能相比業(yè)界平均水平提升高達30%。

在模型推理環(huán)節(jié),百舸則通過架構(gòu)分離、KV Cache、負載分配等一系列加速方法,實現(xiàn)了模型推理的降本提效,尤其在長文本推理方面,推理效率提升超過1倍。

面向未來,沈抖認為,大模型的Scaling Law將在一段時間內(nèi)持續(xù)有效,很快就會有更多的十萬卡集群出現(xiàn),但是管理十萬卡的難度與管理萬卡有著天壤之別。

首先,在物理空間方面,十萬卡集群需要占據(jù)大概10萬平方米空間,相當(dāng)于14個標準足球場的面積;在能耗方面,每天則要消耗大約300萬千瓦時的電力,相當(dāng)于北京市東城區(qū)一天的居民用電量。這種對于空間和能源的巨大需求,遠遠超過了傳統(tǒng)機房部署方式的承載能力,跨地域機房部署又會給網(wǎng)絡(luò)通信帶來巨大挑戰(zhàn)。此外,十萬卡集群中的GPU故障將會非常頻繁,有效訓(xùn)練時長占也將迎來新的挑戰(zhàn)。

針對這些難題,百舸4.0已經(jīng)構(gòu)建了十萬卡級別的超大規(guī)模無擁塞HPN高性能網(wǎng)絡(luò)、10ms級別超高精度網(wǎng)絡(luò)監(jiān)控,以及面向十萬卡集群的分鐘級故障恢復(fù)能力。

“百舸4.0正是為部署十萬卡大規(guī)模集群而設(shè)計的。今天的百舸4.0,已經(jīng)具備了成熟的十萬卡集群部署和管理能力,就是要突破這些新挑戰(zhàn),為整個產(chǎn)業(yè)提供持續(xù)領(lǐng)先的算力平臺。”沈抖說。

生數(shù)科技作為國內(nèi)領(lǐng)先的多模態(tài)大模型廠商,基于百舸平臺開發(fā)出國內(nèi)首款全面對標OpenAI Sora的視頻大模型“Vidu”。會上,生數(shù)科技聯(lián)合創(chuàng)始人兼CEO唐家渝宣布,即日起Vidu將通過百度智能云千帆大模型平臺面向開發(fā)者、企業(yè)用戶開放API服務(wù)。

對于自建智算中心的客戶,百舸4.0此番還對“一云多芯”能力進行了升級。在萬卡規(guī)模集群上,多芯混合訓(xùn)練效能高達95%,保持業(yè)界領(lǐng)先。“要建設(shè)更大的集群,同時確保供應(yīng)鏈的安全和彈性,勢必會存在不同芯片混合使用的情況,也就是說,對于自建智算中心的客戶來說,一云多芯是必然選擇。”沈抖說。

以中國郵政儲蓄銀行為例,2023年,為加速大模型應(yīng)用落地,郵儲銀行新增大量來自不同廠商的GPU資源,基于大模型為18個核心業(yè)務(wù)系統(tǒng)、30多家分行的金融業(yè)務(wù)提供AI賦能。在百舸的支持下,郵儲銀行順利完成了不同型號GPU資源的部署、上線;同時,也實現(xiàn)了GPU、CPU算力的規(guī)劃重組,有力保障了300多個大小模型、6000多次訓(xùn)練任務(wù)。模型迭代時間也從過去的一個半月大幅縮短至半天,并實現(xiàn)了更好的模型效果。

長安汽車執(zhí)行副總裁張曉宇表示,基于百舸平臺,百度智能云與長安汽車合作探索開發(fā)了整套自動駕駛模型訓(xùn)練的最佳實踐方案,實現(xiàn)了GPU資源的精細化管理與調(diào)度。雙方緊密配合,在數(shù)據(jù)加載、計算效率、通信方式等維度進行聯(lián)合優(yōu)化,使得算力總體平均使用率提升到90%以上,綜合資源利用率提升了50%。

發(fā)布千帆3.0:三大服務(wù)全面升級,一句話即可生成企業(yè)級應(yīng)用

為了滿足企業(yè)客戶對模型調(diào)用、模型開發(fā)、應(yīng)用開發(fā)的需求,百度智能云發(fā)布千帆大模型平臺3.0。

在模型調(diào)用方面,升級后的千帆平臺,不但可以調(diào)用包括文心系列大模型在內(nèi)的近百個國內(nèi)外大模型,還支持調(diào)用語音、視覺等各種傳統(tǒng)的小模型。在擴大模型種類的同時,百度智能云持續(xù)降低模型調(diào)用成本。過去一年,文心旗艦大模型降價幅度超過90%、主力模型全面免費,最大限度降低企業(yè)創(chuàng)新試錯的成本。

在模型開發(fā)方面,對于需要定制、微調(diào)專屬模型的客戶,千帆3.0不僅提供了最完善的大模型工具鏈,還支持CV、NLP、語音等傳統(tǒng)模型的開發(fā),并實現(xiàn)數(shù)據(jù)、模型、算力等資源的統(tǒng)一納管和調(diào)度,為企業(yè)提供一站式的大、小模型開發(fā)服務(wù)。

模型投入使用后,千帆平臺還支持企業(yè)將應(yīng)用中產(chǎn)生的數(shù)據(jù),經(jīng)過采樣評估、人工標注、對齊或微調(diào)等方式反饋給模型,形成數(shù)據(jù)飛輪,持續(xù)優(yōu)化模型效果,放大模型在特定場景下的優(yōu)勢。

在應(yīng)用開發(fā)方面,針對企業(yè)落地大模型的高頻應(yīng)用場景,千帆3.0從檢索效果、檢索性能、存儲擴展、調(diào)配靈活性四方面對企業(yè)級檢索增強生成(RAG)進行了全面升級;針對企業(yè)級Agent的開發(fā),千帆3.0增加了業(yè)務(wù)自主編排、人工編排、知識注入、記憶能力以及百度搜索等80多個官方組件支持。

此外,本次大會還發(fā)布了智能化低代碼應(yīng)用開發(fā)平臺“AI速搭”,通過自然語言對話就能進行企業(yè)級應(yīng)用開發(fā),一句話就可以完成應(yīng)用創(chuàng)建。

沈抖在大會現(xiàn)場還演示了如何通過對話,在AI速搭平臺上開發(fā)一個資產(chǎn)管理應(yīng)用。只需一句話描述對目標系統(tǒng)的需求,包含資產(chǎn)信息、資產(chǎn)入庫、資產(chǎn)領(lǐng)用、資產(chǎn)維修、資產(chǎn)報廢等功能模塊,大模型就可以清晰地理解需求并生成應(yīng)用。過去,這樣一個應(yīng)用即使用低代碼方式開發(fā)也需要幾天的時間,現(xiàn)在只需幾分鐘就能完成。

工具平臺的不斷完善,也促進了過去一年大模型產(chǎn)業(yè)落地的爆發(fā)式增長。目前,在千帆平臺上,文心大模型日均調(diào)用量超過7億次,千帆平臺累計幫助用戶精調(diào)了3萬個大模型,開發(fā)出70多萬個企業(yè)級應(yīng)用。

三星電子大中華區(qū)總裁崔勝植表示,2024年初,三星在全球市場推出Galaxy AI,并與百度智能云達成戰(zhàn)略合作,基于千帆平臺、百度識圖為中國用戶帶來國際領(lǐng)先的Galaxy AI本地化功能,包括即圈即搜、筆記助手、轉(zhuǎn)錄助手、聊天助手、瀏覽助手等移動 AI 體驗。

在招聘領(lǐng)域,獵聘基于千帆平臺,通過調(diào)用文心大模型,結(jié)合自身豐富的行業(yè)know-how,能夠?qū)ζ髽I(yè)崗位需求和求職者簡歷內(nèi)容進行語義理解分析,并實現(xiàn)智能化的簡歷篩選功能,人崗匹配準確率相比業(yè)界平均水平的70%高出15個百分點,高達85%,并提升招聘效率50%以上。

在教育領(lǐng)域,考試寶作為一款職業(yè)教育在線學(xué)習(xí)App,過去主要依賴人工為會員提供試題解析服務(wù),速度慢、成本高,有些試題甚者需要等待一天以上才能得到解析結(jié)果。如今,通過提示詞工程和調(diào)用文心大模型,考試寶實現(xiàn)了試題的智能化解析,只需上傳試題就能秒級得到解析結(jié)果,單條試題解析成本也從過去的1.5元降到3厘,降幅高達98%,用戶付費意愿也增長了一倍以上。

此外,千帆行業(yè)增強版提供了體系化的工具和組件,支持行業(yè)客戶、合作伙伴在千帆通用底座上不斷添加行業(yè)特色,從而更方便地開發(fā)適合自己的行業(yè)應(yīng)用。目前,千帆平臺上已經(jīng)沉淀了包括制造、能源、交通,政務(wù)、金融、汽車、教育、互聯(lián)網(wǎng)在內(nèi)的八大行業(yè)解決方案。

南方電網(wǎng)數(shù)字電網(wǎng)研究院副總經(jīng)理胡榮表示,去年九月,南方電網(wǎng)發(fā)布了行業(yè)垂直領(lǐng)域首個自主可控的大模型“大瓦特”。“大瓦特”既是大模型、小模型及智能體構(gòu)成的模型體系,也是開放共享的平臺與生態(tài)體系。平臺上,南方電網(wǎng)基于百度智能云千帆平臺構(gòu)建了電力調(diào)度值班助手。在應(yīng)對突發(fā)事件時,電力調(diào)度值班助手可以秒級生成處置方案,極大地增強了調(diào)度員的應(yīng)急響應(yīng)能力。

代碼助手、智能客服、數(shù)字人全面升級

隨著大模型產(chǎn)業(yè)落地逐漸走向深水區(qū),AI原生應(yīng)用也將迎來爆發(fā)式增長,為了滿足企業(yè)直接選購成熟AI應(yīng)用的需求,百度智能云面向數(shù)字人、智能客服、代碼提效三大領(lǐng)域,升級了三大AI原生應(yīng)用產(chǎn)品。

基于文心大模型重構(gòu)的AI原生智能客服應(yīng)用“客悅”,在用戶復(fù)雜意圖理解、多模態(tài)信息交流等方面實現(xiàn)了大幅提升,讓智能客服變得更聰明、更擬人。“問題自助解決率”是智能客服領(lǐng)域最關(guān)鍵的考核指標,當(dāng)前業(yè)內(nèi)平均水平是80%,升級后,客悅將這一指標提升至92%,實現(xiàn)業(yè)界領(lǐng)先。目前,客悅已累計幫助企業(yè)客戶服務(wù)超過1.5億人次,交互超過5億次。

基于大模型能力,新升級的曦靈數(shù)字人4.0支持根據(jù)文字快速生成不同妝造、不同行業(yè)特色的3D數(shù)字人形象和視頻。本次大會期間,曦靈平臺宣布:將3D超寫實數(shù)字人的價格從萬元大幅降價至199元,達到業(yè)內(nèi)最低價。

全新升級的4D(3D+時間維度)自動綁定技術(shù)和創(chuàng)新模態(tài)遷移技術(shù),還解決了傳統(tǒng)2D數(shù)字人動作僵硬的問題,可以實現(xiàn)人物在不同角度、形體、表情的高度一致,即使是面部微表情也能做到自然、逼真。

全新升級的全流程AI代碼提效工具“文心快碼”,聚焦研發(fā)全生命周期的業(yè)務(wù)流,實現(xiàn)了從項目接手到最終交付,全流程編碼開發(fā)效率與質(zhì)量的雙重提升。

本次大會,文心快碼業(yè)界首發(fā)「企業(yè)級代碼架構(gòu)解釋」、「企業(yè)級代碼審查」,兩項全新功能。企業(yè)級代碼架構(gòu)解釋能在項目接手初期,實現(xiàn)工程架構(gòu)的智能解讀,幫工程師快速理解業(yè)務(wù)邏輯;而企業(yè)級代碼審查則能傳承資深工程師的編碼經(jīng)驗,智能輔助程序員查缺補漏。

此外,針對市面上通用代碼助手缺乏對企業(yè)歷史代碼庫的理解的痛點,文心快碼全新升級的「企業(yè)級代碼輔助能力」能夠深度理解企業(yè)代碼庫,快速學(xué)習(xí)企業(yè)過往的代碼與規(guī)范,讓生成的代碼更貼近企業(yè)的要求。

目前,文心快碼已經(jīng)服務(wù)超過1萬家企業(yè)客戶,幫助數(shù)百萬中國開發(fā)者提升編碼效率,整體提升研發(fā)效率20%。

編輯:韓夢晨
相關(guān)閱讀:
高新視頻 更多
高新熱榜 全部本月
編輯推薦 更多

友情鏈接: 政府 高新園區(qū)合作媒體

Copyright 1999-2024 中國高新網(wǎng)chinahightech.comAll Rights Reserved.京ICP備14033264號-5

電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導(dǎo)報》社有限責(zé)任公司