[Ĉinio, Ŝenĵeno, la 14-an de julio 2023] Hodiaŭ, Huawei rivelis sian novan AI-stokan solvon por la epoko de grandskalaj modeloj, provizante optimumajn stokadsolvojn por baza modeltrejnado, industrispecifa modeltrejnado, kaj inferenco en segmentitaj scenaroj, tiel liberigante novajn AI-kapablojn.
En la evoluo kaj efektivigo de grandskalaj modelaplikoj, entreprenoj alfrontas kvar gravajn defiojn:
Unue, la tempo bezonata por datumpreparo estas longa, datumfontoj estas disaj, kaj agregado estas malrapida, daŭrante ĉirkaŭ 10 tagojn por antaŭprilabori centojn da terabajtoj da datumoj. Due, por multmodaj grandaj modeloj kun amasaj teksto- kaj bildaj datumaroj, la nuna ŝarĝa rapideco por amasaj malgrandaj dosieroj estas malpli ol 100MB/s, rezultigante malaltan efikecon por trejnadaro. Trie, oftaj parametraj alĝustigoj por grandaj modeloj, kune kun malstabilaj trejnadplatformoj, kaŭzas trejnajn interrompojn proksimume ĉiujn 2 tagojn, necesigante la Checkpoint-mekanismon rekomenci trejnadon, kun reakiro transprenanta tagon. Finfine, altaj efektivigaj sojloj por grandaj modeloj, kompleksa sistema aranĝo, resursa planado defioj kaj GPU-rimeda utiligo ofte sub 40%.
Huawei kongruas kun la tendenco de disvolviĝo de AI en la epoko de grandskalaj modeloj, proponante solvojn adaptitajn por malsamaj industrioj kaj scenaroj. Ĝi prezentas la OceanStor A310 Deep Learning Data Lake Storage kaj la FusionCube A3000 Trejnado/Inferenco Super-Konverĝa Aparato. OceanStor A310 Deep Learning Data Lake Storage celas kaj bazajn kaj industrinivelajn grandajn modelajn datumajn lagscenarojn, atingante ampleksan AI-datumadministradon de datuma agregado, antaŭprilaborado al modeltrejnado kaj inferencaplikoj. La OceanStor A310, en ununura 5U-rako, subtenas industrian gvidan 400GB/s bendolarĝon kaj ĝis 12 milionojn da IOPS, kun lineara skaleblo ĝis 4096 nodoj, ebligante senjuntan transprotokolan komunikadon. La Tutmonda Dosiersistemo (GFS) faciligas inteligentan datuman teksadon trans regionoj, fluliniigante datumajn procezojn. Preskaŭ-stoka komputado realigas preskaŭ-datuman antaŭprilaboradon, reduktante datummovadon kaj plibonigante antaŭpretigan efikecon je 30%.
La FusionCube A3000 Trejnado/Inferenca Super-Konverĝa Aparato, dizajnita por industrinivelaj grandaj modeltrejnado/inferencaj scenaroj, servas al aplikoj implikantaj modelojn kun miliardoj da parametroj. Ĝi integras alt-efikecajn stokadnodojn de OceanStor A300, trejnadon/inferencajn nodojn, ŝanĝan ekipaĵon, AI-platformsoftvaron kaj administradon kaj operacian programaron, provizante grandajn modelpartnerojn per plug-and-play deploja sperto por unuhalta livero. Preta por uzi, ĝi povas esti deplojita ene de 2 horoj. Kaj trejnado/inferenco kaj stokadnodoj povas esti sendepende kaj horizontale vastigitaj por kongrui kun diversaj modelskalaj postuloj. Dume, FusionCube A3000 uzas alt-efikecajn ujojn por ebligi multoblajn modeltrejnajn kaj inferencajn taskojn por kunhavi GPUojn, pliigante la utiligon de rimedoj de 40% al pli ol 70%. FusionCube A3000 subtenas du flekseblajn komercajn modelojn: Huawei Ascend One-Stop Solution kaj la triapartnera unuhalta solvo kun malferma komputiko, retoj kaj AI-platformsoftvaro.
Zhou Yuefeng, Prezidanto de la Produkta Linio de Datenstokado de Huawei, deklaris, "En la epoko de grandskalaj modeloj, datumoj determinas la altecon de AI-inteligenteco. Kiel la portanto de datumoj, datumstokado iĝas la ŝlosila fundamenta infrastrukturo por grandskalaj modeloj de AI. Huawei Data Storage daŭre novigos, provizante diversajn solvojn kaj produktojn por la epoko de AI grandaj modeloj, kunlaborante kun partneroj por stiri AI-povigon tra larĝa gamo de industrioj."
Afiŝtempo: Aŭg-01-2023
