[Kitajska, Shenzhen, 14. julij 2023] Danes je Huawei predstavil svojo novo rešitev za shranjevanje z umetno inteligenco za dobo velikih modelov, ki zagotavlja optimalne rešitve za shranjevanje za osnovno usposabljanje modelov, usposabljanje modelov, specifično za industrijo, in sklepanje v segmentiranih scenarijih, torej sprostitev novih zmogljivosti AI.
Pri razvoju in izvajanju obsežnih modelnih aplikacij se podjetja soočajo s štirimi velikimi izzivi:
Prvič, čas, potreben za pripravo podatkov, je dolg, viri podatkov so razpršeni, združevanje pa je počasno, saj traja približno 10 dni za predhodno obdelavo na stotine terabajtov podatkov. Drugič, za večmodalne velike modele z ogromnimi besedilnimi in slikovnimi nabori podatkov je trenutna hitrost nalaganja za velike majhne datoteke manjša od 100 MB/s, kar ima za posledico nizko učinkovitost nalaganja učnih nizov. Tretjič, pogoste prilagoditve parametrov za velike modele, skupaj z nestabilnimi vadbenimi platformami, povzročajo prekinitve vadbe približno vsaka 2 dni, kar zahteva, da mehanizem Checkpoint nadaljuje z vadbo, okrevanje pa traja več kot en dan. Nazadnje, visoki pragi implementacije za velike modele, zapletene nastavitve sistema, izzivi glede razporejanja virov in izkoriščenost virov GPU pogosto pod 40 %.
Huawei sledi trendu razvoja umetne inteligence v dobi velikih modelov in ponuja rešitve, prilagojene različnim industrijam in scenarijem. Predstavlja OceanStor A310 Deep Learning Data Lake Storage in FusionCube A3000 Training/Inference Super-Converged Appliance. OceanStor A310 Deep Learning Data Lake Storage cilja na osnovne in industrijske scenarije velikega modela podatkovnega jezera, pri čemer dosega celovito upravljanje podatkov umetne inteligence od združevanja podatkov, predprocesiranja do usposabljanja modela in aplikacij sklepanja. OceanStor A310 v enem samem ogrodju 5U podpira vodilno pasovno širino 400 GB/s in do 12 milijonov IOPS, z linearno razširljivostjo do 4096 vozlišč, kar omogoča brezhibno komunikacijo med protokoli. Globalni datotečni sistem (GFS) omogoča inteligentno prepletanje podatkov po regijah in poenostavlja procese združevanja podatkov. Računalništvo blizu shranjevanja uresničuje predprocesiranje skoraj podatkov, zmanjša pretok podatkov in izboljša učinkovitost predprocesiranja za 30 %.
Superkonvergentna naprava za usposabljanje/sklepanje FusionCube A3000, zasnovana za scenarije usposabljanja/sklepanja velikih modelov na ravni industrije, skrbi za aplikacije, ki vključujejo modele z milijardami parametrov. Vključuje visoko zmogljiva pomnilniška vozlišča OceanStor A300, vozlišča za usposabljanje/sklepanje, preklopno opremo, programsko opremo platforme AI ter programsko opremo za upravljanje in delovanje, s čimer velikim modelnim partnerjem zagotavlja izkušnjo uvajanja plug-and-play za dostavo na enem mestu. Pripravljen za uporabo, lahko ga namestite v 2 urah. Vozlišča za usposabljanje/sklepanje in shranjevanje je mogoče neodvisno in vodoravno razširiti, da ustrezajo različnim zahtevam na lestvici modela. Medtem FusionCube A3000 uporablja visoko zmogljive vsebnike za omogočanje več modelov usposabljanja in nalog sklepanja za skupno rabo GPU-jev, s čimer poveča izkoriščenost virov s 40 % na več kot 70 %. FusionCube A3000 podpira dva prilagodljiva poslovna modela: Huawei Ascend One-Stop Solution in partnersko rešitev na enem mestu tretje osebe z odprto programsko opremo za računalništvo, mreženje in platformo AI.
Huaweijev predsednik produktne linije za shranjevanje podatkov, Zhou Yuefeng, je izjavil: »V dobi velikih modelov podatki določajo višino inteligence AI. Shranjevanje podatkov kot nosilec podatkov postane ključna temeljna infrastruktura za velike modele umetne inteligence. Huawei Data Storage bo še naprej uvajal inovacije, zagotavljal raznolike rešitve in izdelke za dobo velikih modelov z umetno inteligenco ter sodeloval s partnerji za spodbujanje opolnomočenja umetne inteligence v številnih panogah.”
Čas objave: 1. avgusta 2023
