[Xina, Shenzhen, 14 de juliol de 2023] Avui, Huawei ha presentat la seva nova solució d'emmagatzematge d'IA per a l'era dels models a gran escala, proporcionant solucions d'emmagatzematge òptimes per a la formació bàsica de models, la formació de models específics de la indústria i la inferència en escenaris segmentats, així alliberant noves capacitats d'IA.
En el desenvolupament i la implementació d'aplicacions de models a gran escala, les empreses s'enfronten a quatre grans reptes:
En primer lloc, el temps necessari per a la preparació de les dades és llarg, les fonts de dades estan disperses i l'agregació és lenta, trigant uns 10 dies a preprocessar centenars de terabytes de dades. En segon lloc, per als models grans multimodals amb conjunts de dades de text i imatges massius, la velocitat de càrrega actual dels fitxers petits massius és inferior a 100 MB/s, el que resulta en una baixa eficiència per a la càrrega del conjunt d'entrenament. En tercer lloc, els ajustos freqüents dels paràmetres per a models grans, juntament amb les plataformes d'entrenament inestables, provoquen interrupcions de l'entrenament aproximadament cada 2 dies, la qual cosa requereix que el mecanisme Checkpoint reprèn l'entrenament, amb la recuperació durant un dia. Finalment, llindars d'implementació elevats per a models grans, configuració complexa del sistema, reptes de programació de recursos i ús de recursos de GPU sovint per sota del 40%.
Huawei s'està alineant amb la tendència del desenvolupament de l'IA a l'era dels models a gran escala, oferint solucions adaptades a diferents indústries i escenaris. Presenta l'OceanStor A310 Deep Learning Data Lake Storage i el FusionCube A3000 Training/Inference Super-Converged Appliance. L'OceanStor A310 Deep Learning Data Lake Storage s'adreça tant a escenaris bàsics com a nivell industrial de grans models de llacs de dades, aconseguint una gestió integral de dades d'IA des de l'agregació de dades, el preprocessament fins a la formació de models i aplicacions d'inferència. L'OceanStor A310, en un únic bastidor de 5U, admet una amplada de banda de 400 GB/s líder en el sector i fins a 12 milions d'IOPS, amb escalabilitat lineal fins a 4096 nodes, que permet una comunicació entre protocols perfecta. El sistema de fitxers global (GFS) facilita el teixit intel·ligent de dades entre regions, racionalitzant els processos d'agregació de dades. La informàtica propera a l'emmagatzematge realitza un preprocessament proper a les dades, reduint el moviment de dades i millorant l'eficiència del preprocessament en un 30%.
L'aparell superconvergent d'entrenament/inferència FusionCube A3000, dissenyat per a escenaris d'entrenament/inferència de models grans a nivell industrial, s'adapta a aplicacions que involucren models amb milers de milions de paràmetres. Integra nodes d'emmagatzematge d'alt rendiment OceanStor A300, nodes d'entrenament/inferència, equips de commutació, programari de plataforma d'IA i programari de gestió i operació, proporcionant als socis grans models una experiència de desplegament plug-and-play per a un lliurament únic. A punt per utilitzar, es pot desplegar en 2 hores. Tant els nodes d'entrenament/inferència com els d'emmagatzematge es poden ampliar de manera independent i horitzontal per adaptar-se a diversos requisits d'escala de model. Mentrestant, FusionCube A3000 utilitza contenidors d'alt rendiment per permetre múltiples tasques d'entrenament i inferència de models per compartir GPU, augmentant la utilització dels recursos del 40% a més del 70%. FusionCube A3000 admet dos models de negoci flexibles: la solució One-Stop de Huawei Ascend i la solució de finestreta única de socis de tercers amb programari de plataforma de computació oberta, xarxes i IA.
El president de la línia de productes d'emmagatzematge de dades de Huawei, Zhou Yuefeng, va declarar: "En l'era dels models a gran escala, les dades determinen l'altura de la intel·ligència d'IA. Com a portador de dades, l'emmagatzematge de dades es converteix en la infraestructura fonamental fonamental per als models d'IA a gran escala. L'emmagatzematge de dades de Huawei continuarà innovant, proporcionant solucions i productes diversificats per a l'era dels grans models d'IA, col·laborant amb socis per impulsar l'apoderament de la IA en una àmplia gamma d'indústries".
Hora de publicació: 01-agost-2023
