ARM- en Alibaba-partner om multimodale AI met Kleidiai te verbeteren

ARM HOLDINGS PLC (NASDAQ: ARM), hierna aangeduid als "Arm", heeft vandaag een nieuwe samenwerking aangekondigd met de Taotiaanse groep van Alibaba over zijn lichtgewicht Deep Learning Framework, MNN.Door de integratie van ARM Kleidiai hebben de twee bedrijven met succes multimodale kunstmatige intelligentie (AI) werklast mogelijk gemaakt om op ARM CPU-aangedreven mobiele apparaten te draaien met behulp van Alibaba's instructie-afgestemde QWen2-VL-2B-instructiemodel.Deze versie van het Qwen Multimodal-model is specifiek ontworpen voor het begrijpen van beeld van het apparaat, tekst-tot-beeld redeneren en multimodale generatie in meerdere talen.Deze samenwerking verbetert de prestaties van multimodale AI -workloads aan de rand aanzienlijk en levert een geheel nieuwe gebruikerservaring op.

Stefan Rosinger, senior directeur van productbeheer bij Arm's Client Business, verklaarde: "We zitten midden in een AI -revolutie en zijn getuige van de opkomst van multimodale AI -modellen die verschillende gegevenstypen kunnen verwerken en begrijpen, inclusief tekst, afbeeldingen, audio, video- en sensorgegevens.Het implementeren van deze geavanceerde multimodale modellen op edge -apparaten vormt echter aanzienlijke uitdagingen vanwege hardwarebeperkingen zoals stroomverbruik en geheugenbeperkingen, evenals de complexiteit van het tegelijkertijd omgaan met meerdere gegevensmodaliteiten. "

ARM KLEIDI biedt een ideale oplossing om deze uitdagingen aan te gaan, waardoor naadloze prestatie -optimalisatie voor AI -inferentiewerkloads op ARM CPU's wordt geleverd.Kleidiai is een lichtgewicht, krachtige, open-source verzameling ARM-routines die speciaal zijn ontworpen voor AI-versnelling.Het is geïntegreerd in de nieuwste versies van grote AI-frameworks op het apparaat, waaronder Executorch, Lama.CPP, Litert (via XNNPack) en MediaPipe.Dit stelt miljoenen ontwikkelaars in staat om automatisch aanzienlijke AI -prestaties te bereiken - zonder extra inspanning te vereisen.