Платформата обещава да обедини графични процесори (GPU) и невронни процесори (NPU) и да увеличи средното им използване с около 30%.
Huawei представи Flex:ai, инструмент с отворен код, предназначен да организира и повиши степента на използване на AI чиповете в големи изчислителни клъстери. Обявена преди броени дни, платформата е базирана на Kubernetes (K8s) и ще бъде пусната чрез общността на разработчиците на Huawei – ModelEngine. Тя се появява на фона на продължаващите ограничения за износ от САЩ върху висок клас GPU хардуер и отразява нарастващата промяна в Китай към повишаване на ефективността от страна на софтуера като временно решение за ограничените доставки на силициеви AI чипове.
Освен че Flex:ai е разработен, за да помогне на Китай „…да създаде аналогичен AI чип, 1000 пъти по-бърз от чиповете на Nvidia“, Huawei твърди, че инструмента може да увеличи средното натоварване (използване) с около 30% на AI чиповете. Според съобщенията, това се постига чрез разделяне на отделни GPU или NPU карти в множество виртуални изчислителни инстанции и организиране на работните задачи между хетерогенни типове хардуер.
По-малките задачи, които не могат да използват пълноценно един цял ускорител, се подреждат една до друга, докато по-големите модели, които надвишават капацитета на едно устройство, могат да обхващат множество карти. Инструментът включва интелигентен планировчик, наречен Hi Scheduler, който преразпределя свободните ресурси между възлите в реално време, като автоматично преназначава изчисления там, където са поставени на опашка работните задачи с изкуствен интелект.
Архитектурата на Flex:ai се основава на съществуващите основи на Kubernetes с отворен код, но ги разширява по начини, които все още са необичайни в отворените решения. Kubernetes вече поддържа плъгини за устройства, за да покаже ускорители и планировчици, като Volcano, или структури като Ray, които могат да извършват частично разпределение и групово планиране. Flex:ai изглежда ги обединява на по-високо ниво, като същевременно интегрира поддръжка за Ascend NPU наред със стандартния GPU хардуер.
Новият инструмент наподобява функционалността, предлагана от платформата за организация Run:ai, придобита от Nvidia през 2024 г., която има „multi-tenant“ архитектура за планиране и превантивно управление на натоварването в големи клъстери от графични процесори. Версията на Huawei, поне на хартия, твърди, че прави подобни неща, но го прави с фокус върху вкарването на отворен код и съвместимостта с различни ускорители. Това може да ѝ придаде по-широко значение в клъстери, базирани на китайски силиций, особено тези, използващи чипове Ascend.
Все още Huawei не е публикувала отвореният код на Flex:ai, както и документация или бенчмаркове. Когато стане достъпен кода на Flex:ai, ключовите въпроси ще бъдат дали включва гранулираността на нарязването, как взаимодейства със стандартните планировчици на Kubernetes и най-важното – дали поддържа широко използвани типове графични процесори чрез стандартни плъгини.
