Qualcomm стремится внедрить локализованный искусственный интеллект во все виды продуктов, от смартфонов до автомобилей.

Qualcomm

Недавно Qualcomm сделала несколько крупных анонсов в области искусственного интеллекта на мероприятии Mobile World Congress в Барселоне. Каждое объявление поддерживает цель Qualcomm по масштабированию ИИ повсюду, включая edge. Объявления включали:

• Масштабируемый искусственный интеллект, работающий на широком спектре передовых устройств следующего поколения, включая ПК, автомобили, телефоны, промышленные устройства Интернета вещей, точки доступа Wi-Fi и сотовую инфраструктуру.
• Qualcomm AI Hub предоставляет ресурсы для разработчиков, включая более 75 оптимизированных моделей искусственного интеллекта для Snapdragon и других платформ Qualcomm.
• Исследователи Qualcomm разрабатывают большие мультимодальные модели и индивидуальные модели large vision, которые могут работать на смартфонах Android и ПК с Windows.

Эти достижения основаны на новом оборудовании Qualcomm. SoC Snapdragon 8 Gen 3 для мобильных устройств была анонсирована компанией на выставке MWC, в то время как Snapdragon X Elite для ПК был анонсирован ранее, несколько месяцев назад. Эти чипсеты поддерживают встроенный искусственный интеллект для ряда устройств, таких как Смартфон Samsung Galaxy S24, самый последний айфон и многие телефоны, произведенные в Китае. Ожидается, что в течение следующих нескольких месяцев Qualcomm представит свои SOC для ПК с искусственным интеллектом, оснащенные процессором, графическим процессором и NPU, способными обрабатывать данные со скоростью не более 45%.

Qualcomm также объявила о модеме Snapdragon X80 5G на базе искусственного интеллекта и чипе Wi-Fi 7 следующего поколения FastConnect 7900. Об этих продуктах подробно рассказал мой коллега Аншель Саг.

Вот более подробный обзор анонсов, связанных с искусственным интеллектом.

Центр искусственного интеллекта Qualcomm

Qualcomm AI Hub предоставляет ресурсы для разработчиков.

Qualcomm

Телефоны, ПК и другие устройства с поддержкой искусственного интеллекта нуждаются в новых приложениях, чтобы в полной мере использовать их возможности искусственного интеллекта. Qualcomm создала свой AI Hub, чтобы предоставить разработчикам ресурсы, необходимые для создания и развертывания приложений искусственного интеллекта на Snapdragon или других платформах Qualcomm. Одним из ключевых компонентов AI Hub является библиотека моделей искусственного интеллекта, квантованных и оптимизированных для обеспечения высокой производительности на этих платформах.

Одна вещь, которая делает концентратор привлекательным, – это его простота в использовании. Разработчик просто выбирает желаемую модель из более чем 75 распространенных моделей ИИ и генеративного ИИ, затем выбирает эталонную платформу — TensorFlow, PyTorch или Onyx. Модели также доступны на Hugging Face и GitHub.

Как только конкретная модель выбрана, разработчик может выбрать целевую платформу и устройство. Затем для развертывания разработчик вставляет несколько строк кода, чтобы интегрировать оптимизированную модель в рабочий процесс, чтобы воспользоваться возможностями искусственного интеллекта на устройстве, работающем на одной из платформ Qualcomm.

Особенности Qualcomm AI Hub

Qualcomm

В дополнение к большому количеству возможностей, таких как генерация изображений и текста, концентратор обеспечивает в четыре раза более быстрый вывод данных на устройствах, работающих на Snapdragon или других платформах Qualcomm.

Большие Модели Искусственного Интеллекта Теперь Могут работать на Android

LMM от Qualcomm для устройств Android

Qualcomm

На мероприятии Qualcomm успешно продемонстрировала первую в мире модель с большим количеством языков и большую мультимодальную модель, работающую на телефоне Android. LLM с 7 миллиардами параметров может принимать текст, изображения и голос, что позволяет пользователю вести многооборотный разговор со своим телефоном, используя несколько обратных обменов данными.

Когда пользователи задают вопросы или предоставляют вводные данные, ИИ LMM реагирует соответствующим образом. Многооборотные диалоги требуют, чтобы ИИ обладал контекстной памятью, чтобы он мог запоминать контекст и полную историю обмена информацией между пользователем и ИИ. Многооборотный LLM способен решать сложные вопросы, необходимые для сложных интерактивных приложений, таких как обслуживание клиентов.

LoRa для телефонов на базе Android

Использование Qualcomm технологии LoRa

Qualcomm

Qualcomm также достигла еще одной технической вехи, выпустив свою первую адаптацию низкого уровня для работы на телефоне Android. Изначально LoRa была разработана Microsoft для снижения сложности обучения модели с точки зрения задержки, стоимости и требований к оборудованию. LoRa предоставляет новый подход к созданию изображений и отличается от инструментов генерирующего искусственного интеллекта, таких как DALL-E. Уменьшая сложность модели, LoRa снижает требования к памяти и повышает эффективность, так что облегченные версии моделей могут быть настроены и адаптированы без необходимости загрузки или точной настройки полной модели.

Платформа Snapdragon X Elite

Использование GIMP со стабильным плагином Diffusion для сравнительного тестирования

Qualcomm

Qualcomm создала Snapdragon X Elite для работы с искусственным интеллектом. Его дизайн включает в себя 4-нм SoC-архитектуру, 12-ядерный процессор Qualcomm Oryon с двухъядерным ускорением и интегрированный графический процессор Qualcomm Adreno для графики. Устройство избавляет от необходимости частой зарядки, поскольку один заряд батареи позволяет использовать его в течение нескольких дней. Одним из его наиболее важных преимуществ является то, что Snapdragon X Elite также способен запускать модели generative AI LLM с 13 миллиардами параметров.

Чтобы продемонстрировать возможности SoC, Qualcomm провела сравнение производительности между ПК Snapdragon X Elite и конкурирующим x86, оснащенным наиболее эффективной конфигурацией GPU, центрального процессора и NPU. Для сравнения использовался GIMP, мощный редактор растровой графики с открытым исходным кодом, оснащенный стабильным плагином Diffusion для генерации изображений GAI. Как видно из графика, Snapdragon X Elite с 45-кратным NPU обеспечивал генерацию изображений в 3 раза быстрее, чем конкурент x86.

Роль Qualcomm в локализации искусственного Интеллекта

Все анонсы Qualcomm в области искусственного интеллекта на выставке MWC в Барселоне представляли собой важные прорывы. Компании удалось преодолеть существующие барьеры в области искусственного интеллекта и вычислительной техники, от смартфонов до ПК. Ее SoC Snapdragon 8 Gen 3 для мобильных устройств и платформа Snapdragon X Elite для ПК могут выполнять различные функции искусственного интеллекта, включая генеративный искусственный интеллект, компьютерное зрение и обработку естественного языка. И Qualcomm также предоставила разработчикам расширенные возможности искусственного интеллекта.

Возможность запуска больших мультимодальных моделей и облегченных версий моделей на телефонах Android открывает новые возможности в широком спектре областей. Пользователи Android смогут взаимодействовать с виртуальными помощниками в таких приложениях, как финансовые услуги, здравоохранение и электронная коммерция, и это лишь некоторые из них. Искусственный интеллект также придает совершенно новое измерение играм. Игровые агенты с искусственным интеллектом не только создают сложных соперников, но и могут генерировать новый игровой контент или динамически корректировать правила и ход игры в соответствии с опытом игрока или желанием более сложных задач. Практически каждая игра становится более сложной и реалистичной, когда к ней применяется искусственный интеллект. Имея возможность эффективно запускать сложные модели искусственного интеллекта, телефоны Android могут обеспечить лучший пользовательский опыт и улучшенную функциональность благодаря обработке естественного языка и компьютерному зрению.

На полную демократизацию ИИ большое влияние окажет коммерциализация ИИ на устройствах Qualcomm в масштабах edge и других стран – концепция, которая поддерживает цель отрасли по созданию интеллектуальных вычислений повсеместно. В совокупности анонсы MWC позиционируют Qualcomm как ключевого игрока на рынке искусственного интеллекта. Обладая этими возможностями, компания должна быть в состоянии стимулировать массовое внедрение искусственного интеллекта.