NVIDIA NIM

Обзор NVIDIA NIM

NVIDIA NIM предоставляет разработчикам контейнеризованные микросервисы для ускоренного на GPU вывода ИИ, позволяя самостоятельно размещать предварительно обученные и настроенные модели в различных средах. Эти микросервисы обеспечивают оптимизированную производительность для базовых моделей на GPU NVIDIA через отраслевые стандартные API, что упрощает интеграцию в приложения и рабочие процессы ИИ. Платформа поддерживает развертывание на RTX AI ПК, рабочих станциях, центрах обработки данных и облачной инфраструктуре, предлагая гибкость при сохранении безопасности данных и контроля.

Построенная на ведущих движках вывода, таких как TensorRT, TensorRT-LLM, vLLM и SGLang, NVIDIA NIM заполняет пробел между экспериментами с ИИ и корпоративным развертыванием. Разработчики могут получить доступ к тысячам моделей ИИ и настройкам, пользуясь преимуществами низкозатратного, высокопроизводительного вывода, оптимизированного для конкретных систем GPU. Платформа особенно ценна для API и SDK ИИ и размещения моделей ИИ приложений, предоставляя инфраструктуру, необходимую для масштабируемых решений ИИ.

Как использовать NVIDIA NIM

Начало работы с NVIDIA NIM включает присоединение к программе разработчиков NVIDIA для бесплатного доступа к конечным точкам API и контейнерам для разработки и тестирования. Разработчики могут затем загрузить микросервисы вывода NIM для самостоятельного размещения или использовать выделенные конечные точки на платформах, таких как Hugging Face. Платформа предлагает примеры приложений и чертежи NVIDIA, которые можно развернуть одним щелчком с помощью NVIDIA Launchables, загрузить для локальной разработки или реализовать в частных облачных средах. Для производственного развертывания организации могут использовать NVIDIA AI Enterprise для корпорационной безопасности, стабильности API и поддержки.

Основные функции NVIDIA NIM

1. Оптимизированная производительность моделей – Ускоренные движки вывода обеспечивают низкую задержку и высокую пропускную способность на системах с GPU NVIDIA
2. Гибкие варианты развертывания – Запускайте модели ИИ где угодно, от RTX AI ПК до центров обработки данных и облачных сред
3. Обширная поддержка моделей – Развертывайте тысячи больших языковых моделей, включая доработанные сообществом модели и пользовательские версии
4. Корпоративная масштабируемость – Чарты Helm и интеграция с Kubernetes для операционного масштабирования и наблюдаемости
5. Отраслевые стандартные API – Простая интеграция в существующие приложения, фреймворки и рабочие процессы ИИ

Случаи применения NVIDIA NIM

• Создание чат-ботов и виртуальных помощников на основе ИИ с оптимизированным выводом
• Разработка конвейеров генерации с усилением извлечения (RAG) для улучшенных приложений ИИ
• Создание агентных рабочих процессов ИИ для систем автоматического принятия решений
• Развертывание пользовательских моделей ИИ на корпоративной инфраструктуре с ускорением на GPU
• Внедрение сопилотов и помощников ИИ для приложений повышения производительности
• Масштабирование вывода ИИ на нескольких системах GPU с Kubernetes
• Прототипирование приложений ИИ с бесплатными конечными точками API и контейнерами разработки

Поддержка и контакты

Для поддержки и запросов обращайтесь в NVIDIA по адресу Поддержка NVIDIA или напишите на contact@nvidia.com. Разработчики могут получить доступ к полной документации, форумам сообщества и техническим ресурсам через программу разработчиков NVIDIA. Корпоративные клиенты могут изучить NVIDIA AI Enterprise для поддержки производственного уровня и выделенной помощи.

Информация о компании

NVIDIA Corporation, со штаб-квартирой в Санта-Кларе, Калифорния, является ведущей технологической компанией, специализирующейся на графических процессорах (GPU) и вычислениях искусственного интеллекта. Компания предоставляет обширную информацию о своих продуктах и инструментах для разработчиков через свой официальный сайт и портал разработчиков, предлагая ресурсы для исследователей ИИ, разработчиков и предприятий, внедряющих решения с ускорением на GPU.

Вход и регистрация

Разработчики могут получить доступ к NVIDIA NIM, присоединившись к программе разработчиков NVIDIA через официальный портал разработчиков. Программа предоставляет бесплатный доступ к конечным точкам API NIM, контейнерам и ресурсам разработки для прототипирования и тестирования приложений ИИ с возможностями ускоренного на GPU вывода.