NVIDIA Personal AI Router (PAIR) — программа с открытым исходным кодом для распределения запросов к локальным моделям ИИ между несколькими компьютерами в одной сети. Она обнаруживает подключённые устройства, проверяет доступность моделей и движков вывода, а затем направляет каждый запрос на подходящий компьютер с учётом доступных ресурсов и текущей нагрузки.

PAIR предназначен для работы с несколькими независимыми ИИ-задачами одновременно. Его можно использовать при запуске многоагентных приложений, где разные агенты отправляют запросы к языковым моделям. Программа предоставляет локальные API-интерфейсы, совместимые с OpenAI и Ollama, а также поддерживает Anthropic Messages API через совместимые движки. При локальной настройке запросы и ответы могут оставаться внутри сети.

PAIR поддерживает Ollama, LM Studio и llama.cpp. Компьютеры с Windows, Linux и macOS можно объединить в один кластер, даже если они используют разные операционные системы. Возможность запуска конкретной модели зависит от совместимости движка, оборудования, драйверов и объёма доступной памяти.

Программа распределяет отдельные запросы между узлами, но не объединяет видеопамять компьютеров и не делит выполнение одной модели между несколькими машинами. Поэтому PAIR подходит прежде всего для повышения пропускной способности при параллельной обработке задач.

Список основных возможностей NVIDIA Personal AI Router:

• Обнаружение компьютеров в локальной сети и их объединение в кластер.
• Автоматическая маршрутизация запросов с учётом доступности движка, модели и текущей нагрузки.
• Поддержка Ollama, LM Studio и llama.cpp для запуска локальных языковых моделей.
• API, совместимые с OpenAI и Ollama, а также Anthropic Messages API через поддерживаемые движки.
• Подключение новых узлов с помощью PIN-кода.
• Совместная работа устройств под управлением Windows 11, Linux и macOS.
• Мониторинг состояния узлов, использования GPU и памяти.
• Возможность задействовать свободные ресурсы нескольких компьютеров для независимых ИИ-запросов.
• Поддержка локальной инфраструктуры без обязательного обращения к облачным сервисам.

Admin

Отзывов о программе NVIDIA Personal AI Router 1.0.0 пока нет, можете добавить...