Foundry Local

Foundry Local — это инструмент и SDK от Microsoft, часть экосистемы Azure AI Foundry, позволяющий запускать генеративные модели ИИ (LLM, аудио, мультимодальные) на локальном компьютере, используя CPU, GPU или NPU. Он работает офлайн после загрузки моделей, обеспечивает приватность данных и предоставляет OpenAI‑совместимый API.

Описание

Foundry Local — это часть экосистемы Azure AI Foundry, адаптированная для полностью локального использования. Она предназначена для разработчиков, которым нужно встроить ИИ‑функции в приложения без зависимости от облака.

Платформа включает:

• CLI, позволяющую скачивать, запускать и управлять моделями.
• SDK (C#, JavaScript и др.) для интеграции моделей в приложения.
• Аппаратные оптимизации через ONNX Runtime, включая поддержку NVIDIA/AMD GPU, Intel/AMD/Qualcomm NPU и Apple Silicon.

После установки Foundry Local автоматически подбирает оптимальный вариант модели под ваше железо и запускает её локально. Данные не покидают устройство, что делает инструмент удобным для корпоративных сценариев, прототипирования и офлайн‑приложений.

Foundry Local поддерживает Windows 10/11, Windows Server 2025 и macOS, работает через winget/brew или скачивается с GitHub.

Функции

Запуск ИИ‑моделей локально

Генеративные модели (LLM, мультимодальные, аудио) работают без интернета после загрузки.

Поддержка популярных моделей: Phi‑3.5, Qwen, Whisper и др.

См. также

• Ollama

Ссылки

• foundrylocal.ai — официальный сайт Foundry Local (англ.)
• Проект Foundry Local на сайте GitHub
• Документация (англ.)