Foundry Local: различия между версиями
Перейти к навигации
Перейти к поиску
Dzmuh (обсуждение | вклад) Нет описания правки |
Dzmuh (обсуждение | вклад) |
||
| (не показаны 4 промежуточные версии этого же участника) | |||
| Строка 1: | Строка 1: | ||
'''Foundry Local''' — это инструмент и SDK от Microsoft, часть экосистемы Azure AI Foundry, позволяющий запускать генеративные модели ИИ (LLM, аудио, мультимодальные) на локальном компьютере, используя CPU, GPU или NPU. Он работает офлайн после загрузки моделей, обеспечивает приватность данных и предоставляет OpenAI‑совместимый API. | |||
== Описание == | |||
Foundry Local — это часть экосистемы Azure AI Foundry, адаптированная для полностью локального использования. Она предназначена для разработчиков, которым нужно встроить ИИ‑функции в приложения без зависимости от облака. | |||
Платформа включает: | |||
* CLI, позволяющую скачивать, запускать и управлять моделями. | |||
* SDK (C#, JavaScript и др.) для интеграции моделей в приложения. | |||
* Аппаратные оптимизации через ONNX Runtime, включая поддержку NVIDIA/AMD GPU, Intel/AMD/Qualcomm NPU и Apple Silicon. | |||
После установки Foundry Local автоматически подбирает оптимальный вариант модели под ваше железо и запускает её локально. Данные не покидают устройство, что делает инструмент удобным для корпоративных сценариев, прототипирования и офлайн‑приложений. | |||
Foundry Local поддерживает Windows 10/11, Windows Server 2025 и macOS, работает через winget/brew или скачивается с GitHub. | |||
=== Функции === | |||
; Запуск ИИ‑моделей локально | |||
: Генеративные модели (LLM, мультимодальные, аудио) работают без интернета после загрузки. | |||
: Поддержка популярных моделей: Phi‑3.5, Qwen, Whisper и др. | |||
; Полная приватность данных | |||
: Все вычисления происходят на устройстве. | |||
: Нет необходимости в Azure‑подписке. | |||
; Аппаратное ускорение | |||
: Оптимизация под GPU, NPU, CPU через ONNX Runtime. | |||
: Автоматический выбор лучшего варианта модели под железо. | |||
; SDK для интеграции в приложения | |||
: OpenAI‑совместимый API. | |||
: SDK для C#, JavaScript и других языков. | |||
: Возможность встраивать ИИ в локальные и десктопные приложения. | |||
; CLI‑инструменты | |||
: Установка, управление моделями, запуск чатов и inference через командную строку. | |||
: Примеры: | |||
:: foundry model run phi-3.5-mini | |||
:: foundry --version | |||
; Кэширование моделей | |||
: Модели скачиваются один раз и затем работают офлайн. | |||
== См. также == | == См. также == | ||
| Строка 7: | Строка 43: | ||
* {{official|https://www.foundrylocal.ai/|lang=en}} | * {{official|https://www.foundrylocal.ai/|lang=en}} | ||
* {{github|microsoft|foundry-local}} | * {{github|microsoft|foundry-local}} | ||
* [https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/ Документация]{{ | * [https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/ Документация]{{ref-en}} | ||
[[Категория:Программное обеспечение по алфавиту]] | [[Категория:Программное обеспечение по алфавиту]] | ||
[[Категория:Программное обеспечение Microsoft]] | |||
[[Категория:Свободное и открытое программное обеспечение Microsoft]] | |||
[[Категория:Инференс‑движки]] | [[Категория:Инференс‑движки]] | ||
Текущая версия от 22:18, 27 января 2026
Foundry Local — это инструмент и SDK от Microsoft, часть экосистемы Azure AI Foundry, позволяющий запускать генеративные модели ИИ (LLM, аудио, мультимодальные) на локальном компьютере, используя CPU, GPU или NPU. Он работает офлайн после загрузки моделей, обеспечивает приватность данных и предоставляет OpenAI‑совместимый API.
Описание
Foundry Local — это часть экосистемы Azure AI Foundry, адаптированная для полностью локального использования. Она предназначена для разработчиков, которым нужно встроить ИИ‑функции в приложения без зависимости от облака.
Платформа включает:
- CLI, позволяющую скачивать, запускать и управлять моделями.
- SDK (C#, JavaScript и др.) для интеграции моделей в приложения.
- Аппаратные оптимизации через ONNX Runtime, включая поддержку NVIDIA/AMD GPU, Intel/AMD/Qualcomm NPU и Apple Silicon.
После установки Foundry Local автоматически подбирает оптимальный вариант модели под ваше железо и запускает её локально. Данные не покидают устройство, что делает инструмент удобным для корпоративных сценариев, прототипирования и офлайн‑приложений.
Foundry Local поддерживает Windows 10/11, Windows Server 2025 и macOS, работает через winget/brew или скачивается с GitHub.
Функции
- Запуск ИИ‑моделей локально
- Генеративные модели (LLM, мультимодальные, аудио) работают без интернета после загрузки.
- Поддержка популярных моделей: Phi‑3.5, Qwen, Whisper и др.
- Полная приватность данных
- Все вычисления происходят на устройстве.
- Нет необходимости в Azure‑подписке.
- Аппаратное ускорение
- Оптимизация под GPU, NPU, CPU через ONNX Runtime.
- Автоматический выбор лучшего варианта модели под железо.
- SDK для интеграции в приложения
- OpenAI‑совместимый API.
- SDK для C#, JavaScript и других языков.
- Возможность встраивать ИИ в локальные и десктопные приложения.
- CLI‑инструменты
- Установка, управление моделями, запуск чатов и inference через командную строку.
- Примеры:
- foundry model run phi-3.5-mini
- foundry --version
- Кэширование моделей
- Модели скачиваются один раз и затем работают офлайн.
См. также
Ссылки
- foundrylocal.ai — официальный сайт Foundry Local (англ.)
- Проект Foundry Local на сайте GitHub
- Документация (англ.)