Ollama

Ollama — открытый инференс-движок, использующий под капотом библиотеку llama.cpp и ориентированный на удобство управления и запуска моделей. Содержит большой репозиторий готовых моделей различных уровней квантизации GUFF. Оптимален для начинающего пользователя LLM.

См. также

• Open WebUI
• Список больших языковых моделей
• Список Инференс‑движков

Ссылки

• ollama.com — официальный сайт Ollama
• Проект Ollama на сайте GitHub
• Проект Ollama Python Library на сайте GitHub