Ollama

Ollama — открытый инференс-движок, использующий под капотом библиотеку llama.cpp и ориентированный на удобство управления и запуска моделей. Содержит большой репозиторий готовых моделей различных уровней квантизации GUFF. Оптимален для начинающего пользователя LLM.