PrivateGPT: различия между версиями
Dzmuh (обсуждение | вклад) (Новая страница: «'''PrivateGPT''' - это инструмент для задавания вопросов к документам без подключения к интернету, используя мощь LLMs, с полной конфиденциальностью, так как данные не покидают локальную среду выполнения, позволяющий загружать документы и задавать вопросы без...») |
Dzmuh (обсуждение | вклад) Нет описания правки |
||
| Строка 1: | Строка 1: | ||
'''PrivateGPT''' - это инструмент для задавания вопросов к документам без подключения к интернету, используя мощь LLMs, с полной конфиденциальностью, так как данные не покидают локальную среду выполнения, позволяющий загружать документы и задавать вопросы без подключения к интернету, разработанный с использованием LangChain, GPT4All, LlamaCpp, Chroma и SentenceTransformers. | '''PrivateGPT''' - это инструмент для задавания вопросов к документам без подключения к интернету, используя мощь LLMs, с полной конфиденциальностью, так как данные не покидают локальную среду выполнения, позволяющий загружать документы и задавать вопросы без подключения к интернету, разработанный с использованием LangChain, GPT4All, LlamaCpp, Chroma и SentenceTransformers. | ||
== Как работает PrivateGPT == | |||
Используя локальные модели LangChain, вы можете запустить всю модель на своём ПК, и данные не будут покидать вашу среду. При этом разработчики гарантируют хорошую производительность. | |||
ingest.py использует инструменты LangChain для анализа документа и локального создания вложений с помощью HuggingFaceEmbeddings (SentenceTransformers). Затем Он сохраняет результат в локальной векторной базе данных, используя хранилище векторов Chroma. | |||
privateGPT.py использует локальный LLM на основе GPT4All-J или LlamaCpp для анализа вопросов и генерации ответов. Контекст для ответов извлекается из локального хранилища векторов с помощью поиска по сходству. | |||
== Устанавливаем PrivateGPT == | |||
Чтобы подготовить среду для запуска, сперва нужно установить все зависимости: | |||
<syntaxhighlight lang="bash"> | |||
pip3 install -r requirements.txt | |||
</syntaxhighlight> | |||
Затем загрузите модель LLM и поместите её в нужный вам каталог. | |||
По умолчанию используется языковая модель ggml-gpt4all-j-v1.3-groovy.bin. Если вы хотите использовать другую модель, совместимую с GPT4All-J, просто загрузите её и укажите в своем файле .env. | |||
После загрузки модели, переименуйте файл example.env в .env и отредактируйте содержимое файла по примеру ниже. | |||
<syntaxhighlight lang="bash"> | |||
MODEL_TYPE: supports LlamaCpp or GPT4All | |||
PERSIST_DIRECTORY: is the folder you want your vectorstore in | |||
MODEL_PATH: Path to your GPT4All or LlamaCpp supported LLM | |||
MODEL_N_CTX: Maximum token limit for the LLM model | |||
EMBEDDINGS_MODEL_NAME: SentenceTransformers embeddings model name (see https://www.sbert.net/docs/pretrained_models.html) | |||
TARGET_SOURCE_CHUNKS: The amount of chunks (sources) that will be used to answer a question | |||
</syntaxhighlight> | |||
== См. также == | == См. также == | ||
Версия от 16:18, 15 января 2024
PrivateGPT - это инструмент для задавания вопросов к документам без подключения к интернету, используя мощь LLMs, с полной конфиденциальностью, так как данные не покидают локальную среду выполнения, позволяющий загружать документы и задавать вопросы без подключения к интернету, разработанный с использованием LangChain, GPT4All, LlamaCpp, Chroma и SentenceTransformers.
Как работает PrivateGPT
Используя локальные модели LangChain, вы можете запустить всю модель на своём ПК, и данные не будут покидать вашу среду. При этом разработчики гарантируют хорошую производительность.
ingest.py использует инструменты LangChain для анализа документа и локального создания вложений с помощью HuggingFaceEmbeddings (SentenceTransformers). Затем Он сохраняет результат в локальной векторной базе данных, используя хранилище векторов Chroma.
privateGPT.py использует локальный LLM на основе GPT4All-J или LlamaCpp для анализа вопросов и генерации ответов. Контекст для ответов извлекается из локального хранилища векторов с помощью поиска по сходству.
Устанавливаем PrivateGPT
Чтобы подготовить среду для запуска, сперва нужно установить все зависимости:
pip3 install -r requirements.txt
Затем загрузите модель LLM и поместите её в нужный вам каталог.
По умолчанию используется языковая модель ggml-gpt4all-j-v1.3-groovy.bin. Если вы хотите использовать другую модель, совместимую с GPT4All-J, просто загрузите её и укажите в своем файле .env.
После загрузки модели, переименуйте файл example.env в .env и отредактируйте содержимое файла по примеру ниже.
MODEL_TYPE: supports LlamaCpp or GPT4All
PERSIST_DIRECTORY: is the folder you want your vectorstore in
MODEL_PATH: Path to your GPT4All or LlamaCpp supported LLM
MODEL_N_CTX: Maximum token limit for the LLM model
EMBEDDINGS_MODEL_NAME: SentenceTransformers embeddings model name (see https://www.sbert.net/docs/pretrained_models.html)
TARGET_SOURCE_CHUNKS: The amount of chunks (sources) that will be used to answer a question
См. также
Ссылки
- Проект PrivateGPT на сайте GitHub