H2oGPT: различия между версиями

Материал из DZWIKI
Перейти к навигации Перейти к поиску
Нет описания правки
Строка 14: Строка 14:
* Применение [https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde HyDE] (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
* Применение [https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde HyDE] (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
* Поддержка моделей [https://huggingface.co/docs/transformers/model_doc/llama2 LLaMa2], [https://habr.com/ru/news/764242/ Mistral], [https://www.unite.ai/ru/%25D0%25BB%25D1%2583%25D1%2587%25D1%2588%25D0%25B8%25D0%25B5-llms-%25D1%2581-%25D0%25BE%25D1%2582%25D0%25BA%25D1%2580%25D1%258B%25D1%2582%25D1%258B%25D0%25BC-%25D0%25B8%25D1%2581%25D1%2585%25D0%25BE%25D0%25B4%25D0%25BD%25D1%258B%25D0%25BC-%25D0%25BA%25D0%25BE%25D0%25B4%25D0%25BE%25D0%25BC/ Falcon], [https://lmsys.org/blog/2023-03-30-vicuna/ Vicuna], [https://github.com/nlpxucan/WizardLM WizardLM], [https://github.com/AutoGPTQ/AutoGPTQ AutoGPTQ];
* Поддержка моделей [https://huggingface.co/docs/transformers/model_doc/llama2 LLaMa2], [https://habr.com/ru/news/764242/ Mistral], [https://www.unite.ai/ru/%25D0%25BB%25D1%2583%25D1%2587%25D1%2588%25D0%25B8%25D0%25B5-llms-%25D1%2581-%25D0%25BE%25D1%2582%25D0%25BA%25D1%2580%25D1%258B%25D1%2582%25D1%258B%25D0%25BC-%25D0%25B8%25D1%2581%25D1%2585%25D0%25BE%25D0%25B4%25D0%25BD%25D1%258B%25D0%25BC-%25D0%25BA%25D0%25BE%25D0%25B4%25D0%25BE%25D0%25BC/ Falcon], [https://lmsys.org/blog/2023-03-30-vicuna/ Vicuna], [https://github.com/nlpxucan/WizardLM WizardLM], [https://github.com/AutoGPTQ/AutoGPTQ AutoGPTQ];
* Поддержка инференс-серверов HF TGI, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI, Anthropic.
* Поддержка инференс-серверов [https://kaitchup.substack.com/p/serve-large-language-models-from HF TGI], [https://github.com/vllm-project/vllm vLLM], Gradio, [https://github.com/turboderp/exllama ExLLaMa], Replicate, [https://openai.com/ OpenAI], [https://azure.microsoft.com/en-us/products/ai-services/openai-service Azure OpenAI], Anthropic.
* Поддержка Docker.
* Поддержка Docker.


Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера LoRA, 4-битное квантование и умеет работать без интернета.
Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера [https://arxiv.org/abs/2106.09685 LoRA], 4-битное квантование и умеет работать без интернета.


== H2O LLM Studio ==
== H2O LLM Studio ==

Версия от 19:27, 21 августа 2024

h2oGPT представляет собой набор репозиториев с открытым исходным кодом, «обернутый» в оболочку H2O LLM Studio. Само название проекта уже недвусмысленно намекает нам на применение Generative Pretrained Transformer.

Компания H2O.ai, разработчик h2oGPT, заявляет, что ее продукт — часть инициативы по внедрению больших языковых моделей в корпоративный сегмент через open source. По словам разработчиков, их цель — представить открытые альтернативы коммерческим LLM, сделать доступ к таким моделям свободным и, в то же время, «ответственным». При этом акцент сделан на безопасности h2oGPT для использования внутри компаний, поскольку чат-бот может «жить» в пределах корпоративной сети, не отдавая данные в интернет.

h2oGPT может работать с различными типами и форматами файлов, включая csv, docx, pdf, mp3, zip, txt, ppt и wav. Понимает Markdown- и HTML-разметку, может читать электронные письма и так далее. В его составе значатся языковая модель, эмбеддинг, базы данных для документов, интерфейс командной строки, а также расширенный интуитивно понятный графический интерфейс. Последний включает в себя функции для работы пользователя, поддержку голосового TTS с использованием лицензированных [ https://github.com/microsoft/SpeechT5 Microsoft Speech T5], в том числе клонирование голоса и потоковую аудио-конвертацию, а также режим голосового управления AI Assistant для беспроводного управления чатом h2oGPT.

Чат-бот поддерживает интеграцию с различными инференс-серверами: HF TGI server, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI и Anthropic. Более того, последняя предлагает API для работы с сервером и клиентом на Python. Это позволяет использовать h2oGPT в качестве замены OpenAI и обеспечивает высокое качество по результатам более чем 1 000 единичных и интеграционных тестов.

Что отмечают разработчики

  • Поддержка открытой векторной базы данных Chroma и векторной базы данных Weaviate;
  • Суммаризация и извлечение информации, которое достигает производительности 80 токенов в секунду при использовании модели LLaMa;
  • Применение HyDE (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
  • Поддержка моделей LLaMa2, Mistral, Falcon, Vicuna, WizardLM, AutoGPTQ;
  • Поддержка инференс-серверов HF TGI, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI, Anthropic.
  • Поддержка Docker.

Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера LoRA, 4-битное квантование и умеет работать без интернета.

H2O LLM Studio

Ссылки

Источник — https://wiki.dzmuh.com/index.php?title=H2oGPT&oldid=13991