H2oGPT: различия между версиями

Материал из DZWIKI
Перейти к навигации Перейти к поиску
Нет описания правки
Строка 1: Строка 1:
{{Заголовок со строчной буквы}}
{{Заголовок со строчной буквы}}
h2oGPT представляет собой набор репозиториев с открытым исходным кодом, «обернутый» в оболочку H2O LLM Studio. Само название проекта уже недвусмысленно намекает нам на применение [https://arxiv.org/abs/2305.10435 Generative Pretrained Transformer].
Компания [http://h2o.ai/ H2O.ai], разработчик h2oGPT, заявляет, что ее продукт — часть инициативы по внедрению больших языковых моделей в корпоративный сегмент через open source. По словам разработчиков, их цель — представить открытые альтернативы коммерческим LLM, сделать доступ к таким моделям свободным и, в то же время, «ответственным». При этом акцент сделан на безопасности h2oGPT для использования внутри компаний, поскольку чат-бот может «жить» в пределах корпоративной сети, не отдавая данные в интернет.
h2oGPT может работать с различными типами и форматами файлов, включая csv, docx, pdf, mp3, zip, txt, ppt и wav. Понимает Markdown- и HTML-разметку, может читать электронные письма и так далее. В его составе значатся языковая модель, эмбеддинг, базы данных для документов, интерфейс командной строки, а также расширенный интуитивно понятный графический интерфейс. Последний включает в себя функции для работы пользователя, поддержку голосового [https://cloud.google.com/text-to-speech/docs TTS] с использованием лицензированных [ https://github.com/microsoft/SpeechT5 Microsoft Speech T5], в том числе клонирование голоса и потоковую аудио-конвертацию, а также режим голосового управления AI Assistant для беспроводного управления чатом h2oGPT.
Чат-бот поддерживает интеграцию с различными инференс-серверами: HF TGI server, [https://github.com/vllm-project/vllm vLLM], Gradio, [https://github.com/turboderp/exllama ExLLaMa], Replicate, OpenAI, [https://azure.microsoft.com/en-us/products/ai-services/openai-service Azure OpenAI] и [https://www.anthropic.com/ Anthropic]. Более того, последняя предлагает API для работы с сервером и клиентом на Python. Это позволяет использовать h2oGPT в качестве замены OpenAI и обеспечивает высокое качество по результатам более чем 1 000 единичных и интеграционных тестов.
== Что отмечают разработчики ==
* Поддержка открытой векторной базы данных [https://www.trychroma.com/ Chroma] и векторной базы данных [https://weaviate.io/ Weaviate];
* Суммаризация и извлечение информации, которое достигает производительности 80 токенов в секунду при использовании модели LLaMa;
* Применение [https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde HyDE] (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
* Поддержка моделей [https://huggingface.co/docs/transformers/model_doc/llama2 LLaMa2], [https://habr.com/ru/news/764242/ Mistral], [https://www.unite.ai/ru/%25D0%25BB%25D1%2583%25D1%2587%25D1%2588%25D0%25B8%25D0%25B5-llms-%25D1%2581-%25D0%25BE%25D1%2582%25D0%25BA%25D1%2580%25D1%258B%25D1%2582%25D1%258B%25D0%25BC-%25D0%25B8%25D1%2581%25D1%2585%25D0%25BE%25D0%25B4%25D0%25BD%25D1%258B%25D0%25BC-%25D0%25BA%25D0%25BE%25D0%25B4%25D0%25BE%25D0%25BC/ Falcon], [https://lmsys.org/blog/2023-03-30-vicuna/ Vicuna], [https://github.com/nlpxucan/WizardLM WizardLM], [https://github.com/AutoGPTQ/AutoGPTQ AutoGPTQ];
* Поддержка инференс-серверов HF TGI, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI, Anthropic.
* Поддержка Docker.
Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера LoRA, 4-битное квантование и умеет работать без интернета.
== H2O LLM Studio ==


== Ссылки ==
== Ссылки ==

Версия от 19:23, 21 августа 2024

h2oGPT представляет собой набор репозиториев с открытым исходным кодом, «обернутый» в оболочку H2O LLM Studio. Само название проекта уже недвусмысленно намекает нам на применение Generative Pretrained Transformer.

Компания H2O.ai, разработчик h2oGPT, заявляет, что ее продукт — часть инициативы по внедрению больших языковых моделей в корпоративный сегмент через open source. По словам разработчиков, их цель — представить открытые альтернативы коммерческим LLM, сделать доступ к таким моделям свободным и, в то же время, «ответственным». При этом акцент сделан на безопасности h2oGPT для использования внутри компаний, поскольку чат-бот может «жить» в пределах корпоративной сети, не отдавая данные в интернет.

h2oGPT может работать с различными типами и форматами файлов, включая csv, docx, pdf, mp3, zip, txt, ppt и wav. Понимает Markdown- и HTML-разметку, может читать электронные письма и так далее. В его составе значатся языковая модель, эмбеддинг, базы данных для документов, интерфейс командной строки, а также расширенный интуитивно понятный графический интерфейс. Последний включает в себя функции для работы пользователя, поддержку голосового TTS с использованием лицензированных [ https://github.com/microsoft/SpeechT5 Microsoft Speech T5], в том числе клонирование голоса и потоковую аудио-конвертацию, а также режим голосового управления AI Assistant для беспроводного управления чатом h2oGPT.

Чат-бот поддерживает интеграцию с различными инференс-серверами: HF TGI server, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI и Anthropic. Более того, последняя предлагает API для работы с сервером и клиентом на Python. Это позволяет использовать h2oGPT в качестве замены OpenAI и обеспечивает высокое качество по результатам более чем 1 000 единичных и интеграционных тестов.

Что отмечают разработчики

  • Поддержка открытой векторной базы данных Chroma и векторной базы данных Weaviate;
  • Суммаризация и извлечение информации, которое достигает производительности 80 токенов в секунду при использовании модели LLaMa;
  • Применение HyDE (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
  • Поддержка моделей LLaMa2, Mistral, Falcon, Vicuna, WizardLM, AutoGPTQ;
  • Поддержка инференс-серверов HF TGI, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI, Anthropic.
  • Поддержка Docker.

Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера LoRA, 4-битное квантование и умеет работать без интернета.

H2O LLM Studio

Ссылки

Источник — https://wiki.dzmuh.com/index.php?title=H2oGPT&oldid=13990