H2oGPT - История изменений

Dzmuh в 22:07, 21 августа 2024

2024-08-21T22:07:51Z

@@ Строка 18: / Строка 18: @@
 Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера [https://arxiv.org/abs/2106.09685 LoRA], 4-битное квантование и умеет работать без интернета.
 == H2O LLM Studio ==
-== Разделы ==
+* Набор для обучения должен присутствовать в виде пары «запрос — ожидаемый ответ».
-* [[h2oGPT/Установка|Установка]]
+* Загрузка данных пользователем. В процессе из коннекторов импортируются различные типы документов;
 == Ссылки ==

Dzmuh: /* H2O LLM Studio */

2024-08-21T19:59:02Z

H2O LLM Studio

← Предыдущая версия		Версия от 19:59, 21 августа 2024
Строка 20:		Строка 20:

	== H2O LLM Studio ==		== H2O LLM Studio ==

			== Разделы ==

			* [[h2oGPT/Установка\|Установка]]

	== Ссылки ==		== Ссылки ==

Dzmuh: /* Ссылки */

2024-08-21T19:38:45Z

Ссылки

← Предыдущая версия		Версия от 19:38, 21 августа 2024
Строка 22:		Строка 22:

	== Ссылки ==		== Ссылки ==
			* [https://h2o.ai/platform/open-source-gpt-and-llm-studio/ Документация на сайте разработчика]
	* {{github\|h2oai\|h2ogpt\|h2oGPT}}		* {{github\|h2oai\|h2ogpt\|h2oGPT}}
	* {{github\|h2oai\|h2o-llmstudio\|H2O LLM Studio}}		* {{github\|h2oai\|h2o-llmstudio\|H2O LLM Studio}}

	[[Категория:Категоризовать]]		[[Категория:Категоризовать]]

Dzmuh в 19:28, 21 августа 2024

2024-08-21T19:28:11Z

← Предыдущая версия		Версия от 19:28, 21 августа 2024
Строка 4:		Строка 4:
	Компания [http://h2o.ai/ H2O.ai], разработчик h2oGPT, заявляет, что ее продукт — часть инициативы по внедрению больших языковых моделей в корпоративный сегмент через open source. По словам разработчиков, их цель — представить открытые альтернативы коммерческим LLM, сделать доступ к таким моделям свободным и, в то же время, «ответственным». При этом акцент сделан на безопасности h2oGPT для использования внутри компаний, поскольку чат-бот может «жить» в пределах корпоративной сети, не отдавая данные в интернет.		Компания [http://h2o.ai/ H2O.ai], разработчик h2oGPT, заявляет, что ее продукт — часть инициативы по внедрению больших языковых моделей в корпоративный сегмент через open source. По словам разработчиков, их цель — представить открытые альтернативы коммерческим LLM, сделать доступ к таким моделям свободным и, в то же время, «ответственным». При этом акцент сделан на безопасности h2oGPT для использования внутри компаний, поскольку чат-бот может «жить» в пределах корпоративной сети, не отдавая данные в интернет.

	h2oGPT может работать с различными типами и форматами файлов, включая csv, docx, pdf, mp3, zip, txt, ppt и wav. Понимает Markdown- и HTML-разметку, может читать электронные письма и так далее. В его составе значатся языковая модель, эмбеддинг, базы данных для документов, интерфейс командной строки, а также расширенный интуитивно понятный графический интерфейс. Последний включает в себя функции для работы пользователя, поддержку голосового [https://cloud.google.com/text-to-speech/docs TTS] с использованием лицензированных [ https://github.com/microsoft/SpeechT5 Microsoft Speech T5], в том числе клонирование голоса и потоковую аудио-конвертацию, а также режим голосового управления AI Assistant для беспроводного управления чатом h2oGPT.		h2oGPT может работать с различными типами и форматами файлов, включая csv, docx, pdf, mp3, zip, txt, ppt и wav. Понимает Markdown- и HTML-разметку, может читать электронные письма и так далее. В его составе значатся языковая модель, эмбеддинг, базы данных для документов, интерфейс командной строки, а также расширенный интуитивно понятный графический интерфейс. Последний включает в себя функции для работы пользователя, поддержку голосового [https://cloud.google.com/text-to-speech/docs TTS] с использованием лицензированных [https://github.com/microsoft/SpeechT5 Microsoft Speech T5], в том числе клонирование голоса и потоковую аудио-конвертацию, а также режим голосового управления AI Assistant для беспроводного управления чатом h2oGPT.

	Чат-бот поддерживает интеграцию с различными инференс-серверами: HF TGI server, [https://github.com/vllm-project/vllm vLLM], Gradio, [https://github.com/turboderp/exllama ExLLaMa], Replicate, OpenAI, [https://azure.microsoft.com/en-us/products/ai-services/openai-service Azure OpenAI] и [https://www.anthropic.com/ Anthropic]. Более того, последняя предлагает API для работы с сервером и клиентом на Python. Это позволяет использовать h2oGPT в качестве замены OpenAI и обеспечивает высокое качество по результатам более чем 1 000 единичных и интеграционных тестов.		Чат-бот поддерживает интеграцию с различными инференс-серверами: HF TGI server, [https://github.com/vllm-project/vllm vLLM], Gradio, [https://github.com/turboderp/exllama ExLLaMa], Replicate, OpenAI, [https://azure.microsoft.com/en-us/products/ai-services/openai-service Azure OpenAI] и [https://www.anthropic.com/ Anthropic]. Более того, последняя предлагает API для работы с сервером и клиентом на Python. Это позволяет использовать h2oGPT в качестве замены OpenAI и обеспечивает высокое качество по результатам более чем 1 000 единичных и интеграционных тестов.

Dzmuh: /* Что отмечают разработчики */

2024-08-21T19:27:46Z

Что отмечают разработчики

← Предыдущая версия		Версия от 19:27, 21 августа 2024
Строка 14:		Строка 14:
	* Применение [https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde HyDE] (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;		* Применение [https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde HyDE] (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
	* Поддержка моделей [https://huggingface.co/docs/transformers/model_doc/llama2 LLaMa2], [https://habr.com/ru/news/764242/ Mistral], [https://www.unite.ai/ru/%25D0%25BB%25D1%2583%25D1%2587%25D1%2588%25D0%25B8%25D0%25B5-llms-%25D1%2581-%25D0%25BE%25D1%2582%25D0%25BA%25D1%2580%25D1%258B%25D1%2582%25D1%258B%25D0%25BC-%25D0%25B8%25D1%2581%25D1%2585%25D0%25BE%25D0%25B4%25D0%25BD%25D1%258B%25D0%25BC-%25D0%25BA%25D0%25BE%25D0%25B4%25D0%25BE%25D0%25BC/ Falcon], [https://lmsys.org/blog/2023-03-30-vicuna/ Vicuna], [https://github.com/nlpxucan/WizardLM WizardLM], [https://github.com/AutoGPTQ/AutoGPTQ AutoGPTQ];		* Поддержка моделей [https://huggingface.co/docs/transformers/model_doc/llama2 LLaMa2], [https://habr.com/ru/news/764242/ Mistral], [https://www.unite.ai/ru/%25D0%25BB%25D1%2583%25D1%2587%25D1%2588%25D0%25B8%25D0%25B5-llms-%25D1%2581-%25D0%25BE%25D1%2582%25D0%25BA%25D1%2580%25D1%258B%25D1%2582%25D1%258B%25D0%25BC-%25D0%25B8%25D1%2581%25D1%2585%25D0%25BE%25D0%25B4%25D0%25BD%25D1%258B%25D0%25BC-%25D0%25BA%25D0%25BE%25D0%25B4%25D0%25BE%25D0%25BC/ Falcon], [https://lmsys.org/blog/2023-03-30-vicuna/ Vicuna], [https://github.com/nlpxucan/WizardLM WizardLM], [https://github.com/AutoGPTQ/AutoGPTQ AutoGPTQ];
	* Поддержка инференс-серверов HF TGI, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI, Anthropic.		* Поддержка инференс-серверов [https://kaitchup.substack.com/p/serve-large-language-models-from HF TGI], [https://github.com/vllm-project/vllm vLLM], Gradio, [https://github.com/turboderp/exllama ExLLaMa], Replicate, [https://openai.com/ OpenAI], [https://azure.microsoft.com/en-us/products/ai-services/openai-service Azure OpenAI], Anthropic.
	* Поддержка Docker.		* Поддержка Docker.

	Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера LoRA, 4-битное квантование и умеет работать без интернета.		Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера [https://arxiv.org/abs/2106.09685 LoRA], 4-битное квантование и умеет работать без интернета.

	== H2O LLM Studio ==		== H2O LLM Studio ==

Dzmuh в 19:23, 21 августа 2024

2024-08-21T19:23:56Z

← Предыдущая версия		Версия от 19:23, 21 августа 2024
Строка 1:		Строка 1:
	{{Заголовок со строчной буквы}}		{{Заголовок со строчной буквы}}
			h2oGPT представляет собой набор репозиториев с открытым исходным кодом, «обернутый» в оболочку H2O LLM Studio. Само название проекта уже недвусмысленно намекает нам на применение [https://arxiv.org/abs/2305.10435 Generative Pretrained Transformer].

			Компания [http://h2o.ai/ H2O.ai], разработчик h2oGPT, заявляет, что ее продукт — часть инициативы по внедрению больших языковых моделей в корпоративный сегмент через open source. По словам разработчиков, их цель — представить открытые альтернативы коммерческим LLM, сделать доступ к таким моделям свободным и, в то же время, «ответственным». При этом акцент сделан на безопасности h2oGPT для использования внутри компаний, поскольку чат-бот может «жить» в пределах корпоративной сети, не отдавая данные в интернет.

			h2oGPT может работать с различными типами и форматами файлов, включая csv, docx, pdf, mp3, zip, txt, ppt и wav. Понимает Markdown- и HTML-разметку, может читать электронные письма и так далее. В его составе значатся языковая модель, эмбеддинг, базы данных для документов, интерфейс командной строки, а также расширенный интуитивно понятный графический интерфейс. Последний включает в себя функции для работы пользователя, поддержку голосового [https://cloud.google.com/text-to-speech/docs TTS] с использованием лицензированных [ https://github.com/microsoft/SpeechT5 Microsoft Speech T5], в том числе клонирование голоса и потоковую аудио-конвертацию, а также режим голосового управления AI Assistant для беспроводного управления чатом h2oGPT.

			Чат-бот поддерживает интеграцию с различными инференс-серверами: HF TGI server, [https://github.com/vllm-project/vllm vLLM], Gradio, [https://github.com/turboderp/exllama ExLLaMa], Replicate, OpenAI, [https://azure.microsoft.com/en-us/products/ai-services/openai-service Azure OpenAI] и [https://www.anthropic.com/ Anthropic]. Более того, последняя предлагает API для работы с сервером и клиентом на Python. Это позволяет использовать h2oGPT в качестве замены OpenAI и обеспечивает высокое качество по результатам более чем 1 000 единичных и интеграционных тестов.

			== Что отмечают разработчики ==

			* Поддержка открытой векторной базы данных [https://www.trychroma.com/ Chroma] и векторной базы данных [https://weaviate.io/ Weaviate];
			* Суммаризация и извлечение информации, которое достигает производительности 80 токенов в секунду при использовании модели LLaMa;
			* Применение [https://docs.haystack.deepset.ai/docs/hypothetical-document-embeddings-hyde HyDE] (Hypothetical Document Embeddings) для улучшения поиска на основе ответов LLM;
			* Поддержка моделей [https://huggingface.co/docs/transformers/model_doc/llama2 LLaMa2], [https://habr.com/ru/news/764242/ Mistral], [https://www.unite.ai/ru/%25D0%25BB%25D1%2583%25D1%2587%25D1%2588%25D0%25B8%25D0%25B5-llms-%25D1%2581-%25D0%25BE%25D1%2582%25D0%25BA%25D1%2580%25D1%258B%25D1%2582%25D1%258B%25D0%25BC-%25D0%25B8%25D1%2581%25D1%2585%25D0%25BE%25D0%25B4%25D0%25BD%25D1%258B%25D0%25BC-%25D0%25BA%25D0%25BE%25D0%25B4%25D0%25BE%25D0%25BC/ Falcon], [https://lmsys.org/blog/2023-03-30-vicuna/ Vicuna], [https://github.com/nlpxucan/WizardLM WizardLM], [https://github.com/AutoGPTQ/AutoGPTQ AutoGPTQ];
			* Поддержка инференс-серверов HF TGI, vLLM, Gradio, ExLLaMa, Replicate, OpenAI, Azure OpenAI, Anthropic.
			* Поддержка Docker.

			Помимо этого h2oGPT может работать на Linux, macOS и Windows, поддерживает UI или CLI с потоковой передачей всех моделей и воспринимает любую открытую LLM от Hugging Face. А еще поддерживает веса адаптера LoRA, 4-битное квантование и умеет работать без интернета.

			== H2O LLM Studio ==

	== Ссылки ==		== Ссылки ==

Dzmuh: /* Ссылки */

2024-08-21T19:10:55Z

Ссылки

← Предыдущая версия		Версия от 19:10, 21 августа 2024
Строка 2:		Строка 2:

	== Ссылки ==		== Ссылки ==
	* {{github\|h2oai\|h2ogpt}}		* {{github\|h2oai\|h2ogpt\|h2oGPT}}
			* {{github\|h2oai\|h2o-llmstudio\|H2O LLM Studio}}

	[[Категория:Категоризовать]]		[[Категория:Категоризовать]]

Dzmuh: Новая страница: «{{Заголовок со строчной буквы}} == Ссылки == * {{github|h2oai|h2ogpt}} Категория:Категоризовать»

2024-08-21T19:10:08Z

Новая страница: «{{Заголовок со строчной буквы}} == Ссылки == * {{github|h2oai|h2ogpt}} Категория:Категоризовать»

Новая страница

{{Заголовок со строчной буквы}}

== Ссылки ==
* {{github|h2oai|h2ogpt}}

[[Категория:Категоризовать]]