DBRX - История изменений

Dzmuh в 06:35, 26 января 2026

2026-01-26T06:35:16Z

← Предыдущая версия		Версия от 06:35, 26 января 2026
Строка 1:		Строка 1:
	{{Программа		{{Программа
	\| разработчик = {{нп\|Mosaic ML\|Mosaic ML}} и команда [[Databricks]]		\| разработчик = {{Не переведено\|Mosaic ML\|Mosaic ML}} и команда [[Databricks]]
	\| снимок экрана = DBRX chatbot example screenshot.webp		\| снимок экрана = DBRX chatbot example screenshot.webp
	\| подпись = Скриншот DBRX, описывающего [[Википедия\|Википедию]]		\| подпись = Скриншот DBRX, описывающего [[Википедия\|Википедию]]
Строка 9:		Строка 9:
	}}		}}

	'''DBRX''' — модель с открытым исходным кодом класса [[Большие языковые модели\|LLM]], разработанная командой [[Mosaic ML]] компании [[Databricks]] и выпущенная 27 марта 2024 года.<ref name=":0">{{Cite web \|date=2024-03-27 \|title=Introducing DBRX: A New State-of-the-Art Open LLM \|url=https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm \|access-date=2025-02-10 \|website=Databricks \|language=en-US}}</ref><ref>{{Cite web \|title=New Databricks open source LLM targets custom development {{!}} TechTarget \|url=https://www.techtarget.com/searchbusinessanalytics/news/366575678/New-Databricks-open-source-LLM-targets-custom-development \|access-date=2025-02-10 \|website=Business Analytics \|language=en}}</ref><ref>{{Cite web \|last=Ghoshal \|first=Anirban \|date=2024-03-27 \|title=Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok \|url=https://www.infoworld.com/article/3714625/databricks-open-source-dbrx-llm-beats-llama-2-mixtral-and-grok.html \|access-date=2024-03-28 \|website=InfoWorld \|language=en}}</ref> Это [[Трансформер (модель машинного обучения)\|трансформерная]] модель типа {{нп\|Mixture of experts\|смеси экспертов}} (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).<ref name=":1">{{Cite web \|first= \|date=2024-03-28 \|title=A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores \|url=https://www.gizmochina.com/2024/03/28/open-source-llm-dbrx-powerful/ \|website=GIZMOCHINA}}</ref> Компания выпустила две версии модели: {{нп\|Foundation model\|базовую}} (foundation model), которая обучена на общих текстах, и {{нп\|Instruction tuning\|инструктивно-настроенную версию}} (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".<ref name=":2">{{Cite web \|last=Wiggers \|first=Kyle \|date=2024-03-27 \|title=Databricks spent $10M on new DBRX generative AI model \|url=https://techcrunch.com/2024/03/27/databricks-spent-10m-on-a-generative-ai-model-that-still-cant-beat-gpt-4/ \|access-date=2024-03-29 \|website=TechCrunch \|language=en-US}}</ref>		'''DBRX''' — модель с открытым исходным кодом класса [[Большие языковые модели\|LLM]], разработанная командой [[Mosaic ML]] компании [[Databricks]] и выпущенная 27 марта 2024 года.<ref name=":0">{{Cite web \|date=2024-03-27 \|title=Introducing DBRX: A New State-of-the-Art Open LLM \|url=https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm \|access-date=2025-02-10 \|website=Databricks \|language=en-US}}</ref><ref>{{Cite web \|title=New Databricks open source LLM targets custom development {{!}} TechTarget \|url=https://www.techtarget.com/searchbusinessanalytics/news/366575678/New-Databricks-open-source-LLM-targets-custom-development \|access-date=2025-02-10 \|website=Business Analytics \|language=en}}</ref><ref>{{Cite web \|last=Ghoshal \|first=Anirban \|date=2024-03-27 \|title=Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok \|url=https://www.infoworld.com/article/3714625/databricks-open-source-dbrx-llm-beats-llama-2-mixtral-and-grok.html \|access-date=2024-03-28 \|website=InfoWorld \|language=en}}</ref> Это [[Трансформер (модель машинного обучения)\|трансформерная]] модель типа {{Не переведено\|Mixture of experts\|смеси экспертов}} (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).<ref name=":1">{{Cite web \|first= \|date=2024-03-28 \|title=A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores \|url=https://www.gizmochina.com/2024/03/28/open-source-llm-dbrx-powerful/ \|website=GIZMOCHINA}}</ref> Компания выпустила две версии модели: {{Не переведено\|Foundation model\|базовую}} (foundation model), которая обучена на общих текстах, и {{Не переведено\|Instruction tuning\|инструктивно-настроенную версию}} (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".<ref name=":2">{{Cite web \|last=Wiggers \|first=Kyle \|date=2024-03-27 \|title=Databricks spent $10M on new DBRX generative AI model \|url=https://techcrunch.com/2024/03/27/databricks-spent-10m-on-a-generative-ai-model-that-still-cant-beat-gpt-4/ \|access-date=2024-03-29 \|website=TechCrunch \|language=en-US}}</ref>

	На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как [[LLaMA\|LLaMA 2]] от [[Meta Platforms\|Meta]], Mixtral от [[Mistral AI]] и [[Grok (чат-бот)\|Grok]] от [[xAI]], в различных тестах, включая понимание языка, способности к программированию и математике.<ref name=":1" /><ref>{{Cite web \|date=2024-03-28 \|title=Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. \|url=https://www.mk.co.kr/en/world/10976197 \|access-date=2025-02-10 \|website=[[Maeil Business Newspaper]] \|language=en}}</ref><ref name=":3">{{Cite magazine \|last=Knight \|first=Will \|title=Inside the Creation of the World's Most Powerful Open Source AI Model \|url=https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/ \|access-date=2025-02-10 \|magazine=Wired \|language=en-US \|issn=1059-1028}}</ref>		На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как [[LLaMA\|LLaMA 2]] от [[Meta Platforms\|Meta]], Mixtral от [[Mistral AI]] и [[Grok (чат-бот)\|Grok]] от [[xAI]], в различных тестах, включая понимание языка, способности к программированию и математике.<ref name=":1" /><ref>{{Cite web \|date=2024-03-28 \|title=Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. \|url=https://www.mk.co.kr/en/world/10976197 \|access-date=2025-02-10 \|website=[[Maeil Business Newspaper]] \|language=en}}</ref><ref name=":3">{{Cite magazine \|last=Knight \|first=Will \|title=Inside the Creation of the World's Most Powerful Open Source AI Model \|url=https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/ \|access-date=2025-02-10 \|magazine=Wired \|language=en-US \|issn=1059-1028}}</ref>

Dzmuh: Новая страница: «{{Программа | разработчик = {{нп|Mosaic ML|Mosaic ML}} и команда Databricks | снимок экрана = DBRX chatbot example screenshot.webp | подпись = Скриншот DBRX, описывающего Википедию | первый выпуск = 27 марта 2024 | репозиторий = https://github.com/databricks/dbrx | лицензия = Databricks Open License | сайт = https:/...»

2026-01-26T06:34:13Z

Новая страница: «{{Программа | разработчик = {{нп|Mosaic ML|Mosaic ML}} и команда Databricks | снимок экрана = DBRX chatbot example screenshot.webp | подпись = Скриншот DBRX, описывающего Википедию | первый выпуск = 27 марта 2024 | репозиторий = https://github.com/databricks/dbrx | лицензия = Databricks Open License | сайт = https:/...»

Новая страница

{{Программа
| разработчик = {{нп|Mosaic ML|Mosaic ML}} и команда [[Databricks]]
| снимок экрана = DBRX chatbot example screenshot.webp
| подпись = Скриншот DBRX, описывающего [[Википедия|Википедию]]
| первый выпуск = 27 марта 2024
| репозиторий = https://github.com/databricks/dbrx
| лицензия = Databricks Open License
| сайт = https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
}}

'''DBRX''' — модель с открытым исходным кодом класса [[Большие языковые модели|LLM]], разработанная командой [[Mosaic ML]] компании [[Databricks]] и выпущенная 27 марта 2024 года.<ref name=":0">{{Cite web |date=2024-03-27 |title=Introducing DBRX: A New State-of-the-Art Open LLM |url=https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |access-date=2025-02-10 |website=Databricks |language=en-US}}</ref><ref>{{Cite web |title=New Databricks open source LLM targets custom development {{!}} TechTarget |url=https://www.techtarget.com/searchbusinessanalytics/news/366575678/New-Databricks-open-source-LLM-targets-custom-development |access-date=2025-02-10 |website=Business Analytics |language=en}}</ref><ref>{{Cite web |last=Ghoshal |first=Anirban |date=2024-03-27 |title=Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok |url=https://www.infoworld.com/article/3714625/databricks-open-source-dbrx-llm-beats-llama-2-mixtral-and-grok.html |access-date=2024-03-28 |website=InfoWorld |language=en}}</ref> Это [[Трансформер (модель машинного обучения)|трансформерная]] модель типа {{нп|Mixture of experts|смеси экспертов}} (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).<ref name=":1">{{Cite web |first= |date=2024-03-28 |title=A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores |url=https://www.gizmochina.com/2024/03/28/open-source-llm-dbrx-powerful/ |website=GIZMOCHINA}}</ref> Компания выпустила две версии модели: {{нп|Foundation model|базовую}} (foundation model), которая обучена на общих текстах, и {{нп|Instruction tuning|инструктивно-настроенную версию}} (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".<ref name=":2">{{Cite web |last=Wiggers |first=Kyle |date=2024-03-27 |title=Databricks spent $10M on new DBRX generative AI model |url=https://techcrunch.com/2024/03/27/databricks-spent-10m-on-a-generative-ai-model-that-still-cant-beat-gpt-4/ |access-date=2024-03-29 |website=TechCrunch |language=en-US}}</ref>

На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как [[LLaMA|LLaMA 2]] от [[Meta Platforms|Meta]], Mixtral от [[Mistral AI]] и [[Grok (чат-бот)|Grok]] от [[xAI]], в различных тестах, включая понимание языка, способности к программированию и математике.<ref name=":1" /><ref>{{Cite web |date=2024-03-28 |title=Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. |url=https://www.mk.co.kr/en/world/10976197 |access-date=2025-02-10 |website=[[Maeil Business Newspaper]] |language=en}}</ref><ref name=":3">{{Cite magazine |last=Knight |first=Will |title=Inside the Creation of the World's Most Powerful Open Source AI Model |url=https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/ |access-date=2025-02-10 |magazine=Wired |language=en-US |issn=1059-1028}}</ref>

Модель обучалась в течение 2,5 месяцев<ref name=":3" /> на 3 072 GPU Nvidia H100, соединённых с пропускной способностью 3,2 ТБ/с (технология InfiniBand). Стоимость обучения составила $10 млн.<ref name=":0" />

== См. также ==
* [[Grok (чат-бот)]]
* [[LLaMA]]

== Примечания ==
{{примечания}}

== Ссылки ==
{{Википедия|DBRX}}

{{Обработка естественного языка}}
{{Искусственный интеллект}}
{{Машинное обучение}}
{{Генеративный ИИ}}

[[Категория:Большие языковые модели]]
[[Категория:Нейронные сети]]