DBRX: различия между версиями

Материал из DZWIKI
Перейти к навигации Перейти к поиску
(Новая страница: «{{Программа | разработчик = {{нп|Mosaic ML|Mosaic ML}} и команда Databricks | снимок экрана = DBRX chatbot example screenshot.webp | подпись = Скриншот DBRX, описывающего Википедию | первый выпуск = 27 марта 2024 | репозиторий = https://github.com/databricks/dbrx | лицензия = Databricks Open License | сайт = https:/...»)
 
Нет описания правки
 
Строка 1: Строка 1:
{{Программа
{{Программа
| разработчик = {{нп|Mosaic ML|Mosaic ML}} и команда [[Databricks]]
| разработчик = {{Не переведено|Mosaic ML|Mosaic ML}} и команда [[Databricks]]
| снимок экрана = DBRX chatbot example screenshot.webp
| снимок экрана = DBRX chatbot example screenshot.webp
| подпись = Скриншот DBRX, описывающего [[Википедия|Википедию]]
| подпись = Скриншот DBRX, описывающего [[Википедия|Википедию]]
Строка 9: Строка 9:
}}
}}


'''DBRX''' — модель с открытым исходным кодом класса [[Большие языковые модели|LLM]], разработанная командой [[Mosaic ML]] компании [[Databricks]] и выпущенная 27 марта 2024 года.<ref name=":0">{{Cite web |date=2024-03-27 |title=Introducing DBRX: A New State-of-the-Art Open LLM |url=https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |access-date=2025-02-10 |website=Databricks |language=en-US}}</ref><ref>{{Cite web |title=New Databricks open source LLM targets custom development {{!}} TechTarget |url=https://www.techtarget.com/searchbusinessanalytics/news/366575678/New-Databricks-open-source-LLM-targets-custom-development |access-date=2025-02-10 |website=Business Analytics |language=en}}</ref><ref>{{Cite web |last=Ghoshal |first=Anirban |date=2024-03-27 |title=Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok |url=https://www.infoworld.com/article/3714625/databricks-open-source-dbrx-llm-beats-llama-2-mixtral-and-grok.html |access-date=2024-03-28 |website=InfoWorld |language=en}}</ref> Это [[Трансформер (модель машинного обучения)|трансформерная]] модель типа {{нп|Mixture of experts|смеси экспертов}} (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).<ref name=":1">{{Cite web |first= |date=2024-03-28 |title=A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores |url=https://www.gizmochina.com/2024/03/28/open-source-llm-dbrx-powerful/ |website=GIZMOCHINA}}</ref> Компания выпустила две версии модели: {{нп|Foundation model|базовую}} (foundation model), которая обучена на общих текстах, и {{нп|Instruction tuning|инструктивно-настроенную версию}} (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".<ref name=":2">{{Cite web |last=Wiggers |first=Kyle |date=2024-03-27 |title=Databricks spent $10M on new DBRX generative AI model |url=https://techcrunch.com/2024/03/27/databricks-spent-10m-on-a-generative-ai-model-that-still-cant-beat-gpt-4/ |access-date=2024-03-29 |website=TechCrunch |language=en-US}}</ref>
'''DBRX''' — модель с открытым исходным кодом класса [[Большие языковые модели|LLM]], разработанная командой [[Mosaic ML]] компании [[Databricks]] и выпущенная 27 марта 2024 года.<ref name=":0">{{Cite web |date=2024-03-27 |title=Introducing DBRX: A New State-of-the-Art Open LLM |url=https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |access-date=2025-02-10 |website=Databricks |language=en-US}}</ref><ref>{{Cite web |title=New Databricks open source LLM targets custom development {{!}} TechTarget |url=https://www.techtarget.com/searchbusinessanalytics/news/366575678/New-Databricks-open-source-LLM-targets-custom-development |access-date=2025-02-10 |website=Business Analytics |language=en}}</ref><ref>{{Cite web |last=Ghoshal |first=Anirban |date=2024-03-27 |title=Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok |url=https://www.infoworld.com/article/3714625/databricks-open-source-dbrx-llm-beats-llama-2-mixtral-and-grok.html |access-date=2024-03-28 |website=InfoWorld |language=en}}</ref> Это [[Трансформер (модель машинного обучения)|трансформерная]] модель типа {{Не переведено|Mixture of experts|смеси экспертов}} (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).<ref name=":1">{{Cite web |first= |date=2024-03-28 |title=A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores |url=https://www.gizmochina.com/2024/03/28/open-source-llm-dbrx-powerful/ |website=GIZMOCHINA}}</ref> Компания выпустила две версии модели: {{Не переведено|Foundation model|базовую}} (foundation model), которая обучена на общих текстах, и {{Не переведено|Instruction tuning|инструктивно-настроенную версию}} (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".<ref name=":2">{{Cite web |last=Wiggers |first=Kyle |date=2024-03-27 |title=Databricks spent $10M on new DBRX generative AI model |url=https://techcrunch.com/2024/03/27/databricks-spent-10m-on-a-generative-ai-model-that-still-cant-beat-gpt-4/ |access-date=2024-03-29 |website=TechCrunch |language=en-US}}</ref>


На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как [[LLaMA|LLaMA 2]] от [[Meta Platforms|Meta]], Mixtral от [[Mistral AI]] и [[Grok (чат-бот)|Grok]] от [[xAI]], в различных тестах, включая понимание языка, способности к программированию и математике.<ref name=":1" /><ref>{{Cite web |date=2024-03-28 |title=Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. |url=https://www.mk.co.kr/en/world/10976197 |access-date=2025-02-10 |website=[[Maeil Business Newspaper]] |language=en}}</ref><ref name=":3">{{Cite magazine |last=Knight |first=Will |title=Inside the Creation of the World's Most Powerful Open Source AI Model |url=https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/ |access-date=2025-02-10 |magazine=Wired |language=en-US |issn=1059-1028}}</ref>
На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как [[LLaMA|LLaMA 2]] от [[Meta Platforms|Meta]], Mixtral от [[Mistral AI]] и [[Grok (чат-бот)|Grok]] от [[xAI]], в различных тестах, включая понимание языка, способности к программированию и математике.<ref name=":1" /><ref>{{Cite web |date=2024-03-28 |title=Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. |url=https://www.mk.co.kr/en/world/10976197 |access-date=2025-02-10 |website=[[Maeil Business Newspaper]] |language=en}}</ref><ref name=":3">{{Cite magazine |last=Knight |first=Will |title=Inside the Creation of the World's Most Powerful Open Source AI Model |url=https://www.wired.com/story/dbrx-inside-the-creation-of-the-worlds-most-powerful-open-source-ai-model/ |access-date=2025-02-10 |magazine=Wired |language=en-US |issn=1059-1028}}</ref>

Текущая версия от 06:35, 26 января 2026

DBRX
Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Скриншот DBRX, описывающего Википедию
Скриншот DBRX, описывающего Википедию
Автор Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Разработчик Mosaic ML (англ.) и команда Databricks
Первый выпуск 27 марта 2024
Последняя версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Кандидат в релизы Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Бета-версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Альфа-версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Тестовая версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Репозиторий https://github.com/databricks/dbrx
Лицензия Databricks Open License
Сайт https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm

DBRX — модель с открытым исходным кодом класса LLM, разработанная командой Mosaic ML компании Databricks и выпущенная 27 марта 2024 года.[1][2][3] Это трансформерная модель типа смеси экспертов (англ.) (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).[4] Компания выпустила две версии модели: базовую (англ.) (foundation model), которая обучена на общих текстах, и инструктивно-настроенную версию (англ.) (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".[5]

На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как LLaMA 2 от Meta, Mixtral от Mistral AI и Grok от xAI, в различных тестах, включая понимание языка, способности к программированию и математике.[4][6][7]

Модель обучалась в течение 2,5 месяцев[7] на 3 072 GPU Nvidia H100, соединённых с пропускной способностью 3,2 ТБ/с (технология InfiniBand). Стоимость обучения составила $10 млн.[1]

См. также

Примечания

  1. ↑ 1,0 1,1 Introducing DBRX: A New State-of-the-Art Open LLM (амер. англ.). Databricks (27 марта 2024). Дата обращения: 10 февраля 2025.
  2. ↑ New Databricks open source LLM targets custom development | TechTarget (англ.). Business Analytics. Дата обращения: 10 февраля 2025.
  3. ↑ Ghoshal, Anirban Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok (англ.). InfoWorld (27 марта 2024). Дата обращения: 28 марта 2024.
  4. ↑ 4,0 4,1 A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores. GIZMOCHINA (28 марта 2024).
  5. ↑ Wiggers, Kyle Databricks spent $10M on new DBRX generative AI model (амер. англ.). TechCrunch (27 марта 2024). Дата обращения: 29 марта 2024.
  6. ↑ Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. (англ.). Maeil Business Newspaper (28 марта 2024). Дата обращения: 10 февраля 2025.
  7. ↑ 7,0 7,1 Шаблон:Cite magazine

Ссылки

Wikipedia-logo-v2.svg
В русской википедии есть страница «DBRX».
Источник — https://wiki.dzmuh.com/index.php?title=DBRX&oldid=14676