DBRX
| DBRX | |
|---|---|
| Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). | |
| Скриншот DBRX, описывающего Википедию Скриншот DBRX, описывающего Википедию | |
| Автор | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Разработчик | Mosaic ML и команда Databricks |
| Первый выпуск | 27 марта 2024 |
| Последняя версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Кандидат в релизы | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Бета-версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Альфа-версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Тестовая версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Репозиторий | https://github.com/databricks/dbrx |
| Лицензия | Databricks Open License |
| Сайт | https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |
DBRX — модель с открытым исходным кодом класса LLM, разработанная командой Mosaic ML компании Databricks и выпущенная 27 марта 2024 года.[1][2][3] Это трансформерная модель типа смеси экспертов (mixture-of-experts) с общим количеством параметров 132 миллиарда. Для обработки каждого токена активно используется 36 миллиардов параметров (4 из 16 экспертов).[4] Компания выпустила две версии модели: базовую (foundation model), которая обучена на общих текстах, и инструктивно-настроенную версию (instruction-tuned variant), дообученную методом контролируемого обучения на наборах данных с примерами "вопрос-ответ".[5]
На момент выпуска модель DRBX превзошла другие известные открытые модели, такие как LLaMA 2 от Meta, Mixtral от Mistral AI и Grok от xAI, в различных тестах, включая понимание языка, способности к программированию и математике.[4][6][7]
Модель обучалась в течение 2,5 месяцев[7] на 3 072 GPU Nvidia H100, соединённых с пропускной способностью 3,2 ТБ/с (технология InfiniBand). Стоимость обучения составила $10 млн.[1]
См. также
Примечания
- ↑ 1,0 1,1 Introducing DBRX: A New State-of-the-Art Open LLM (амер. англ.). Databricks (27 марта 2024). Дата обращения: 10 февраля 2025.
- ↑ New Databricks open source LLM targets custom development | TechTarget (англ.). Business Analytics. Дата обращения: 10 февраля 2025.
- ↑ Ghoshal, Anirban Databricks' open-source DBRX LLM beats Llama 2, Mixtral, and Grok (англ.). InfoWorld (27 марта 2024). Дата обращения: 28 марта 2024.
- ↑ 4,0 4,1 A New Open Source LLM, DBRX Claims to be the Most Powerful – Here are the Scores. GIZMOCHINA (28 марта 2024).
- ↑ Wiggers, Kyle Databricks spent $10M on new DBRX generative AI model (амер. англ.). TechCrunch (27 марта 2024). Дата обращения: 29 марта 2024.
- ↑ Data and AI company DataBrix has launched a general-purpose large language model (LLM) DBRX that out.. (англ.). Maeil Business Newspaper (28 марта 2024). Дата обращения: 10 февраля 2025.
- ↑ 7,0 7,1 Шаблон:Cite magazine
Ссылки
| Концепции |
| ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Модели |
| ||||||||||||
| Компании | |||||||||||||