BLOOM: различия между версиями
Dzmuh (обсуждение | вклад) (Новая страница: «{{Программа}} '''BigScience Large Open-science Multilingual Language Model с открытым доступом''' ( '''BLOOM <ref>{{Cite web|url=https://huggingface.co/bigscience/bloom|title=BigScience Large Open-science Open-access Multilingual Language Model|access-date=2022-10-01|archive-date=2023-04-12|archive-url=https://web.archive.org/web/20230412002547/https://huggingface.co/bigscience/bloom|deadlink=no}}</ref>''' ) — большая я...») |
Dzmuh (обсуждение | вклад) (→Ссылки) |
||
| Строка 13: | Строка 13: | ||
[[Категория:Большие языковые модели]] | [[Категория:Большие языковые модели]] | ||
[[Категория: | [[Категория:Программное обеспечение, разработанное в 2021 году]] | ||
Текущая версия от 10:16, 30 июня 2024
| BLOOM | |
|---|---|
| Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). | |
| Ошибка Lua в Модуль:Wikidata на строке 288: attempt to index field 'wikibase' (a nil value). | |
| Автор | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Разработчик | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Первый выпуск | Ошибка Lua в Модуль:Wikidata на строке 288: attempt to index field 'wikibase' (a nil value). |
| Последняя версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Кандидат в релизы | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Бета-версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Альфа-версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Тестовая версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
BigScience Large Open-science Multilingual Language Model с открытым доступом ( BLOOM [1] ) — большая языковая модель на основе трансформера. Была создана более чем 1000 исследователями ИИ, чтобы предоставить бесплатную большую языковую модель для всех желающих. Обученна примерно по 176 миллиардам весов с марта по июль 2022 года, считается альтернативой OpenAI GPT-3. BLOOM использует архитектуру модели трансформатора только для декодера, модифицированную от Megatron-LM GPT-2 .
Проект BLOOM [2] был запущен соучредителем Hugging Face. Было задействовано шесть основных групп людей, в том числе команда BigScience HuggingFace, команда Microsoft DeepSpeed, команда NVIDIA Megatron-LM, команда IDRIS/GENCI, команда PyTorch и волонтеры из рабочей группы BigScience Engineering.
BLOOM обучалась на данных 46 естественных языков и 13 языков программирования. В общей сложности 1,6 терабайт предварительно обработанного текста было преобразовано в 350 миллиардов уникальных токенов в качестве обучающих наборов данных BLOOM.
Примечания
- ↑ BigScience Large Open-science Open-access Multilingual Language Model. Дата обращения: 1 октября 2022. Архивировано 12 апреля 2023 года.
- ↑ The Technology Behind BLOOM Training. Дата обращения: 1 октября 2022. Архивировано 4 апреля 2023 года.
Ссылки
