Chinchilla AI
| Chinchilla AI | |
|---|---|
| Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). | |
| Ошибка Lua в Модуль:Wikidata на строке 288: attempt to index field 'wikibase' (a nil value). | |
| Автор | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Разработчик | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Первый выпуск | Ошибка Lua в Модуль:Wikidata на строке 288: attempt to index field 'wikibase' (a nil value). |
| Последняя версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Кандидат в релизы | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Бета-версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Альфа-версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
| Тестовая версия | Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value). |
Chinchilla AI — языковая модель, разработанная исследовательской группой DeepMind и выпущенная в марте 2022 года. Chinchilla AI — это большая языковая модель, которая, как утверждается, превосходит GPT-3[1].
Она значительно упрощает использование, поскольку требует гораздо меньше вычислительной мощности для логического вывода и точной настройки. На основе обучения ранее использовавшихся языковых моделей было определено, что если удвоить размер модели, необходимо также иметь удвоенное количество обучающих токенов. Эта гипотеза была использована DeepMind для обучения Chinchilla AI. Подобно Gopher с точки зрения стоимости, Chinchilla AI имеет параметры 70B и в четыре раза больше данных[1].
Chinchilla AI имеет среднюю точность 67,5 % в тесте MMLU (Измерение понимания языка в многозадачном режиме), что на 7 % выше, чем у Gopher. По состоянию на 12 января 2023 года Chinchilla AI всё ещё находится на стадии тестирования[2].
Chinchilla AI способствует разработке эффективной парадигмы обучения для больших авторегрессивных языковых моделей с ограниченными вычислительными ресурсами. Команда Chinchilla рекомендует удваивать количество обучающих токенов для каждого удвоения размера модели, а это означает, что использование более крупных и качественных наборов обучающих данных может привести к лучшим результатам в последующих задачах[3][4].
Примечания
- ↑ 1,0 1,1 What Is Chinchilla AI: Chatbot Language Model Rival By Deepmind To GPT-3 - Dataconomy (12 января 2023). Дата обращения: 6 апреля 2023. Архивировано 26 марта 2023 года.
- ↑ Hendrycks, Dan, Measuring Massive Multitask Language Understanding, <https://github.com/hendrycks/test>. Проверено 15 марта 2023.
- ↑ Chaithali. Check Out This DeepMind's New Language Model, Chinchilla (70B Parameters), Which Significantly Outperforms Gopher (280B) and GPT-3 (175B) on a Large Range of Downstream Evaluation Tasks (9 апреля 2022). Дата обращения: 6 апреля 2023. Архивировано 27 марта 2023 года.
- ↑ Wali. DeepMind launches GPT-3 rival, Chinchilla. Analytics India Magazine (12 апреля 2022). Дата обращения: 6 апреля 2023. Архивировано 26 марта 2023 года.
Ссылки
