Просмотр кода страницы Большая языковая модель

'''Большая языковая модель''' (БЯМ — калька с англ. large language model, LLM) — это [[языковая модель]], состоящая из [[Нейронная сеть|нейронной сети]] со множеством параметров (обычно миллиарды весовых коэффициентов и более), обученной на большом количестве неразмеченного текста с использованием [[Обучение без учителя|обучения без учителя]]. БЯМ появились примерно в 2018 году и хорошо справляются с широким спектром задач. Это сместило фокус исследований [[Обработка естественного языка|обработки естественного языка]] с предыдущей парадигмы обучения специализированных [[Обучение с учителем|контролируемых]] моделей для конкретных задач<ref name=Manning-2022/>.

== Характеристики ==
Хотя термин ''большая языковая модель'' не имеет формального определения, он обычно относится к моделям [[Глубокое обучение|глубокого обучения]], имеющим количество параметров порядка миллиардов и более<ref name=extracting/>. БЯМ — это модели общего назначения, которые превосходно справляются с широким спектром задач, в отличие от обучения одной конкретной задаче (например, анализу настроений, распознаванию именованных сущностей или математическим рассуждениям)<ref name=Manning-2022/><ref name=emergent/>. Несмотря на обучение на простых задачах, таких как предсказание следующего слова в предложении, нейронные языковые модели с достаточным обучением и подсчётом параметров схватывают большую часть [[Синтаксис|синтаксиса]] и [[Семантика|семантики]] человеческого языка. Кроме того, большие языковые модели демонстрируют значительные общие знания о мире и способны «запоминать» большое количество фактов во время обучения<ref name=Manning-2022/>.

== Архитектура и обучение ==
В БЯМ чаще всего использовалась архитектура [[Трансформер (модель машинного обучения)|трансформера]], которая с 2018 года стала стандартной техникой глубокого обучения для последовательных данных (ранее наиболее распространёнными были рекуррентные архитектуры, такие как [[Долгая краткосрочная память|модели с долгой кратковременной памятью]]). БЯМ обучаются [[Обучение без учителя|без учителя]] на неаннотированном тексте. Трансформер при генерации вывода слева направо обучается максимизировать вероятность, назначенную следующему слову в обучающих данных, с учётом предыдущего контекста. В качестве альтернативы БЯМ может использовать ''двунаправленный трансформер'' (как в примере [[BERT]]), который присваивает распределение вероятностей по словам, имеющим доступ как к предыдущему, так и к последующему контексту<ref name=jm/>. В дополнение к задаче прогнозирования следующего слова или «[[Закрыть задачу|заполнения пробелов]]» БЯМ могут быть обучены вспомогательным задачам, которые проверяют их понимание распределения данных, таких как ''прогнозирование следующего предложения'' (NSP), в котором представлены пары предложений и модель должна предсказать, появятся ли они рядом в обучающем [[Корпус текстов|корпусе текстов]]<ref name=jm/>.

Самые ранние БЯМ обучались на [[Корпус текстов|корпусах]], содержащих порядка миллиардов слов. Первоначальная версия [[Generative pre-trained transformer|GPT]] была обучена в 2018 году на [[КнигаКорпус|BookCorpus]], состоящем из 985 миллионов слов. В том же году [[BERT]] прошёл обучение на сочетании BookCorpus и английской Википедии, что соответствовало 3,3 миллиарда слов<ref name=jm/>. С тех пор учебные корпуса для БЯМ увеличились на порядки, достигнув сотен миллиардов или триллионов токенов<ref name=jm/>.

Обучение БЯМ требует больших вычислительных ресурсов. Исследование 2020 года оценило стоимость обучения модели с 1,5 миллиардами параметров (на 1-2 порядка меньше, чем уровень техники в то время) в 1,6 миллиона долларов<ref name=Wiggers/>.

Анализ 2020 года показал, что возможности нейронных языковых моделей (измеряемые [[Функция потерь|функцией потерь при обучении]]) плавно увеличивались по [[Степенной закон|степенному закону]] от количества параметров, количества обучающих данных и вычислений, используемых для обучения<ref name=bigger-better/><ref name=kaplan-scaling/>. Эти связи были проверены в широком диапазоне значений (до семи порядков), и не наблюдалось затухания отношения на верхнем конце диапазона (в том числе для размеров сети до триллионов параметров)<ref name=kaplan-scaling/>.

== Применение к последующим задачам ==
В период с 2018 по 2020 год стандартный метод использования БЯМ для конкретной задачи [[Обработка естественного языка|NLP]] заключался в [[Тонкая настройка (машинное обучение)|тонкой настройке]] модели с дополнительным обучением для конкретной задачи. Впоследствии обнаружилось, что более мощные БЯМ, такие как [[GPT-3]], могут решать задачи без дополнительного обучения с помощью методов «подсказки», в которых решаемая задача представляется модели в виде текстовой подсказки, возможно, с некоторыми текстовыми примерами подобных задач и их решений<ref name=Manning-2022/>.

=== Тонкая настройка ===
Тонкая настройка — это практика модификации существующей предварительно обученной языковой модели путём её обучения (под наблюдением) конкретной задаче (например, анализ настроений, распознавание именованных объектов или маркировка частей речи). Это форма [[Передаточное обучение|передаточного обучения]]. Обычно это включает введение нового набора весов, связывающих последний слой языковой модели с выходными данными последующей задачи. Исходные веса языковой модели могут быть «заморожены», так что во время обучения изучается только новый слой весов, соединяющий их с выходными данными. В качестве альтернативы исходные веса могут получать небольшие обновления (возможно, с замороженными более ранними слоями)<ref name=jm/>.

=== Подсказка ===
В [[Подсказка по цепочке рассуждений|парадигме подсказок]], популяризированной [[GPT-3]]<ref name=emergent/>, решаемая проблема формулируется с помощью текстовой подсказки, которую модель должна решить, предоставляя завершение (посредством [[Статистический вывод|статистического вывода]]). В «подсказке с несколькими выстрелами» подсказка включает небольшое количество примеров похожих пар (задача и решение). Например, задача анализа тональности маркировки тональности рецензии на фильм можно вызвать следующим образом<ref name=emergent/>: <pre>Review: This movie stinks.
Sentiment: negative

Review: This movie is fantastic!
Sentiment:</pre>Если модель выдаёт «положительно», значит, она правильно решила задачу. В подсказках с «нулевым выстрелом» примеры решения не предоставляются<ref name=Wiggers/><ref name="few-shot-learners"/>. Примером с нулевой подсказкой для задачи с ответом на вопрос может быть «Кто написал книгу ''[[Происхождение видов|„Происхождение видов]]''“?».

Было показано, что малая производительность БЯМ позволяет достигать конкурентоспособных результатов в задачах обработки естественного языка, иногда превосходя предыдущие современные подходы к точной настройке. Примерами таких задач NLP являются [[Машинный перевод|перевод]], [[Вопросно-ответная система|ответы на вопросы]], задачи с [[Закрыть тест|ограничениями]], расшифровка слов и использование нового слова в предложении<ref name="few-shot-learners"/>. Создание и оптимизация таких подсказок называется [[Техника подсказок|инжинирингом подсказок]] и в настоящее время является активной областью исследований.

== Список больших языковых моделей ==
{| class="wikitable sortable"
|+ Список больших языковых моделей
|-
! Название !! Дата релиза{{efn|Это дата первого появления документации, описывающей архитектуру модели.}} !! Разработчик !! Число параметров{{efn|Во многих случаях исследователи публикуют или сообщают о нескольких версиях модели, имеющих разные размеры. В этих случаях здесь указывается размер самой большой модели.}} !! Размер корпуса текстов!! Лицензия{{efn|Это лицензия весов предварительно обученной модели. Почти во всех случаях сам обучающий код имеет открытый исходный код или может быть легко воспроизведён.}} !! Примечания
|-
| {{нп3|BERT (языковая модель)|BERT||BERT (language model)}} || 2018 || [[Google (компания)|Google]] || 340 миллионов<ref name=bert-paper/> || 3,3 миллиарда слов<ref name=bert-paper/> || {{yes|Apache 2.0}}<ref name=bert-web>{{Cite web|url=https://github.com/google-research/bert|title=BERT|date=2023-03-13|access-date=2023-03-16|archive-date=2021-01-13|archive-url=https://web.archive.org/web/20210113211317/https://github.com/google-research/bert|deadlink=no}}</ref>
| Ранняя и влиятельная языковая модель<ref name=Manning-2022/>.
|-
| {{нп3|GPT-2}} || 2019 || [[OpenAI]] || 1,5 миллиарда<ref name="15Brelease"/> || 40GB<ref>{{cite web |title=Better language models and their implications |url=https://openai.com/research/better-language-models |website=openai.com |access-date=2023-03-16 |archive-date=2023-03-16 |archive-url=https://web.archive.org/web/20230316160730/https://openai.com/research/better-language-models |deadlink=no }}</ref> (~10 миллиардов токенов)<ref name="LambdaLabs">{{cite web |title=OpenAI's GPT-3 Language Model: A Technical Overview |url=https://lambdalabs.com/blog/demystifying-gpt-3 |website=lambdalabs.com |language=en |access-date=2023-03-16 |archive-date=2023-03-27 |archive-url=https://web.archive.org/web/20230327213811/https://lambdalabs.com/blog/demystifying-gpt-3 |deadlink=no }}</ref> || {{yes|MIT}}<ref>{{cite web|work=GitHub|title=gpt-2|url=https://github.com/openai/gpt-2|access-date=2023-03-13|archive-date=2023-03-11|archive-url=https://web.archive.org/web/20230311154936/https://github.com/openai/gpt-2|deadlink=no}}</ref>
| Универсальная модель на базе трансформенной архитектуры.
|-
| [[GPT-3]] || 2020 || OpenAI || 175 миллиардов<ref name=Wiggers/> || 499 миллиардов токенов<ref name="LambdaLabs"/> || Общедоступный веб-API
| Доработанный вариант GPT-3, получивший название GPT-3.5, стал общедоступным через веб-интерфейс под названием [[ChatGPT]] в 2022 году<ref name=chatgpt-blog/>.
|-
| GPT-Neo || Март 2021 || {{нп3|EleutherAI}} || 2,7 миллиарда<ref name="gpt-neo">{{Cite web|url=https://github.com/EleutherAI/gpt-neo|title=GPT Neo|date=2023-03-15|access-date=2023-03-16|archive-date=2023-03-12|archive-url=https://web.archive.org/web/20230312225202/https://github.com/EleutherAI/gpt-neo|deadlink=no}}</ref> || 825 GiB<ref name="Pile">{{cite arxiv |last1=Gao |first1=Leo |last2=Biderman |first2=Stella |last3=Black |first3=Sid |last4=Golding |first4=Laurence |last5=Hoppe |first5=Travis |last6=Foster |first6=Charles |last7=Phang |first7=Jason |last8=He |first8=Horace |last9=Thite |first9=Anish |last10=Nabeshima |first10=Noa |last11=Presser |first11=Shawn |last12=Leahy |first12=Connor |title=The Pile: An 800GB Dataset of Diverse Text for Language Modeling |arxiv=2101.00027|date=31 December 2020 }}</ref> || {{yes|MIT}}<ref name=vb-gpt-neo/>
| Первый из [[EleutherAI#GPT-3 Replications|серии бесплатных альтернатив GPT-3]], выпущенных EleutherAI. GPT-Neo превзошёл модель GPT-3 аналогичного размера в некоторых тестах, но был значительно хуже, чем самая большая GPT-3<ref name=vb-gpt-neo/>.
|-
| [[GPT-J]] || Июнь 2021 || {{нп3|EleutherAI}} || 6 миллиардов<ref>{{Cite web |title=GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront |url=https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |access-date=2023-02-28 |website=www.forefront.ai |language=en |archive-date=2023-03-09 |archive-url=https://web.archive.org/web/20230309205439/https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model |deadlink=yes }}</ref> || 825 GiB<ref name="Pile"/> || {{yes|Apache 2.0}}
| Языковая модель в стиле GPT-3.
|-
| Claude<ref>{{cite web |title=Product |url=https://www.anthropic.com/product |website=Anthropic |access-date=2023-03-14 |language=en |archive-date=2023-03-16 |archive-url=https://web.archive.org/web/20230316145444/https://www.anthropic.com/product |deadlink=no }}</ref> || Декабрь 2021 || [[Anthropic]] || 52 миллиарда<ref name="AnthroArch">{{cite arxiv |last1=Askell |first1=Amanda |last2=Bai |first2=Yuntao |last3=Chen |first3=Anna |last4=Drain |first4=Dawn |last5=Ganguli |first5=Deep |last6=Henighan |first6=Tom |last7=Jones |first7=Andy |last8=Joseph |first8=Nicholas |last9=Mann |first9=Ben |last10=DasSarma |first10=Nova |last11=Elhage |first11=Nelson |last12=Hatfield-Dodds |first12=Zac |last13=Hernandez |first13=Danny |last14=Kernion |first14=Jackson |last15=Ndousse |first15=Kamal |last16=Olsson |first16=Catherine |last17=Amodei |first17=Dario |last18=Brown |first18=Tom |last19=Clark |first19=Jack |last20=McCandlish |first20=Sam |last21=Olah |first21=Chris |last22=Kaplan |first22=Jared |display-authors=3 |title=A General Language Assistant as a Laboratory for Alignment |arxiv=2112.00861 |date=9 December 2021 }}</ref> || 400 миллиардов токенов<ref name="AnthroArch"/> || Закрытая бета
| Fine-tuned for desirable behavior in conversations<ref>{{cite arxiv |last1=Bai |first1=Yuntao |last2=Kadavath |first2=Saurav |last3=Kundu |first3=Sandipan |last4=Askell |first4=Amanda |last5=Kernion |first5=Jackson |last6=Jones |first6=Andy |last7=Chen |first7=Anna |last8=Goldie |first8=Anna |last9=Mirhoseini |first9=Azalia |last10=McKinnon |first10=Cameron |last11=Chen |first11=Carol |last12=Olsson |first12=Catherine |last13=Olah |first13=Christopher |last14=Hernandez |first14=Danny |last15=Drain |first15=Dawn |last16=Ganguli |first16=Deep |last17=Li |first17=Dustin |last18=Tran-Johnson |first18=Eli |last19=Perez |first19=Ethan |last20=Kerr |first20=Jamie |last21=Mueller |first21=Jared |last22=Ladish |first22=Jeffrey |last23=Landau |first23=Joshua |last24=Ndousse |first24=Kamal |last25=Lukosuite |first25=Kamile |last26=Lovitt |first26=Liane |last27=Sellitto |first27=Michael |last28=Elhage |first28=Nelson |last29=Schiefer |first29=Nicholas |last30=Mercado |first30=Noemi |last31=DasSarma |first31=Nova |last32=Lasenby |first32=Robert |last33=Larson |first33=Robin |last34=Ringer |first34=Sam |last35=Johnston |first35=Scott |last36=Kravec |first36=Shauna |last37=Showk |first37=Sheer El |last38=Fort |first38=Stanislav |last39=Lanham |first39=Tamera |last40=Telleen-Lawton |first40=Timothy |last41=Conerly |first41=Tom |last42=Henighan |first42=Tom |last43=Hume |first43=Tristan |last44=Bowman |first44=Samuel R. |last45=Hatfield-Dodds |first45=Zac |last46=Mann |first46=Ben |last47=Amodei |first47=Dario |last48=Joseph |first48=Nicholas |last49=McCandlish |first49=Sam |last50=Brown |first50=Tom |last51=Kaplan |first51=Jared |display-authors=3 |title=Constitutional AI: Harmlessness from AI Feedback |arxiv=2212.08073 |date=15 December 2022 }}</ref>.
|-
| GLaM (Generalist Language Model) || Декабрь 2021 || Google || 1,2 триллиона<ref name=glam-blog/> || 1,6 триллиона токенов<ref name=glam-blog/> || {{no|Proprietary}}
| Модель с разреженной смесью экспертов ({{lang-en|sparse mixture-of-experts mode}}), что делает её более дорогой для обучения, но более дешёвой для выполнения логического вывода по сравнению с GPT-3.
|-
| [[LaMDA]] (Language Models for Dialog Applications) || Январь 2022 || Google || 137 миллиардов<ref name=lamda-blog/> ||  1,56T слов<ref name=lamda-blog/> || {{no|Proprietary}}
| Специализируется на генерации ответов в разговорах.
|-
| Megatron-Turing NLG || Октябрь 2021<ref>{{cite web |last1=Alvi |first1=Ali |last2=Kharya |first2=Paresh |title=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World’s Largest and Most Powerful Generative Language Model |url=https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ |website=Microsoft Research |date=2021-10-11 |access-date=2023-03-16 |archive-date=2023-03-13 |archive-url=https://web.archive.org/web/20230313180531/https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/ |deadlink=no }}</ref> || [[Microsoft]] and [[Nvidia]] || 530 миллиардов<ref name=mtnlg-preprint/> || 338,6 миллиарда токенов<ref name=mtnlg-preprint/> || {{no|Restricted web access}}
| Стандартная архитектура, но обученная на суперкомпьютерном кластере.
|-
| GPT-NeoX || Февраль 2022 || {{нп3|EleutherAI}} || 20 миллиардов<ref name=“gpt-neox-20b”>{{cite conference |title=GPT-NeoX-20B: An Open-Source Autoregressive Language Model |conference=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models |date=2022-05-01 |last=Black |first=Sidney |last2=Biderman |first2=Stella |last3=Hallahan |first3=Eric |display-authors=etal |volume=Proceedings of BigScience Episode #5 -- Workshop on Challenges & Perspectives in Creating Large Language Models |pages=95—136 |url=https://aclanthology.org/2022.bigscience-1.9/ |accessdate=2022-12-19 |archive-date=2022-12-10 |archive-url=https://web.archive.org/web/20221210082456/https://aclanthology.org/2022.bigscience-1.9/ |url-status=live }}</ref> || 825 GiB<ref name="Pile"/> || {{yes|Apache 2.0}}
| На базе архитектуры Megatron.
|-
| [[Chinchilla AI|Chinchilla]] || Март 2022 || [[DeepMind]] || 70 миллиардов<ref name=chinchilla-blog/> || 1,3 триллиона токенов<ref name=chinchilla-blog/><ref>{{cite arxiv |last1=Hoffmann |first1=Jordan |last2=Borgeaud |first2=Sebastian |last3=Mensch |first3=Arthur |last4=Buchatskaya |first4=Elena |last5=Cai |first5=Trevor |last6=Rutherford |first6=Eliza |last7=Casas |first7=Diego de Las |last8=Hendricks |first8=Lisa Anne |last9=Welbl |first9=Johannes |last10=Clark |first10=Aidan |last11=Hennigan |first11=Tom |last12=Noland |first12=Eric |last13=Millican |first13=Katie |last14=Driessche |first14=George van den |last15=Damoc |first15=Bogdan |last16=Guy |first16=Aurelia |last17=Osindero |first17=Simon |last18=Simonyan |first18=Karen |last19=Elsen |first19=Erich |last20=Rae |first20=Jack W. |last21=Vinyals |first21=Oriol |last22=Sifre |first22=Laurent |title=Training Compute-Optimal Large Language Models |arxiv=2203.15556 |date=29 March 2022}}</ref> || {{no|Proprietary}}
| Модель с уменьшенным количеством параметров, обученная на большем количестве данных.
|-
| [[PaLM]] (Pathways Language Model) || Апрель 2022 || Google || 540 миллиардов<ref name=palm-blog/> || 768 миллиардов токенов<ref name=chinchilla-blog/> || {{no|Proprietary}}
| Направлена на достижение практических пределов масштаба модели.
|-
| OPT (Open Pretrained Transformer) || Май 2022 || [[Meta Platforms|Meta]] || 175 миллиардов<ref>{{cite web |title=Democratizing access to large-scale language models with OPT-175B |url=https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ |website=ai.facebook.com |language=en |access-date=2023-03-16 |archive-date=2023-03-12 |archive-url=https://web.archive.org/web/20230312231820/https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/ |deadlink=no }}</ref> || 180 миллиардов токенов<ref>{{cite arxiv |last1=Zhang |first1=Susan |last2=Roller |first2=Stephen |last3=Goyal |first3=Naman |last4=Artetxe |first4=Mikel |last5=Chen |first5=Moya |last6=Chen |first6=Shuohui |last7=Dewan |first7=Christopher |last8=Diab |first8=Mona |last9=Li |first9=Xian |last10=Lin |first10=Xi Victoria |last11=Mihaylov |first11=Todor |last12=Ott |first12=Myle |last13=Shleifer |first13=Sam |last14=Shuster |first14=Kurt |last15=Simig |first15=Daniel |last16=Koura |first16=Punit Singh |last17=Sridhar |first17=Anjali |last18=Wang |first18=Tianlu |last19=Zettlemoyer |first19=Luke |title=OPT: Open Pre-trained Transformer Language Models |arxiv=2205.01068 |date=21 June 2022}}</ref> || Некоммерческое исследование{{efn|Меньшие модели, включая 66B, общедоступны, а модель 175B доступна по запросу.}}
| Архитектура GPT-3 с некоторыми адаптациями Megatron.
|-
| YaLM 100B || Июнь 2022 || [[Яндекс]] || 100 миллиардов<ref>{{Cite web |url=https://yandex.ru/company/news/2022-06-23 |title=Источник |access-date=2023-07-20 |archive-date=2023-07-20 |archive-url=https://web.archive.org/web/20230720172751/https://yandex.ru/company/news/2022-06-23 |url-status=live }}</ref> || 300 миллиардов токенов<ref name="автоссылка1">{{Cite web |url=https://github.com/yandex/YaLM-100B |title=GitHub — yandex/YaLM-100B: Pretrained language model with 100B parameters<!-- Заголовок добавлен ботом --> |access-date=2023-07-20 |archive-date=2023-06-16 |archive-url=https://web.archive.org/web/20230616050056/https://github.com/yandex/YaLM-100B |url-status=live }}</ref> || {{yes|Apache 2.0}}
| 75 % текста, использованного при обучении, написано на русском языке<ref name="автоссылка1" />.
|-
| [[BLOOM]] || Июль 2022 || Коллаборация под управлением [[Hugging Face]] || 175 миллиардов<ref name=bigger-better/> || 350 миллиардов токенов (1,6TB)<ref>{{cite web |title=bigscience/bloom · Hugging Face |url=https://huggingface.co/bigscience/bloom |website=huggingface.co |access-date=2023-03-16 |archive-date=2023-04-12 |archive-url=https://web.archive.org/web/20230412002547/https://huggingface.co/bigscience/bloom |deadlink=no }}</ref> || {{yes|Responsible AI}}
| По сути — GPT-3, но обучена многоязычному корпусу текстов (30 % английский, исключая языки программирования).
|-
| AlexaTM (Teacher Models) || Ноябрь 2022 || [[Amazon]] || 20 миллиардов<ref>{{cite web |title=20B-parameter Alexa model sets new marks in few-shot learning |url=https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning |website=Amazon Science |language=en |date=2022-08-02 |access-date=2023-03-16 |archive-date=2023-03-15 |archive-url=https://web.archive.org/web/20230315190223/https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning |deadlink=no }}</ref> || 1,3 триллиона<ref>{{cite arxiv |last1=Soltan |first1=Saleh |last2=Ananthakrishnan |first2=Shankar |last3=FitzGerald |first3=Jack |last4=Gupta |first4=Rahul |last5=Hamza |first5=Wael |last6=Khan |first6=Haidar |last7=Peris |first7=Charith |last8=Rawls |first8=Stephen |last9=Rosenbaum |first9=Andy |last10=Rumshisky |first10=Anna |last11=Prakash |first11=Chandana Satya |last12=Sridhar |first12=Mukund |last13=Triefenbach |first13=Fabian |last14=Verma |first14=Apurv |last15=Tur |first15=Gokhan |last16=Natarajan |first16=Prem |display-authors=3|title=AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model |arxiv=2208.01448 |date=3 August 2022}}</ref> || Общедоступный веб-API<ref>{{cite web |title=AlexaTM 20B is now available in Amazon SageMaker JumpStart {{!}} AWS Machine Learning Blog |url=https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/ |website=aws.amazon.com |access-date=2023-03-13 |date=2022-11-17 |archive-date=2023-03-13 |archive-url=https://web.archive.org/web/20230313163933/https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/ |deadlink=no }}</ref>
| Двунаправленная архитектура «последовательность к последовательности».
|-
| LLaMA (Large Language Model Meta AI) || Февраль 2023 || [[Meta Platforms|Meta]] || 65 миллиардов<ref name=llama-blog/> || 1,4 триллиона<ref name=llama-blog/> || Некоммерческое исследование{{efn|Лицензия Facebook и схема распространения ограничивали доступ к утвержденным исследователям, но веса моделей утекли  и стали широко доступны.}}
| Обучена на большом корпусе из 20 языков, чтобы добиться лучшей производительности с меньшим количеством параметров<ref name=llama-blog/>.
|-
| [[GPT-4]] || Март 2023 || OpenAI || Нет данных{{efn|Как указано в техническом отчёте: «Учитывая конкурентную среду и последствия для безопасности крупномасштабных моделей, таких как GPT-4, этот отчёт не содержит дополнительных сведений об архитектуре (включая размер модели), оборудовании, обучающих вычислениях, построении набора данных, методе обучения, или подобную информацию»<ref name="GPT4Tech">{{Cite web |date=2023 |title=GPT-4 Technical Report |url=https://cdn.openai.com/papers/gpt-4.pdf |website=[[OpenAI]] |access-date=2023-03-14 |archive-date=2023-03-14 |archive-url=https://web.archive.org/web/20230314190904/https://cdn.openai.com/papers/gpt-4.pdf |url-status=live }}</ref>.}} || Нет данных || Общедоступный веб-API
| Доступна для пользователей ChatGPT Plus. Microsoft подтвердила, что в Bing Chat используется модель GPT-4<ref>{{Cite web |date=2023-03-14 |url=https://techcrunch.com/2023/03/14/microsofts-new-bing-was-using-gpt-4-all-along/ |title=Microsoft’s new Bing was using GPT-4 all along |last=Lardinois |first=Frederic |website=TechCrunch |access-date=2023-03-14 |archive-date=2023-03-15 |archive-url=https://web.archive.org/web/20230315013650/https://techcrunch.com/2023/03/14/microsofts-new-bing-was-using-gpt-4-all-along/ |url-status=live }}</ref>.
|-
|StableLM
|Апрель 2023
|Stability-AI
|7 миллиардов<ref name=":0">{{Статья|ссылка=https://github.com/Stability-AI/StableLM|заглавие=StableLM: Stability AI Language Models|год=2023-04-20|archivedate=2023-04-20|archiveurl=https://web.archive.org/web/20230420015951/https://github.com/Stability-AI/StableLM}}</ref>
|800 миллиардов<ref name=":0" />
|Исходный код: Apache 2.0<ref name=":0" />
|
|}

== Примечания ==

=== Комментарии ===
{{комментарии}}

=== Источники ===
{{примечания|refs=
<ref name=jm>{{cite book |last1=Jurafsky |first1=Dan |last2=Martin |first2=James H. |title=Speech and Language Processing |date=7 January 2023 |edition=3rd edition draft |url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |access-date=24 May 2022 }} {{Wayback|url=https://web.stanford.edu/~jurafsky/slp3/ed3book_jan72023.pdf |date=20230323210221 }}</ref>
<ref name=emergent>{{cite web
|title=Emergent Abilities of Large Language Models
|last1=Wei
|first1=Jason
|url=https://arxiv.org/abs/2206.07682
|access-date=2023-03-16
|archive-date=2023-03-16
|archive-url=https://web.archive.org/web/20230316140558/https://arxiv.org/abs/2206.07682
|deadlink=no
}}</ref>
<ref name=extracting>{{Cite conference |last1=Carlini |first1=Nicholas |last2=Tramer |first2=Florian |last3=Wallace |first3=Eric |last4=Jagielski |first4=Matthew |last5=Herbert-Voss |first5=Ariel |last6=Lee |first6=Katherine |last7=Roberts |first7=Adam |last8=Brown |first8=Tom B |last9=Song |first9=Dawn |last10=Erlingsson |first10=Ulfar |title=Extracting Training Data from Large Language Models |conference=USENIX Security Symposium |volume=6 |year=2021 |url=https://www.usenix.org/system/files/sec21-carlini-extracting.pdf |access-date=2023-03-16 |archive-date=2023-12-21 |archive-url=https://web.archive.org/web/20231221210608/https://www.usenix.org/system/files/sec21-carlini-extracting.pdf |url-status=live }}</ref>
<ref name=Manning-2022>{{cite journal
|last=Manning
|first=Christopher D.
|author-link=Christopher D. Manning
|title=Human Language Understanding & Reasoning
|journal=Daedalus
|year=2022
|url=https://www.amacad.org/publication/human-language-understanding-reasoning
|access-date=2023-03-16
|archive-date=2023-11-17
|archive-url=https://web.archive.org/web/20231117205531/https://www.amacad.org/publication/human-language-understanding-reasoning
|url-status=live
}}</ref>
<ref name=Wiggers>{{cite web
|work=TechCrunch
|last=Wiggers
|first=Kyle
|date=2022-04-28
|title=The emerging types of language models and why they matter
|url=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/
|access-date=2023-03-16
|archive-date=2023-03-16
|archive-url=https://web.archive.org/web/20230316072443/https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/
|deadlink=no
}}</ref>
<ref name=kaplan-scaling>{{Cite journal |last1=Kaplan |first1=Jared |last2=McCandlish |first2=Sam |last3=Henighan |first3=Tom |last4=Brown |first4=Tom B. |last5=Chess |first5=Benjamin |last6=Child |first6=Rewon |last7=Gray |first7=Scott |last8=Radford |first8=Alec |last9=Wu |first9=Jeffrey |last10=Amodei |first10=Dario |title=Scaling Laws for Neural Language Models |journal=CoRR |volume=abs/2001.08361 |year=2020 |url=https://arxiv.org/abs/2001.08361 |eprint=2001.08361 |access-date=2023-03-16 |archive-date=2023-03-15 |archive-url=https://web.archive.org/web/20230315213534/https://arxiv.org/abs/2001.08361 |url-status=live }}</ref>
<ref name=bigger-better>{{cite web
|work=Nature
|last=Ananthaswamy
|first=Anil
|title=In AI, is bigger always better?
|date=2023-03-08
|url=https://www.nature.com/articles/d41586-023-00641-w
|access-date=2023-03-16
|archive-date=2023-03-16
|archive-url=https://web.archive.org/web/20230316181013/https://www.nature.com/articles/d41586-023-00641-w
|deadlink=no
}}</ref>
<ref name="few-shot-learners">{{cite journal|first1=Tom B.|last1=Brown|first2=Benjamin|last2=Mann|last3=Ryder|last25=Chess|last20=Hesse|first20=Christopher|last21=Chen|first21=Mark|last22=Sigler|first22=Eric|last23=Litwin|first23=Mateusz|last24=Gray|first24=Scott|first26=Jack|first25=Benjamin|last26=Clark|last19=Winter|last27=Berner|first27=Christopher|last28=McCandlish|first28=Sam|last29=Radford|first29=Alec|last30=Sutskever|first30=Ilya|last31=Amodei|first31=Dario|first19=Clemens|first18=Jeffrey|first3=Nick|last10=Askell|last4=Subbiah|first4=Melanie|last5=Kaplan|first5=Jared|last6=Dhariwal|first6=Prafulla|last7=Neelakantan|first7=Arvind|last8=Shyam|first8=Pranav|last9=Sastry|first9=Girish|first10=Amanda|last18=Wu|last11=Agarwal|first11=Sandhini|last12=Herbert-Voss|first12=Ariel|last13=Krueger|first13=Gretchen|last14=Henighan|first14=Tom|last15=Child|first15=Rewon|last16=Ramesh|first16=Aditya|last17=Ziegler|first17=Daniel M.|editor1-last=Larochelle|editor1-first=H.|editor2-last=Ranzato|editor2-first=M.|editor3-last=Hadsell|editor3-first=R.|editor4-last=Balcan|editor4-first=M.F.|editor5-last=Lin|editor5-first=H.|title=Language Models are Few-Shot Learners|journal=Advances in Neural Information Processing Systems|date=Dec 2020|volume=33|pages=1877–1901|url=https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|publisher=Curran Associates, Inc.|access-date=2023-03-16|archive-date=2023-11-17|archive-url=https://web.archive.org/web/20231117204007/https://proceedings.neurips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf|url-status=live}}</ref>


<!-- Refs below are specific to the "List of large language models" section. (Keeping separate in case that section is split off into a standalone list article in the future.) -->
<ref name=palm-blog>{{Cite web |last1=Narang |first1=Sharan |last2=Chowdhery |first2=Aakanksha |date=2022-04-04 |title=Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance |url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html |access-date=2023-03-09 |website=ai.googleblog.com |language=en |archive-date=2022-04-04 |archive-url=https://web.archive.org/web/20220404161447/https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html |deadlink=no }}</ref>
<ref name=glam-blog>{{Cite web |last1=Dai |first1=Andrew M |last2=Du |first2=Nan |date=2021-12-09 |title=More Efficient In-Context Learning with GLaM |url=https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html |access-date=2023-03-09 |website=ai.googleblog.com |language=en |archive-date=2023-03-12 |archive-url=https://web.archive.org/web/20230312072042/https://ai.googleblog.com/2021/12/more-efficient-in-context-learning-with.html |deadlink=no }}</ref>
<ref name=lamda-blog>{{Cite web |last1=Cheng |first1=Heng-Tze |last2=Thoppilan |first2=Romal |date=2022-01-21 |title=LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything |url=https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html |access-date=2023-03-09 |website=ai.googleblog.com |language=en |archive-date=2022-03-25 |archive-url=https://web.archive.org/web/20220325014118/https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html |deadlink=no }}</ref>
<ref name=mtnlg-preprint><templatestyles src="Module:Citation/CS1/styles.css"></templatestyles><cite id="CITEREFSmithPatwaryNorickLeGresley2022" class="citation arxiv cs1">Smith, Shaden; Patwary, Mostofa; Norick, Brandon; LeGresley, Patrick; Rajbhandari, Samyam; Casper, Jared; Liu, Zhun; Prabhumoye, Shrimai; Zerveas, George; Korthikanti, Vijay; Zhang, Elton; Child, Rewon; Aminabadi, Reza Yazdani; Bernauer, Julie; Song, Xia (2022-02-04). "Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model". [[arXiv]]:<span class="cs1-lock-free" title="Freely accessible">[https://arxiv.org/abs/2201.11990 2201.11990] {{Wayback|url=https://arxiv.org/abs/2201.11990 |date=20230415083726 }}</span></cite></ref>
<ref name=llama-blog>{{cite web
|work=Meta AI
|title=Introducing LLaMA: A foundational, 65-billion-parameter large language model
|date=2023-02-24
|url=https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
|access-date=2023-03-16
|archive-date=2023-03-03
|archive-url=https://web.archive.org/web/20230303112302/https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
|deadlink=no
}}</ref>
<ref name="15Brelease">{{Cite web
 |url          = https://openai.com/blog/gpt-2-1-5b-release/
 |title        = GPT-2: 1.5B Release
 |date         = 2019-11-05
 |website      = OpenAI
 |language     = en
 |access-date  = 2019-11-14
 |archive-date = 2019-11-14
 |archive-url  = https://web.archive.org/web/20191114074358/https://openai.com/blog/gpt-2-1-5b-release/
 |url-status   = live
}}</ref>
<ref name=chinchilla-blog>{{cite web
|work=Deepmind Blog
|title=An empirical analysis of compute-optimal large language model training
|first1=Jordan
|last1=Hoffmann
|first2=Sebastian
|last2=Borgeaud
|first3=Arthur
|last3=Mensch
|first4=Laurent
|last4=Sifre
|date=2022-04-12
|url=https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training
|access-date=2023-03-16
|archive-date=2022-04-13
|archive-url=https://web.archive.org/web/20220413014510/https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training
|deadlink=no
}}</ref>
<ref name=bert-paper>{{cite arXiv |last1=Devlin |first1=Jacob |last2=Chang |first2=Ming-Wei |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina |title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding |date=11 October 2018 |eprint=1810.04805v2|class=cs.CL }}</ref>
<ref name=chatgpt-blog>{{Cite web |date=2022-11-30 |title=ChatGPT: Optimizing Language Models for Dialogue |url=https://openai.com/blog/chatgpt/ |access-date=2023-01-13 |website=OpenAI |language=en |archive-date=2022-11-30 |archive-url=https://web.archive.org/web/20221130180912/https://openai.com/blog/chatgpt/ |deadlink=no }}</ref>
<ref name=vb-gpt-neo>{{cite web
|work=VentureBeat
|last=Iyer
|first=Abhishek
|title=GPT-3’s free alternative GPT-Neo is something to be excited about
|date=2021-05-15
|url=https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/
|access-date=2023-03-16
|archive-date=2023-03-09
|archive-url=https://web.archive.org/web/20230309012717/https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/
|deadlink=no
}}</ref>
}}

== Ссылки ==
{{Википедия|Большая языковая модель}}

[[Категория:Обработка естественного языка]]
[[Категория:Глубокое обучение]]
[[Категория:Большие языковые модели| ]]