Dzmuh: /* Ссылки */

2026-01-26T09:01:36Z

Ссылки

← Предыдущая версия		Версия от 09:01, 26 января 2026
Строка 70:		Строка 70:
	== Ссылки ==		== Ссылки ==
	{{Википедия\|LLaMA}}		{{Википедия\|LLaMA}}

			{{Генеративный ИИ}}

	[[Категория:Большие языковые модели]]		[[Категория:Большие языковые модели]]
	[[Категория:Программное обеспечение, разработанное в 2023 году]]		[[Категория:Программное обеспечение, разработанное в 2023 году]]

Dzmuh: /* Ссылки */

2024-06-30T10:47:14Z

Ссылки

← Предыдущая версия		Версия от 10:47, 30 июня 2024
Строка 72:		Строка 72:

	[[Категория:Большие языковые модели]]		[[Категория:Большие языковые модели]]
	[[Категория:~~Страницы с непроверенными переводами~~]]		[[Категория:Программное обеспечение, разработанное в 2023 году]]

Dzmuh: Новая страница: «{{Программа}} '''LLaMA''' ('''Large Language Model Meta AI''') — большая языковая модель (LLM), выпущенная Meta AI в феврале 2023 года. Были обучены модели различных размеров в диапазоне от 7 до 65 миллиардов весов. Разработчики LLaMA сообщили, что производительность модели с 13 миллиа...»

2024-06-30T10:46:23Z

Новая страница: «{{Программа}} '''LLaMA''' ('''Large Language Model Meta AI''') — большая языковая модель (LLM), выпущенная Meta AI в феврале 2023 года. Были обучены модели различных размеров в диапазоне от 7 до 65 миллиардов весов. Разработчики LLaMA сообщили, что производительность модели с 13 миллиа...»

Новая страница

{{Программа}}
'''LLaMA''' ('''Large Language Model Meta AI''') — [[большая языковая модель]] (LLM), выпущенная Meta AI в феврале 2023 года. Были обучены модели различных размеров в диапазоне от 7 до 65 миллиардов весов. Разработчики LLaMA сообщили, что производительность модели с 13 миллиардами весов в большинстве тестов [[Обработка естественного языка|NLP]] превышает производительность гораздо более крупной [[GPT-3|модели GPT-3]] (со 175 миллиардами весов) и что самая большая модель может конкурировать с современными моделями, такими как PaLM и [[Chinchilla AI|Chinchilla]]. В то время как самые мощные LLM как правило были доступны только через ограниченные [[API]] (если вообще были доступны), Meta предоставила исследовательскому сообществу веса моделей LLaMA под некоммерческой лицензией. В течение недели после выпуска LLaMA её веса были выложены в открытый доступ на 4chan через [[BitTorrent]].

== Архитектура и обучение ==
{{Quote box|Sun: Hey Pluto, what’s up? 
Pluto: Not much. Just hanging out here at the edge of the solar system. 
Sun: Yeah, I’ve been meaning to talk to you about that. You’re not a planet anymore. 
Pluto: What? Come on, man. That’s not fair. 
Sun: I’m sorry, but it’s true. You just don’t meet the criteria anymore. 
Pluto: This is bulls**t! I’ve been a planet for over 70 years! 
Sun: Things change, Pluto. You’ve just got to accept it. 
Pluto: F**k you, Sun! F**k you and your stupid solar system! |3=Вывод модели LLaMA с 65 миллиардами весов после настройки инструкций с учётом подсказки «Напишите разговор между Солнцем и Плутоном»."<ref name=paper>{{cite arXiv
|eprint=2302.13971
|last1=Touvron
|first1=Hugo
|last2=Lavril
|first2=Thibaut
|last3=Izacard
|first3=Gautier
|last4=Martinet
|first4=Xavier
|last5=Lachaux
|first5=Marie-Anne
|last6=Lacroix
|first6=Timothée
|last7=Rozière
|first7=Baptiste
|last8=Goyal
|first8=Naman
|last9=Hambro
|first9=Eric
|last10=Azhar
|first10=Faisal
|last11=Rodriguez
|first11=Aurelien
|last12=Joulin
|first12=Armand
|last13=Grave
|first13=Edouard
|last14=Lample
|first14=Guillaume
|title=LLaMA: Open and Efficient Foundation Language Models
|year=2023
|class=cs.CL
}}</ref>}}
LLaMA использует архитектуру [[Трансформер (модель машинного обучения)|трансформера]], стандартную архитектуру для языкового моделирования с 2018 года. Разработчики LLaMA сосредоточились на масштабировании производительности модели за счёт увеличения объёма обучающих данных, а не на количестве весов, аргументируя это тем, что доминирующая стоимость LLM связана с выводом на обученную модель, а не с вычислительными затратами на процесс обучения. LLaMA была обучена на 1,4 трлн токенов, взятых из общедоступных источников данных, в том числе:

* Веб-страницы, извлеченные CommonCrawl
* Репозитории исходного кода с открытым исходным кодом из [[GitHub]]
* [[Википедия]] на 20 разных языках
* Книги [[Общественное достояние|общественного достояния]] из [[Проект «Гутенберг»|Project Gutenberg]]
* Исходный код [[LaTeX]] для научных статей, загруженных в [[ArXiv.org|ArXiv]]
* Вопросы и ответы с веб-сайтов [[Stack Exchange]]

== Выпуск и утечка ==
О LLaMA было объявлено 23 февраля 2023 года в сообщении в блоге и документе, описывающем [[Обучающий, проверочный и тестовый наборы данных|обучение, архитектуру и производительность модели]]. Код, используемый для обучения модели, был опубликован под лицензией [[GNU General Public License|GPL 3]] с открытым исходным кодом. Доступ к весам модели управлялся в процессе подачи заявок, при этом доступ предоставлялся «в каждом конкретном случае» академическим исследователям, тем, кто связан с правительственными организациями, гражданским обществом и академическими кругами, а также отраслевыми исследовательскими лабораториями по всему миру.

2 марта 2023 года<ref>{{Cite web|url=https://boards.4channel.org/g/thread/91848262|title=/g/ - /aicg/ - AI Chatbot General - Technology - 4chan|date=2023-03-05|access-date=2023-09-09|archive-date=2023-03-05|archive-url=https://archive.today/20230305095718/https://boards.4channel.org/g/thread/91848262|url-status=dead}}</ref> торрент, содержащий веса LLaMA, был размещён на имиджборде [[4chan]] и впоследствии распространился через онлайн-сообщества ИИ. В тот же день был открыт пулл-реквест в основном репозитории LLaMA с просьбой добавить magnet-ссылку в официальную документацию<ref name="India-leak">{{Cite news|author=VK|first=Anirudh|title=Meta's LLaMA Leaked to the Public, Thanks To 4chan|url=https://analyticsindiamag.com/metas-llama-leaked-to-the-public-thanks-to-4chan/|accessdate=2023-03-17|website=Analytics India Magazine|date=2023-03-06|archivedate=2023-03-26|archiveurl=https://web.archive.org/web/20230326020443/https://analyticsindiamag.com/metas-llama-leaked-to-the-public-thanks-to-4chan/}}</ref><ref name="CKing" />. 4 марта был открыт запрос на добавление ссылок на репозитории [[Hugging Face|HuggingFace]], содержащие модель<ref>{{Cite web|lang=en|url=https://github.com/facebookresearch/llama/pull/109|title=Download weights from huggingface to help us save bandwith by Jainam213 · Pull Request #109 · facebookresearch/llama|website=GitHub|access-date=2023-03-17|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321172220/https://github.com/facebookresearch/llama/pull/109|deadlink=no}}</ref><ref name="India-leak" />. 6 марта Meta подала запросы на удаление репозиториев HuggingFace, связанных в запросе на вытягивание, охарактеризовав это как «несанкционированное распространение» модели. HuggingFace выполнил просьбу<ref>{{Cite news|author=Cox|first=Joseph|title=Facebook's Powerful Large Language Model Leaks Online|url=https://www.vice.com/en/article/xgwqgw/facebooks-powerful-large-language-model-leaks-online-4chan-llama|accessdate=2023-03-17|website=Vice|date=2023-03-07|lang=en|archivedate=2023-04-06|archiveurl=https://web.archive.org/web/20230406135000/https://www.vice.com/en/article/xgwqgw/facebooks-powerful-large-language-model-leaks-online-4chan-llama}}</ref>. 20 марта Meta подала иск DMCA за нарушение авторских прав в отношении репозитория, содержащего скрипт, загружающий LLaMA с зеркала, и на следующий день GitHub удовлетворил требования<ref>{{Cite web|url=https://github.com/github/dmca/blob/master/2023/03/2023-03-21-meta.md|title=github/dmca - Notice of Claimed Infringement via Email|author=OpSec Online LLC|date=2023-03-21|publisher=GitHub|access-date=2023-03-25|archive-date=2023-04-10|archive-url=https://web.archive.org/web/20230410032303/https://github.com/github/dmca/blob/master/2023/03/2023-03-21-meta.md|deadlink=no}}</ref>. По состоянию на 25 марта Facebook не ответил на запрос на включение, содержащий магнитную ссылку<ref name="CKing">{{Cite web|lang=en|url=https://github.com/facebookresearch/llama/pull/73|title=Save bandwidth by using a torrent to distribute more efficiently by ChristopherKing42 · Pull Request #73 · facebookresearch/llama|website=GitHub|access-date=2023-03-25|archive-date=2023-04-10|archive-url=https://web.archive.org/web/20230410000618/https://github.com/facebookresearch/llama/pull/73|deadlink=no}}</ref>.

Реакция на утечку была разной. Некоторые предполагали, что модель будет использоваться в злонамеренных целях, например, для более изощрённой [[Спам|рассылки спама]]. Некоторые отметили доступность модели, а также тот факт, что меньшие версии модели могут быть запущены относительно дёшево, предполагая, что это будет способствовать расцвету дополнительных исследовательских разработок. Многие комментаторы, такие как Саймон Уиллисон, сравнивали LLaMA со [[Stable Diffusion]], моделью преобразования текста в изображение, которая, в отличие от предшествующих ей сравнительно сложных моделей, распространялась открыто, что привело к быстрому распространению связанных инструментов, методов и программного обеспечения.

18 июля 2023 года Meta и [[Microsoft]] совместно выпустили новую версию языковой модели — Llama 2, сделав её доступной для исследовательских и коммерческих целей<ref>{{Cite web|url=https://3dnews.ru/1090179/partnyorstvo-meta-i-microsoft-podarilo-miru-sleduyushchee-pokolenie-ii-llama-2|title=Meta* в партнёрстве с Microsoft выпустила ИИ-модель Llama 2 — она доступна для исследовательских и коммерческих целей|website=[[3dnews.ru]]|date=2023-07-18|access-date=2023-07-19|archive-date=2023-07-18|archive-url=https://web.archive.org/web/20230718220900/https://3dnews.ru/1090179/partnyorstvo-meta-i-microsoft-podarilo-miru-sleduyushchee-pokolenie-ii-llama-2|url-status=live}}</ref>.

== Приложения ==
Центр исследований базовых моделей (CRFM) Института человеко-ориентированного искусственного интеллекта (HAI) [[Стэнфордский университет|Стэнфордского университета]] выпустил Alpaca, рецепт обучения, основанный на модели LLaMA 7B, в которой используется метод [[Большая языковая модель|настройки инструкций]] «Самообучение» для приобретения сопоставимых возможностей. К модели text-davinci-003 серии OpenAI GPT-3.5 по скромной цене<ref>{{Cite web|url=https://crfm.stanford.edu/2023/03/13/alpaca.html|title=Alpaca: A Strong, Replicable Instruction-Following Model|author=Taori|first=Rohan|website=|date=2023-03-13|publisher=Stanford Institute for Human-Centered Artificial Intelligence|access-date=|last2=Gulrajani|first2=Ishaan|last3=Zhang|first3=Tianyi|last4=Dubois|first4=Yann|last5=Li|first5=Xuechen|archive-date=2023-04-06|archive-url=https://web.archive.org/web/20230406082332/https://crfm.stanford.edu/2023/03/13/alpaca.html|deadlink=no}}</ref><ref>{{Source|Q117202254}}</ref>. Несколько проектов с открытым исходным кодом продолжают эту работу по тонкой настройке LLaMA с набором данных Alpaca.

== Примечания ==
{{Примечания}}

== Ссылки ==
{{Википедия|LLaMA}}

[[Категория:Большие языковые модели]]
[[Категория:Страницы с непроверенными переводами]]

LLaMA - История изменений

Dzmuh: /* Ссылки */

Dzmuh: /* Ссылки */