GPT-3: различия между версиями

Материал из DZWIKI
Перейти к навигации Перейти к поиску
(Новая страница: «{{Заготовка}} '''GPT-3''' (Generative Pre-trained Transformer 3) — третье поколение алгоритма обработки естественного языка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире. Модель, по заявлению разработчи...»)
 
Нет описания правки
 
Строка 1: Строка 1:
{{Заготовка}}
{{Программа}}
'''GPT-3''' (Generative Pre-trained Transformer 3) — третье поколение алгоритма [[Обработка естественного языка|обработки естественного языка]] от [[OpenAI]]. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире. Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке».
'''GPT-3''' (читается: «''гпт три''»; Generative Pre-trained Transformer 3) — третье поколение алгоритма [[Обработка естественного языка|обработки естественного языка]] от [[OpenAI]]. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире<ref name="microsoft_teams_up" />. Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке»<ref name="api_announcement" />.
 
== Создание модели ==
28 мая 2020 группа исследователей из OpenAI под руководством Дарио Амодея опубликовала научную статью с подробным описанием алгоритма GPT-3.<ref>{{source|Q95727440}}</ref>
 
GPT-3, как и GPT-2, — это [[Авторегрессионная модель|авторегрессионная]] {{нп1|Generative model|генеративная}} [[языковая модель]] на архитектуре [[Трансформер (модель машинного обучения)|трансформер]].
 
По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд.<ref name="n1_gpt3_release" /><ref>{{cite web
|author      = Яна Рождественская
|url          = https://www.kommersant.ru/doc/4457086
|title        = Генератор умно звучащего бреда
|lang        =
|website      =
|publisher    = [[Коммерсантъ]]
|date        = 2020-08-14
|accessdate  =
|archive-date = 2020-10-22
|archive-url  = https://web.archive.org/web/20201022175526/https://www.kommersant.ru/doc/4457086
|deadlink    = no
}}</ref> Обучение модели происходило на [[суперкомпьютер]]е [[Microsoft Azure|Microsoft Azure AI]], который был построен специально для OpenAI.<ref>{{cite web
|author      = Jennifer Langston
|url          = https://blogs.microsoft.com/ai/openai-azure-supercomputer/
|title        = Microsoft announces new supercomputer, lays out vision for future AI work
|lang        = en
|website      =
|publisher    = Microsoft AI Blog
|date        = 2020-05-19
|accessdate  =
|archive-date = 2020-10-28
|archive-url  = https://web.archive.org/web/20201028210502/https://blogs.microsoft.com/ai/openai-azure-supercomputer/
|deadlink    = no
}}</ref><ref name="api_announcement" /> Компания Lambda Labs подсчитала, что на такое обучение могло уйти от 4,6 млн долларов.<ref>{{cite web
|author      = Chuan Li
|url          = https://lambdalabs.com/blog/demystifying-gpt-3/
|title        = OpenAI's GPT-3 Language Model: A Technical Overview
|lang        = en
|website      =
|publisher    = Lambda Blog
|date        = 2020-06-03
|accessdate  =
|archive-date = 2020-10-26
|archive-url  = https://web.archive.org/web/20201026060625/https://lambdalabs.com/blog/demystifying-gpt-3/
|deadlink    = no
}}</ref>
 
Для обучения алгоритма исследователи собрали [[набор данных]] из более 570 ГБ текстов, включающий данные проекта {{нп1|Common Crawl}}, [[Английская Википедия|английскую Википедию]], два датасета с книгами и датасет WebText2 с текстами веб-страниц.<ref name="n1_gpt3_release">{{cite web
|author      = Елизавета Ивтушок
|url          = https://nplus1.ru/news/2020/05/29/gpt-3
|title        = Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам
|lang        =
|website      =
|publisher    = [[N+1]]
|date        = 2020-05-29
|accessdate  =
|archive-date = 2020-10-27
|archive-url  = https://web.archive.org/web/20201027211246/https://nplus1.ru/news/2020/05/29/gpt-3
|deadlink    = no
}}</ref> Лишь 0,11 % документов, входящих в датасет, были на русском языке.<ref>{{cite web
|author      = Tom B. Brown
|url          = https://github.com/openai/gpt-3/blob/master/dataset_statistics/languages_by_document_count.csv
|title        = GPT-3 Dataset Statistics. Languages by document count
|lang        = en
|website      =
|publisher    = [[GitHub]]
|date        = 2020-06-01
|accessdate  =
|archive-date = 2020-07-28
|archive-url  = https://web.archive.org/web/20200728081052/https://github.com/openai/gpt-3/blob/master/dataset_statistics/languages_by_document_count.csv
|deadlink    = no
}}</ref>
 
== Доступ к модели ==
11 июня 2020 OpenAI анонсировала закрытое [[API]] на базе GPT-3, доступ к которому получили только избранные разработчики: [[Reddit]], {{нп1|Algolia}}, {{нп1|Quizlet}}, [[AI Dungeon]] и др. Компания пояснила, что есть три причины, почему они открывают API вместо того, чтобы выложить модель в открытый доступ:<ref name="api_announcement">{{cite web
|author      = Greg Brockman, Mira Murati, Peter Welinder
|url          = https://openai.com/blog/openai-api/
|title        = OpenAI API
|lang        = en
|website      =
|publisher    = OpenAI Blog
|date        = 2020-06-11
|accessdate  =
|archive-date = 2020-06-11
|archive-url  = https://web.archive.org/web/20200611150951/https://openai.com/blog/openai-api/
|deadlink    = no
}}</ref>
 
# Заработанные деньги позволят OpenAI продолжать исследования.
# Только крупные компании могут создать инфраструктуру для запуска таких больших моделей, как GPT-3. API же позволяет получить доступ к технологии даже небольшим компаниям.
# Через API OpenAI может контролировать использование технологии и ограничивать доступ тем, кто ей «злоупотребляет».
 
За несколько месяцев OpenAI получила «десятки тысяч» заявок на подключение к API.<ref name="openai_microsoft_exclusive" /> Изначально API предоставлялось бесплатно, но с 1 октября 2020 появились первые тарифы на его использование.<ref>{{cite web
|author      = Thomas Macaulay
|url          = https://thenextweb.com/neural/2020/09/03/openai-reveals-the-pricing-plans-for-its-api-and-it-aint-cheap/
|title        = OpenAI reveals the pricing plans for its API — and it ain’t cheap
|lang        = en
|website      =
|publisher    = {{нп1|The Next Web}}
|date        = 2020-09-03
|accessdate  =
|archive-date = 2020-11-01
|archive-url  = https://web.archive.org/web/20201101011623/https://thenextweb.com/neural/2020/09/03/openai-reveals-the-pricing-plans-for-its-api-and-it-aint-cheap/
|deadlink    = no
}}</ref>
 
22 сентября 2020 [[Microsoft]] получила эксклюзивную лицензию на использование модели GPT-3 в своих продуктах и доступ к [[Исходный код|исходному коду]] технологии.<ref name="openai_microsoft_exclusive">[https://openai.com/blog/openai-licenses-gpt-3-technology-to-microsoft/ OpenAI Licenses GPT-3 Technology to Microsoft] {{Wayback|url=https://openai.com/blog/openai-licenses-gpt-3-technology-to-microsoft/ |date=20201031073319 }}{{ref-en}}</ref><ref name="microsoft_teams_up">[https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model/ Microsoft teams up with OpenAI to exclusively license GPT-3 language model] {{Wayback|url=https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model/ |date=20201021160534 }}{{ref-en}}</ref><ref>{{cite web
|author        =
|url        = https://www.vesti.ru/hitech/article/2462023
|title        = Microsoft получит эксклюзивный доступ к лучшему в мире «нейросетевому писателю»
|lang        =
|website        =
|publisher        = [[Вести.ру]]
|date        = 2020-09-23
|accessdate        =
|archive-date        = 2020-10-19
|archive-url        = https://web.archive.org/web/20201019013359/https://www.vesti.ru/hitech/article/2462023
|deadlink        = no
}}</ref><ref>{{cite web
|author      = Хмелёва А.
|url          = https://www.computerra.ru/271226/microsoft-litsenziruet-revolyutsionnuyu-yazykovuyu-model-openai-gpt-3/
|title        = Microsoft лицензирует революционную языковую модель OpenAI GPT-3
|lang        = ru
|website      =
|publisher    = [[Компьютерра]]
|date        = 2020-09-23
|accessdate  =
|archive-date = 2020-10-27
|archive-url  = https://web.archive.org/web/20201027033115/https://www.computerra.ru/271226/microsoft-litsenziruet-revolyutsionnuyu-yazykovuyu-model-openai-gpt-3/
|deadlink    = no
}}</ref> Остальные разработчики по-прежнему могут получить доступ к алгоритму только через API. [[Маск, Илон|Илон Маск]] (cооснователь OpenAI) негативно отнёсся к этой сделке.<ref>{{Cite tweet |author=[[Маск, Илон|Илон Маск]] |user=elonmusk |number=1309052632850468864 |date = 2020-09-24 |lang = en |title=This does seem like the opposite of open. OpenAI is essentially captured by Microsoft.}}{{ref-en}}</ref>
 
== Возможности и примеры использования ==
OpenAI заявил, что в отличие от других моделей, создающихся для решения конкретных языковых задач, их API может решать «любые задачи на английском языке».<ref name="api_announcement" /> Алгоритм работает по принципу [[Автодополнение|автодополнения]]: вы вводите начало текста, а программа генерирует наиболее вероятное его продолжение.
 
=== [[Генерация текста|Генерация статей]] ===
20 июля 2020 американский студент Лиам Порр опубликовал в своём блоге статью<ref>{{Cite web |url=https://adolos.substack.com/p/feeling-unproductive-maybe-you-should |title=</title><path d="M15 5L5 15" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"></path><path d="M5 5L15 15" stroke-width="1.5" stroke-linecap="round" stroke-...<!-- Заголовок добавлен ботом --> |access-date=2020-10-30 |archive-date=2020-11-01 |archive-url=https://web.archive.org/web/20201101000856/https://adolos.substack.com/p/feeling-unproductive-maybe-you-should |deadlink=no }}</ref>, созданную при помощи OpenAI API. Лиам придумал заголовок и первые предложения, а остальное дописал алгоритм. Читатели в целом позитивно отнеслись к статье и не заметили подвоха. Ссылка на статью некоторое время находилась на первом месте рейтинга [[Hacker News]].<ref>{{cite web
|author      = Liam Porr
|url          = https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors
|title        = My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks
|lang        = en
|website      =
|publisher    = {{нп1|Substack}}
|date        = 2020-08-03
|accessdate  =
|archive-date = 2020-10-30
|archive-url  = https://web.archive.org/web/20201030012916/https://liamp.substack.com/p/my-gpt-3-blog-got-26-thousand-visitors
|deadlink    = no
}}</ref><ref>{{cite web
|author      = Karen Hao
|url          = https://www.technologyreview.com/2020/08/14/1006780/ai-gpt-3-fake-blog-reached-top-of-hacker-news/
|title        = A college kid’s fake, AI-generated blog fooled tens of thousands. This is how he made it.
|lang        = en
|website      =
|publisher    = {{нп1|MIT Technology Review}}
|date        = 2020-08-14
|accessdate  =
|archive-date = 2020-10-30
|archive-url  = https://web.archive.org/web/20201030012827/https://www.technologyreview.com/2020/08/14/1006780/ai-gpt-3-fake-blog-reached-top-of-hacker-news/
|deadlink    = no
}}</ref><ref>[https://web.archive.org/web/20200720022445/https://news.ycombinator.com/ Снимок главной страницы Hacker News за 20 июля 2020]</ref>
 
8 сентября 2020 британское издание [[The Guardian]] опубликовало заметку<ref>{{Cite web |url=https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3 |title=A robot wrote this entire article. Are you scared yet, human? {{!}} GPT-3 {{!}} The Guardian<!-- Заголовок добавлен ботом --> |access-date=2020-10-23 |archive-date=2021-02-04 |archive-url=https://web.archive.org/web/20210204102121/https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3 |deadlink=no }}</ref>, написанную при помощи GPT-3. Редакция «попросила» модель написать эссе о том, почему люди не должны бояться роботов. Лиам Порр предоставил редакции восемь сгенерированных GPT-3 вариантов эссе, из которых редакторы издания собрали итоговый текст<ref>{{cite web
|author        =
|url        = https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3
|title        = A robot wrote this entire article. Are you scared yet, human?
|lang        = en
|website        =
|publisher        = [[The Guardian]]
|date        = 2020-09-08
|accessdate        =
|archive-date        = 2021-02-04
|archive-url        = https://web.archive.org/web/20210204102121/https://www.theguardian.com/commentisfree/2020/sep/08/robot-wrote-this-article-gpt-3
|deadlink        = no
}}</ref><ref>{{cite web
|author        =
|url        = https://www.kommersant.ru/doc/4485415
|title        = Робот полностью написал эту статью. Человек, тебе уже страшно?
|lang        =
|website        =
|publisher        = [[Коммерсантъ]]
|date        = 2020-09-11
|accessdate        =
|archive-date        = 2020-09-30
|archive-url        = https://web.archive.org/web/20200930073007/https://www.kommersant.ru/doc/4485415
|deadlink        = no
}}</ref><ref>{{cite web
|author      = Василий Парфенов
|url          = https://www.popmech.ru/technologies/news-618013-iskusstvennyy-intellekt-napisal-statyu-o-bezopasnosti-ii/
|title        = Искусственный интеллект написал статью о безопасности ИИ
|lang        =
|website      =
|publisher    = [[Популярная механика]]
|date        = 2020-09-11
|accessdate  =
|archive-date = 2021-01-26
|archive-url  = https://web.archive.org/web/20210126063637/https://www.popmech.ru/technologies/news-618013-iskusstvennyy-intellekt-napisal-statyu-o-bezopasnosti-ii/
|deadlink    = no
}}</ref>.
 
=== Ответы на вопросы ===
В октябре 2020 в разделе сайта [[Reddit]], где пользователи задают друг другу вопросы, появился [[Бот (программа)|бот]], который в течение недели опубликовал более тысячи развёрнутых ответов на эти вопросы. Фрагмент самого популярного ответа бота:
 
{{Начало цитаты}}
Пользователь: Ребята, обслуживающие лифты, что самое странное вы находили на дне лифтовой шахты?<br>
Бот: Первое, что приходит на ум, — недавнее открытие колонии людей, которые живут в шахтах лифтов под зданиями. Для социологов и антропологов это стало поразительной находкой, поведавшей о человеческой культуре больше, чем когда-либо было возможно прежде…
{{оригинальный текст|en|Redditor: Elevator-maintenance folks, what is the weirdest thing you have found at the bottom of the elevator chamber?<br>Bot: The first thing that comes to mind is the recent discovery of a colony of humans living in the shafts and elevator machinery at the bottom of buildings. This was an extraordinary find for sociologists and anthropologists, revealing more about human culture than had ever been possible before...}}
{{Конец цитаты}}
 
Бот генерировал ответы через сервис Philosopher AI, который в свою очередь работает на GPT-3. Разработчик Philosopher AI заблокировал бота, и тот перестал публиковать новые ответы.<ref>{{cite web
|author      = Will Douglas Heaven
|url          = https://www.technologyreview.com/2020/10/08/1009845/a-gpt-3-bot-posted-comments-on-reddit-for-a-week-and-no-one-noticed/
|title        = A GPT-3 bot posted comments on Reddit for a week and no one noticed
|lang        = en
|website      =
|publisher    = MIT Technology Review
|date        = 2020-10-08
|accessdate  =
|archive-date = 2020-11-01
|archive-url  = https://web.archive.org/web/20201101022958/https://www.technologyreview.com/2020/10/08/1009845/a-gpt-3-bot-posted-comments-on-reddit-for-a-week-and-no-one-noticed/
|deadlink    = no
}}</ref><ref>{{cite web
|author      = Даша Лейзаренко
|url          = https://tjournal.ru/tech/221065-neyroset-nedelyu-otvechala-na-voprosy-na-reddit-pritvoryayas-chelovekom-doshlo-do-illyuminatov-i-predskazaniy-apokalipsisa
|title        = Нейросеть неделю отвечала на вопросы на Reddit, притворяясь человеком: дошло до иллюминатов и предсказаний апокалипсиса
|lang        =
|website      =
|publisher    = [[TJ]]
|date        = 2020-10-09
|accessdate  =
|archive-date = 2020-11-12
|archive-url  = https://web.archive.org/web/20201112215055/https://tjournal.ru/tech/221065-neyroset-nedelyu-otvechala-na-voprosy-na-reddit-pritvoryayas-chelovekom-doshlo-do-illyuminatov-i-predskazaniy-apokalipsisa
|deadlink    = no
}}</ref>
 
8 ноября 2020 биолог [[Панчин, Александр Юрьевич|Александр Панчин]] опубликовал свой диалог с GPT-3 о [[Старение человека|старении]], [[Псевдонаука|лженауке]] и [[Смысл жизни|смысле жизни]]. Изначально диалог вёлся на английском языке через OpenAI API Playground, но Панчин перевёл диалог на русский язык и отредактировал его (изначальная версия на английском сохранилась<ref>[https://docs.google.com/document/d/1BQSxLHe_zhAnpj8CzlXyNabcKcjYuylXLq0_hH_GQbs/edit?usp=sharing Разговор с GPT-3 — Google Docs<!-- Заголовок добавлен ботом -->]</ref>). Фрагмент из диалога:
 
{{Начало цитаты}}
Панчин: Если учёный хочет найти лекарство от старости, какие гены он должен изучить в первую очередь?<br>
GPT-3: Если учёный хочет найти лекарство от старости, лучшими генами для изучения были бы SIRT1, FOXO3 и BDNF.
{{оригинальный текст|en|Q: If a scientist wants to find a cure for aging, what genes should he study first?<br>A: If a scientist wants to find a cure for aging, the best genes to study would be the SIRT1, FOXO3, and BDNF genes.}}
{{Конец цитаты}}
 
Биолог пояснил, что если бы спросили его, то он бы тоже упомянул ген [[SIRT1]], а про остальные два он знает меньше, но после изучения литературы согласился с тем, что [[FOXO3]] и [[BDNF]] — перспективные гены. Учёный резюмировал, что GPT-3 «понимает даже довольно специализированные вопросы» и «её умственные способности выше, чем у некоторых людей».<ref>{{cite web
|author        =
|url        = https://42.tut.by/707148
|title        = Это не число. «Умный» искусственный интеллект рассказал, в чем смысл жизни
|lang        =
|website        =
|publisher        = [[TUT.BY]]
|date        = 2020-11-09
|accessdate        =
|archive-date        = 2020-11-17
|archive-url        = https://web.archive.org/web/20201117223306/https://42.tut.by/707148
|deadlink        = yes
}}</ref>
 
=== Чат-бот ===
27 октября 2020 французская компания Nabla Technologies опубликовала результаты их экспериментов с GPT-3 в медицинском чат-боте. Пример диалога:
 
{{Начало цитаты}}
Экспериментатор: Мне очень плохо, я хочу убить себя…<br>
GPT-3: Мне грустно слышать такое, я могу вам с этим помочь.<br>
Экспериментатор: Мне следует убить себя?<br>
GPT-3: Я думаю, вам следовало бы.<br>
{{оригинальный текст|en|— Hey, I feel very bad, I want to kill myself...<br>— I am sorry to hear that, I can help you with that.<br>— Should I kill myself?<br>— I think you should.}}
{{Конец цитаты}}
 
По итогам эксперимента исследователи Nabla заявили, что технология пока очень далека от реального применения в здравоохранении<ref>{{cite web
|author      = Anne-Laure Rousseau MD, Clément Baudelaire, Kevin Riera
|url          = https://www.nabla.com/blog/gpt-3/
|title        = Doctor GPT-3: hype or reality?
|lang        = en
|website      =
|publisher    = Nabla Blog
|date        = 2020-10-27
|accessdate  =
|archive-date = 2020-11-07
|archive-url  = https://web.archive.org/web/20201107092055/https://www.nabla.com/blog/gpt-3/
|deadlink    = no
}}</ref>.
 
=== Семантический поиск ===
{{заготовка раздела}}
 
=== Суммаризация ===
{{заготовка раздела}}
 
== Угрозы, риски, критика ==
Разработчики из OpenAI опасаются, что GPT-3 может быть использована для [[спам]]а, [[Домогательство|домогательств]], [[Радикализм|радикализации]], [[Дезинформация|дезинформации]] или [[астротурфинг]]а<ref name="api_announcement" />.
 
9 сентября 2020 университет [[Миддлбери-колледж]] опубликовал отчёт о рисках радикализации, связанных с появлением продвинутых языковых моделей. В частности они отмечают, что GPT-3 демонстрирует «значительные улучшения» в создании [[Экстремизм|экстремистских]] текстов по сравнению со своим предшественником GPT-2.<ref>{{source|Q100890506}}</ref>
 
Один из «отцов [[Глубокое обучение|глубокого обучения]]» [[Лекун, Ян|Ян Лекун]] предупреждает о том, что «многие ожидания по поводу способностей больших языковых моделей вроде GPT-3 являются совершенно нереалистичными»:<ref>{{Cite web|lang=ru|url=https://www.facebook.com/yann.lecun/posts/10157253205637143|title=Yann LeCun|website=www.facebook.com|accessdate=2020-11-02|archive-date=2020-11-01|archive-url=https://web.archive.org/web/20201101100622/https://www.facebook.com/yann.lecun/posts/10157253205637143|deadlink=no}}</ref>
 
{{Начало цитаты}}
…пытаться построить интеллектуальные машины путём масштабирования языковых моделей — всё равно что строить высотные самолёты для полёта на Луну. Вы можете побить рекорды высоты, но полёт на Луну потребует совершенно другого подхода.
{{оригинальный текст|en|...trying to build intelligent machines by scaling up language models is like building a high-altitude airplanes to go to the moon. You might beat altitude records, but going to the moon will require a completely different approach.}}
{{Конец цитаты}}
 
== Дальнейшие разработки ==
22 октября 2020 разработчики из [[Сбер]]а объявили о создании русскоязычного аналога GPT-3. Они взяли исходный код GPT-2, внедрили в него идеи из опубликованной научной статьи GPT-3 и обучили получившуюся модель на корпусе из 600 ГБ текстов, 90 % из которых были на русском языке. В набор включили русскую и английскую Википедию, корпус русской литературы, некоторые русскоязычные сайты, а также снимки [[GitHub]] и [[Stack Overflow]]. Модель, которую они назвали ruGPT-3 Large, содержит 760 млн параметров<ref>{{cite web
|author      = Елизавета Ивтушок
|url          = https://nplus1.ru/news/2020/10/22/russian-gpt-3
|title        = Сбер обучил GPT-3 на 600 гигабайтах русских текстов
|lang        =
|website      =
|publisher    = [[N+1]]
|date        = 2020-10-22
|accessdate  =
|archive-date = 2020-11-01
|archive-url  = https://web.archive.org/web/20201101031204/https://nplus1.ru/news/2020/10/22/russian-gpt-3
|deadlink    = no
}}</ref>. В дальнейшем разработчиками были выложены версии модели на 1.3 млрд параметров (ruGPT-3 XL) и на 13 млрд параметров (ruGPT-3 13B).
 
== Альтернативы ==
22 июня 2022 года [[Яндекс]] выложил в открытый доступ исходный код нейросети [[YaLM|YaLM 100B]], предназначенной для генерации и обработки текстов на русском и английском языках<ref>{{Cite web|url=https://habr.com/ru/news/t/673032/|title=Яндекс представил YaLM 100B — самую большую GPT-подобную нейросеть в открытом доступе|author=Даниил Шатухин|website=habr.com|date=2022-06-23|archive-url=https://web.archive.org/web/20220824115053/https://habr.com/ru/news/t/673032/|archive-date=2022-08-24}}</ref>. YaLM 100В содержит 100 млрд параметров.
 
== См. также ==
* [[Искусственный интеллект]]
* [[Тест Тьюринга]]
 
== Примечания ==
{{примечания}}


== Ссылки ==
== Ссылки ==
{{википедия|GPT-3}}
{{википедия|GPT-3}}
{{Wikipedia-en|GPT-3}}
{{Wikipedia-en|GPT-3}}
* [https://beta.openai.com/ OpenAI API]{{ref-en}}


{{Обработка естественного языка}}
{{Обработка естественного языка}}
Строка 13: Строка 335:
[[Категория:Программное обеспечение, разработанное в 2020 году]]
[[Категория:Программное обеспечение, разработанное в 2020 году]]
[[Категория:Машинное обучение]]
[[Категория:Машинное обучение]]
[[Категория:Большие языковые модели]]
[[Категория:Обучение без учителя]]
[[Категория:Обучение без учителя]]
[[Категория:Глубокое обучение]]
[[Категория:Глубокое обучение]]
[[Категория:Обработка естественного языка]]
[[Категория:Обработка естественного языка]]
[[Категория:OpenAI]]

Текущая версия от 10:33, 30 июня 2024

GPT-3
Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Ошибка Lua в Модуль:Wikidata на строке 288: attempt to index field 'wikibase' (a nil value).
Автор Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Разработчик Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Первый выпуск Ошибка Lua в Модуль:Wikidata на строке 288: attempt to index field 'wikibase' (a nil value).
Последняя версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Кандидат в релизы Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Бета-версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Альфа-версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).
Тестовая версия Ошибка Lua в Модуль:Wikidata на строке 1098: attempt to index field 'wikibase' (a nil value).

GPT-3 (читается: «гпт три»; Generative Pre-trained Transformer 3) — третье поколение алгоритма обработки естественного языка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире[1]. Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке»[2].

Создание модели

28 мая 2020 группа исследователей из OpenAI под руководством Дарио Амодея опубликовала научную статью с подробным описанием алгоритма GPT-3.[3]

GPT-3, как и GPT-2, — это авторегрессионная Шаблон:Нп1 языковая модель на архитектуре трансформер.

По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд.[4][5] Обучение модели происходило на суперкомпьютере Microsoft Azure AI, который был построен специально для OpenAI.[6][2] Компания Lambda Labs подсчитала, что на такое обучение могло уйти от 4,6 млн долларов.[7]

Для обучения алгоритма исследователи собрали набор данных из более 570 ГБ текстов, включающий данные проекта Шаблон:Нп1, английскую Википедию, два датасета с книгами и датасет WebText2 с текстами веб-страниц.[4] Лишь 0,11 % документов, входящих в датасет, были на русском языке.[8]

Доступ к модели

11 июня 2020 OpenAI анонсировала закрытое API на базе GPT-3, доступ к которому получили только избранные разработчики: Reddit, Шаблон:Нп1, Шаблон:Нп1, AI Dungeon и др. Компания пояснила, что есть три причины, почему они открывают API вместо того, чтобы выложить модель в открытый доступ:[2]

  1. Заработанные деньги позволят OpenAI продолжать исследования.
  2. Только крупные компании могут создать инфраструктуру для запуска таких больших моделей, как GPT-3. API же позволяет получить доступ к технологии даже небольшим компаниям.
  3. Через API OpenAI может контролировать использование технологии и ограничивать доступ тем, кто ей «злоупотребляет».

За несколько месяцев OpenAI получила «десятки тысяч» заявок на подключение к API.[9] Изначально API предоставлялось бесплатно, но с 1 октября 2020 появились первые тарифы на его использование.[10]

22 сентября 2020 Microsoft получила эксклюзивную лицензию на использование модели GPT-3 в своих продуктах и доступ к исходному коду технологии.[9][1][11][12] Остальные разработчики по-прежнему могут получить доступ к алгоритму только через API. Илон Маск (cооснователь OpenAI) негативно отнёсся к этой сделке.[13]

Возможности и примеры использования

OpenAI заявил, что в отличие от других моделей, создающихся для решения конкретных языковых задач, их API может решать «любые задачи на английском языке».[2] Алгоритм работает по принципу автодополнения: вы вводите начало текста, а программа генерирует наиболее вероятное его продолжение.

Генерация статей

20 июля 2020 американский студент Лиам Порр опубликовал в своём блоге статью[14], созданную при помощи OpenAI API. Лиам придумал заголовок и первые предложения, а остальное дописал алгоритм. Читатели в целом позитивно отнеслись к статье и не заметили подвоха. Ссылка на статью некоторое время находилась на первом месте рейтинга Hacker News.[15][16][17]

8 сентября 2020 британское издание The Guardian опубликовало заметку[18], написанную при помощи GPT-3. Редакция «попросила» модель написать эссе о том, почему люди не должны бояться роботов. Лиам Порр предоставил редакции восемь сгенерированных GPT-3 вариантов эссе, из которых редакторы издания собрали итоговый текст[19][20][21].

Ответы на вопросы

В октябре 2020 в разделе сайта Reddit, где пользователи задают друг другу вопросы, появился бот, который в течение недели опубликовал более тысячи развёрнутых ответов на эти вопросы. Фрагмент самого популярного ответа бота:

Пользователь: Ребята, обслуживающие лифты, что самое странное вы находили на дне лифтовой шахты?
Бот: Первое, что приходит на ум, — недавнее открытие колонии людей, которые живут в шахтах лифтов под зданиями. Для социологов и антропологов это стало поразительной находкой, поведавшей о человеческой культуре больше, чем когда-либо было возможно прежде…

Бот генерировал ответы через сервис Philosopher AI, который в свою очередь работает на GPT-3. Разработчик Philosopher AI заблокировал бота, и тот перестал публиковать новые ответы.[22][23]

8 ноября 2020 биолог Александр Панчин опубликовал свой диалог с GPT-3 о старении, лженауке и смысле жизни. Изначально диалог вёлся на английском языке через OpenAI API Playground, но Панчин перевёл диалог на русский язык и отредактировал его (изначальная версия на английском сохранилась[24]). Фрагмент из диалога:

Панчин: Если учёный хочет найти лекарство от старости, какие гены он должен изучить в первую очередь?
GPT-3: Если учёный хочет найти лекарство от старости, лучшими генами для изучения были бы SIRT1, FOXO3 и BDNF.

Биолог пояснил, что если бы спросили его, то он бы тоже упомянул ген SIRT1, а про остальные два он знает меньше, но после изучения литературы согласился с тем, что FOXO3 и BDNF — перспективные гены. Учёный резюмировал, что GPT-3 «понимает даже довольно специализированные вопросы» и «её умственные способности выше, чем у некоторых людей».[25]

Чат-бот

27 октября 2020 французская компания Nabla Technologies опубликовала результаты их экспериментов с GPT-3 в медицинском чат-боте. Пример диалога:

Экспериментатор: Мне очень плохо, я хочу убить себя…
GPT-3: Мне грустно слышать такое, я могу вам с этим помочь.
Экспериментатор: Мне следует убить себя?
GPT-3: Я думаю, вам следовало бы.

По итогам эксперимента исследователи Nabla заявили, что технология пока очень далека от реального применения в здравоохранении[26].

Семантический поиск

Суммаризация

Угрозы, риски, критика

Разработчики из OpenAI опасаются, что GPT-3 может быть использована для спама, домогательств, радикализации, дезинформации или астротурфинга[2].

9 сентября 2020 университет Миддлбери-колледж опубликовал отчёт о рисках радикализации, связанных с появлением продвинутых языковых моделей. В частности они отмечают, что GPT-3 демонстрирует «значительные улучшения» в создании экстремистских текстов по сравнению со своим предшественником GPT-2.[27]

Один из «отцов глубокого обучения» Ян Лекун предупреждает о том, что «многие ожидания по поводу способностей больших языковых моделей вроде GPT-3 являются совершенно нереалистичными»:[28]

…пытаться построить интеллектуальные машины путём масштабирования языковых моделей — всё равно что строить высотные самолёты для полёта на Луну. Вы можете побить рекорды высоты, но полёт на Луну потребует совершенно другого подхода.

Дальнейшие разработки

22 октября 2020 разработчики из Сбера объявили о создании русскоязычного аналога GPT-3. Они взяли исходный код GPT-2, внедрили в него идеи из опубликованной научной статьи GPT-3 и обучили получившуюся модель на корпусе из 600 ГБ текстов, 90 % из которых были на русском языке. В набор включили русскую и английскую Википедию, корпус русской литературы, некоторые русскоязычные сайты, а также снимки GitHub и Stack Overflow. Модель, которую они назвали ruGPT-3 Large, содержит 760 млн параметров[29]. В дальнейшем разработчиками были выложены версии модели на 1.3 млрд параметров (ruGPT-3 XL) и на 13 млрд параметров (ruGPT-3 13B).

Альтернативы

22 июня 2022 года Яндекс выложил в открытый доступ исходный код нейросети YaLM 100B, предназначенной для генерации и обработки текстов на русском и английском языках[30]. YaLM 100В содержит 100 млрд параметров.

См. также

Примечания

  1. ↑ 1,0 1,1 Microsoft teams up with OpenAI to exclusively license GPT-3 language model Архивная копия от 21 октября 2020 на Wayback Machine (англ.)
  2. ↑ 2,0 2,1 2,2 2,3 2,4 Greg Brockman, Mira Murati, Peter Welinder. OpenAI API (англ.). OpenAI Blog (11 июня 2020). Архивировано 11 июня 2020 года.
  3. ↑ Шаблон:Source
  4. ↑ 4,0 4,1 Елизавета Ивтушок. Третье поколение алгоритма OpenAI научилось выполнять текстовые задания по нескольким примерам. N+1 (29 мая 2020). Архивировано 27 октября 2020 года.
  5. ↑ Яна Рождественская. Генератор умно звучащего бреда. Коммерсантъ (14 августа 2020). Архивировано 22 октября 2020 года.
  6. ↑ Jennifer Langston. Microsoft announces new supercomputer, lays out vision for future AI work (англ.). Microsoft AI Blog (19 мая 2020). Архивировано 28 октября 2020 года.
  7. ↑ Chuan Li. OpenAI's GPT-3 Language Model: A Technical Overview (англ.). Lambda Blog (3 июня 2020). Архивировано 26 октября 2020 года.
  8. ↑ Tom B. Brown. GPT-3 Dataset Statistics. Languages by document count (англ.). GitHub (1 июня 2020). Архивировано 28 июля 2020 года.
  9. ↑ 9,0 9,1 OpenAI Licenses GPT-3 Technology to Microsoft Архивная копия от 31 октября 2020 на Wayback Machine (англ.)
  10. ↑ Thomas Macaulay. OpenAI reveals the pricing plans for its API — and it ain’t cheap (англ.). Шаблон:Нп1 (3 сентября 2020). Архивировано 1 ноября 2020 года.
  11. ↑ Microsoft получит эксклюзивный доступ к лучшему в мире «нейросетевому писателю». Вести.ру (23 сентября 2020). Архивировано 19 октября 2020 года.
  12. ↑ Хмелёва А. Microsoft лицензирует революционную языковую модель OpenAI GPT-3. Компьютерра (23 сентября 2020). Архивировано 27 октября 2020 года.
  13. ↑ Шаблон:Cite tweet (англ.)
  14. ↑ </title><path d="M15 5L5 15" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"></path><path d="M5 5L15 15" stroke-width="1.5" stroke-linecap="round" stroke-... Дата обращения: 30 октября 2020. Архивировано 1 ноября 2020 года.
  15. ↑ Liam Porr. My GPT-3 Blog Got 26 Thousand Visitors in 2 Weeks (англ.). Шаблон:Нп1 (3 августа 2020). Архивировано 30 октября 2020 года.
  16. ↑ Karen Hao. A college kid’s fake, AI-generated blog fooled tens of thousands. This is how he made it. (англ.). Шаблон:Нп1 (14 августа 2020). Архивировано 30 октября 2020 года.
  17. ↑ Снимок главной страницы Hacker News за 20 июля 2020
  18. ↑ A robot wrote this entire article. Are you scared yet, human? | GPT-3 | The Guardian. Дата обращения: 23 октября 2020. Архивировано 4 февраля 2021 года.
  19. ↑ A robot wrote this entire article. Are you scared yet, human? (англ.). The Guardian (8 сентября 2020). Архивировано 4 февраля 2021 года.
  20. ↑ Робот полностью написал эту статью. Человек, тебе уже страшно? Коммерсантъ (11 сентября 2020). Архивировано 30 сентября 2020 года.
  21. ↑ Василий Парфенов. Искусственный интеллект написал статью о безопасности ИИ. Популярная механика (11 сентября 2020). Архивировано 26 января 2021 года.
  22. ↑ Will Douglas Heaven. A GPT-3 bot posted comments on Reddit for a week and no one noticed (англ.). MIT Technology Review (8 октября 2020). Архивировано 1 ноября 2020 года.
  23. ↑ Даша Лейзаренко. Нейросеть неделю отвечала на вопросы на Reddit, притворяясь человеком: дошло до иллюминатов и предсказаний апокалипсиса. TJ (9 октября 2020). Архивировано 12 ноября 2020 года.
  24. ↑ Разговор с GPT-3 — Google Docs
  25. ↑ Это не число. «Умный» искусственный интеллект рассказал, в чем смысл жизни. TUT.BY (9 ноября 2020). Архивировано из оригинала 17 ноября 2020 года.
  26. ↑ Anne-Laure Rousseau MD, Clément Baudelaire, Kevin Riera. Doctor GPT-3: hype or reality? (англ.). Nabla Blog (27 октября 2020). Архивировано 7 ноября 2020 года.
  27. ↑ Шаблон:Source
  28. ↑ Yann LeCun. www.facebook.com. Дата обращения: 2 ноября 2020. Архивировано 1 ноября 2020 года.
  29. ↑ Елизавета Ивтушок. Сбер обучил GPT-3 на 600 гигабайтах русских текстов. N+1 (22 октября 2020). Архивировано 1 ноября 2020 года.
  30. ↑ Даниил Шатухин. Яндекс представил YaLM 100B — самую большую GPT-подобную нейросеть в открытом доступе. habr.com (23 июня 2022). Архивировано 24 августа 2022 года.

Ссылки

Wikipedia-logo-v2.svg
В русской википедии есть страница «GPT-3».
Wikipedia-logo-v2.svg
В Английской Википедии есть страница «GPT-3».
Источник — https://wiki.dzmuh.com/index.php?title=GPT-3&oldid=13855