Dzmuh: Новая страница: «'''PaLM''' ({{Lang-en|Pathways Language Model}}) — это большая языковая модель на основе архитектуры трансформера с 540 миллиардов параметров, разработанная Google AI{{Cite web|lang=en|url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html...»

2024-06-30T10:53:32Z

Новая страница: «'''PaLM''' ({{Lang-en|Pathways Language Model}}) — это большая языковая модель на основе архитектуры трансформера с 540 миллиардов параметров, разработанная Google AI<ref name="blog">{{Cite web|lang=en|url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html...»

Новая страница

'''PaLM''' ({{Lang-en|Pathways Language Model}}) — это [[большая языковая модель]] на основе архитектуры [[Трансформер (модель машинного обучения)|трансформера]] с 540 миллиардов параметров, разработанная [[Google AI]]<ref name="blog">{{Cite web|lang=en|url=https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html|title=Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance|author=Narang|first=Sharan|website=ai.googleblog.com|access-date=2023-03-17|last2=Chowdhery|first2=Aakanksha|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321140939/https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html|deadlink=no}}</ref>. Исследователи также создали версии модели PaLM с 8 и 62 миллиардами параметров, чтобы проверить влияние масштаба<ref name="paper">{{Cite journal|author=Chowdhery|first=Aakanksha|title=PaLM: Scaling Language Modeling with Pathways|date=2022|doi=10.48550/arXiv.2204.02311}}</ref>.

PaLM способен выполнять широкий спектр задач, включая [[логическое рассуждение|логические рассуждения]], [[Арифметика|арифметические]] рассуждения, объяснение [[Шутка|шуток]], генерацию [[Компьютерная программа|кода]] и [[Машинный перевод|перевод текстов]]<ref name="paper"/><ref name="venturebeat">{{Cite web|url=https://venturebeat.com/ai/ai-weekly-google-sets-the-bar-for-ai-language-models-with-palm/|title=Google sets the bar for AI language models with PaLM|author=Anadiotis|first=George|website=VentureBeat|date=2022-04-12|access-date=2023-03-17|archive-date=2023-03-17|archive-url=https://web.archive.org/web/20230317022634/https://venturebeat.com/ai/ai-weekly-google-sets-the-bar-for-ai-language-models-with-palm/|deadlink=no}}</ref><ref>{{Cite web|url=https://the-decoder.com/google-palm-giant-language-ai-can-explain-jokes/|title=Google PaLM: Giant language AI can explain jokes|author=Bastian|first=Matthias|website=THE DECODER|date=2022-04-05|access-date=2023-03-17|archive-date=2023-03-17|archive-url=https://web.archive.org/web/20230317022637/https://the-decoder.com/google-palm-giant-language-ai-can-explain-jokes/|deadlink=no}}</ref><ref>{{Cite web|lang=en|url=https://seekingalpha.com/article/4563975-google-why-is-no-one-talking-about-palm|title=Google: Why Is No One Talking About PaLM (NASDAQ:GOOG) {{!}} Seeking Alpha|website=seekingalpha.com|date=2022-12-12|access-date=2023-03-17|archive-date=2023-03-17|archive-url=https://web.archive.org/web/20230317092401/https://seekingalpha.com/article/4563975-google-why-is-no-one-talking-about-palm|deadlink=no}}</ref>. В сочетании с [[Подсказка по цепочке рассуждений|подсказками по цепочке рассуждений]] PaLM достигла значительно более высокой производительности при работе с наборами данных, требующими логических выводов в несколько этапов, таких как [[Текстовая задача|текстовые задачи]] и [[Логическое рассуждение|логические вопросы]]<ref name="blog"/><ref name="paper" />.

Впервые об этой модели было объявлено в апреле 2022 года, и она оставалась закрытой до марта 2023 года, когда Google запустил [[API]] для работы с PaLM и другими технологиями<ref>{{Cite web|url=https://www.theverge.com/2023/3/14/23639313/google-ai-language-model-palm-api-challenge-openai|title=Google opens up its AI language model PaLM to challenge OpenAI and GPT-3|author=Vincent|first=James|website=The Verge|date=2023-03-14|access-date=2023-03-17|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321143144/https://www.theverge.com/2023/3/14/23639313/google-ai-language-model-palm-api-challenge-openai|deadlink=no}}</ref>. Сообщалось, что сначала API будет доступен для ограниченного числа разработчиков, которые присоединятся к списку ожидания, прежде чем он будет открыт для широкой публики<ref>{{Cite web|lang=en|url=https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html|title=PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications|author=Huffman|first=Scott|access-date=2023-03-17|last2=Woodward|first2=Josh|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321065550/https://developers.googleblog.com/2023/03/announcing-palm-api-and-makersuite.html|deadlink=no}}</ref>.

Google и [[DeepMind]] разработали версию PaLM 540B под названием '''Med-PaLM''', которая [[Тонкая настройка (машинное обучение)|тонко настроена]] на медицинские данные и превосходит предыдущие модели в тестах где нужно [[Вопросно-ответная система|отвечать на медицинские вопросы]]<ref>{{Cite journal|author=Singhal|first=Karan|title=Large Language Models Encode Clinical Knowledge|date=2022|doi=10.48550/arXiv.2212.13138}}</ref><ref>{{Cite web|url=https://medicalfuturist.com/medpalm-new-ai-medical-chatbots-will-soon-be-better-than-waiting-for-a-doctor/|title=MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor|website=The Medical Futurist|date=2023-01-17|access-date=2023-03-17|archive-date=2023-03-17|archive-url=https://web.archive.org/web/20230317022635/https://medicalfuturist.com/medpalm-new-ai-medical-chatbots-will-soon-be-better-than-waiting-for-a-doctor/|deadlink=no}}</ref>. Med-PaLM была первой моделью, которая получила проходной балл по вопросам медицинского лицензирования в США, и в дополнение к точным ответам как на вопросы с множественным выбором, так и на открытые вопросы, она также предоставляет [[Разум|аргументы]] и может оценивать свои собственные ответы<ref>{{Cite web|lang=en-us|url=https://blog.google/technology/health/ai-llm-medpalm-research-thecheckup/|title=Our latest health AI research updates|author=Matias|first=Yossi|website=Google|date=2023-03-14|access-date=2023-03-17|last2=Corrado|first2=Greg|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321022531/https://blog.google/technology/health/ai-llm-medpalm-research-thecheckup/|deadlink=no}}</ref>.

Google также расширил PaLM с помощью {{iw|Vision transformer|ViT|en|Vision transformer}}, чтобы создать '''PaLM-E''', современную языковую модель со зрением, которую можно использовать в [[Робототехника|робототехнике]]<ref>{{Cite journal|author=Driess|first=Danny|title=PaLM-E: An Embodied Multimodal Language Model|date=2023|doi=10.48550/arXiv.2303.03378}}</ref><ref>{{Cite web|lang=en|url=https://ai.googleblog.com/2023/03/palm-e-embodied-multimodal-language.html|title=PaLM-E: An embodied multimodal language model|author=Driess|first=Danny|website=ai.googleblog.com|access-date=2023-03-17|last2=Florence|first2=Pete|archive-date=2023-03-20|archive-url=https://web.archive.org/web/20230320223728/https://ai.googleblog.com/2023/03/palm-e-embodied-multimodal-language.html|deadlink=no}}</ref>. Модель может соревновательно выполнять задачи по [[Робототехника|робототехнике]] без необходимости переобучения или [[Тонкая настройка (машинное обучение)|тонкой настройки]]<ref>{{Cite web|lang=en-us|url=https://arstechnica.com/information-technology/2023/03/embodied-ai-googles-palm-e-allows-robot-control-with-natural-commands/|title=Google’s PaLM-E is a generalist robot brain that takes commands|author=Benj Edwards|website=Ars Technica|date=2023-03-07|access-date=2023-03-11|archive-date=2023-03-11|archive-url=https://web.archive.org/web/20230311010751/https://arstechnica.com/information-technology/2023/03/embodied-ai-googles-palm-e-allows-robot-control-with-natural-commands/|deadlink=no}}</ref>.

== Обучение ==
PaLM предварительно обучена на высококачественном [[Корпус текстов|корпусе]] из 780 миллиардов токенов, которые включают в себя различные задачи на [[Обработка естественного языка|естественном языке]] и варианты использования. Этот набор данных включает отфильтрованные веб-страницы, книги, статьи в [[Википедия|Википедии]], новостные статьи, исходный код, полученный из репозиториев с открытым исходным кодом на [[GitHub]], и разговоры в [[Социальные медиа|социальных сетях]]<ref name="blog"/><ref name="paper"/>. Она основана на наборе данных, используемом для обучения модели [[Google (компания)|Google]] [[LaMDA]]<ref name="paper" />. Часть набора данных, посвященная разговорам в социальных сетях, составляет 50 % корпуса, что помогает модели в её диалоговых возможностях<ref name="paper" />.

PaLM 540B была обучена на двух модулях [[Тензорный процессор Google|TPU]] v4 с 3072 чипами TPU v4 в каждом модуле, подключенными к 768 хостам, подключённым с использованием комбинации модели и [[Параллелизм данных|параллелизма данных]], что является крупнейшей конфигурацией TPU, описанной на сегодняшний день<ref name="paper"/><ref>{{Cite web|lang=en|url=https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training|title=An empirical analysis of compute-optimal large language model training|website=www.deepmind.com|access-date=2023-03-17|archive-date=2023-03-26|archive-url=https://web.archive.org/web/20230326022336/https://www.deepmind.com/blog/an-empirical-analysis-of-compute-optimal-large-language-model-training|deadlink=no}}</ref>. Это позволило провести эффективное обучение в масштабе с использованием 6 144 чипов, что стало рекордом максимальной эффективности обучения, достигнутой для [[Большая языковая модель|LLM]] в этом масштабе с использованием аппаратных [[FLOPS|FLOP]] на 57,8 %<ref name="venturebeat"/>.

== Примечания ==
{{Примечания}}

== Ссылки ==
{{Википедия|PaLM}}

{{Google}}
{{Обработка естественного языка}}

[[Категория:Большие языковые модели]]

PaLM - История изменений