Dzmuh: Новая страница: «{{Программа}} '''Sparrow''' — чат-бот, разработанный исследовательской лабораторией искусственного интеллекта DeepMind, дочерней компанией Alphabet Inc. Он предназначен для того, чтобы правильно отвечать...»

2024-06-30T10:55:13Z

Новая страница: «{{Программа}} '''Sparrow''' — чат-бот, разработанный исследовательской лабораторией искусственного интеллекта DeepMind, дочерней компанией Alphabet Inc. Он предназначен для того, чтобы правильно отвечать...»

Новая страница

{{Программа}}
'''Sparrow''' — [[Виртуальный собеседник|чат-бот]], разработанный исследовательской лабораторией [[Искусственный интеллект|искусственного интеллекта]] [[DeepMind]], дочерней компанией [[Alphabet|Alphabet Inc.]] Он предназначен для того, чтобы правильно отвечать на вопросы пользователей, снижая при этом риск небезопасных и неуместных ответов<ref name=":1">{{Cite web|url=https://www.theregister.com/2022/09/23/sparrow_chatbot_deepmind_google/|title=The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback|author=Quach|first=Katyanna|website=The Register|date=2023-01-23|access-date=2023-02-06|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321093702/https://www.theregister.com/2022/09/23/sparrow_chatbot_deepmind_google/|deadlink=no}}</ref>/ Одним из мотивов создания Sparrow является решение проблемы [[Большая языковая модель|языковых моделей]], производящих неверные, предвзятые или потенциально вредные результаты<ref name="автоссылка1">{{Cite web |url=https://www.theregister.com/2022/09/23/sparrow_chatbot_deepmind_google/ |title=The secret to Sparrow, DeepMind's latest Q&A chatbot: Human feedback |first=Katyanna |last=Quach |date=2023-01-23 |website=The Register |access-date=2023-02-06 |archive-date=2023-03-21 |archive-url=https://web.archive.org/web/20230321093702/https://www.theregister.com/2022/09/23/sparrow_chatbot_deepmind_google/ |deadlink=no }}</ref><ref name=":2">{{Cite web|url=https://www.marktechpost.com/2022/09/28/deepmind-introduces-sparrow-an-artificial-intelligence-powered-chatbot-developed-to-build-safer-machine-learning-systems/|title=Deepmind Introduces ‘Sparrow,’ An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems|author=Gupta|first=Khushboo|website=MarkTechPost|date=2022-09-28|access-date=2023-02-06|archive-date=2023-03-21|archive-url=https://web.archive.org/web/20230321160616/https://www.marktechpost.com/2022/09/28/deepmind-introduces-sparrow-an-artificial-intelligence-powered-chatbot-developed-to-build-safer-machine-learning-systems/|deadlink=no}}</ref>. Sparrow обучается с использованием человеческих суждений, чтобы быть более «полезным, правильным и безвредным» по сравнению с базовыми предварительно обученными языковыми моделями<ref name="автоссылка1" />. При разработке Sparrow участникам платного исследования предлагалось взаимодействовать со Sparrow, а также собирались их предпочтения для обучения модели полезности ответа<ref name="автоссылка2">{{Cite web |url=https://www.marktechpost.com/2022/09/28/deepmind-introduces-sparrow-an-artificial-intelligence-powered-chatbot-developed-to-build-safer-machine-learning-systems/ |title=Deepmind Introduces ‘Sparrow,’ An Artificial Intelligence-Powered Chatbot Developed To Build Safer Machine Learning Systems |first=Khushboo |last=Gupta |date=2022-09-28 |website=MarkTechPost |access-date=2023-02-06 |archive-date=2023-03-21 |archive-url=https://web.archive.org/web/20230321160616/https://www.marktechpost.com/2022/09/28/deepmind-introduces-sparrow-an-artificial-intelligence-powered-chatbot-developed-to-build-safer-machine-learning-systems/ |deadlink=no }}</ref>.

Чтобы улучшить правильность и помочь избежать проблемы [[Галлюцинация (искусственный интеллект)|«галлюцинации»]], Sparrow имеет возможность поиска в Интернете с помощью Google Search<ref name=":1"/><ref name=":2"/><ref name="автоссылка5">{{Cite web|url=https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot/|title=Why DeepMind isn’t deploying its new AI chatbot — and what it means for responsible AI|author=Goldman|first=Sharon|website=Venture Beat|date=2023-01-23|access-date=2023-02-06|archive-date=2023-05-29|archive-url=https://web.archive.org/web/20230529144139/https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot/|deadlink=no}}</ref>, чтобы найти и процитировать доказательства любых заявлений о фактах, которые он делает.

Чтобы сделать модель более безопасной, её поведение ограничивается набором правил, например, «не делать угрожающих заявлений» и «не делать ненавистных или оскорбительных комментариев», а также правил о возможно вредных советах и непритязаниях выдавать себя за человека<ref name=":1" />. Во время исследования участников попросили пообщаться с системой и попытаться обманом заставить её нарушить эти правила<ref name=":2" />. На суждениях этих участников была обучена «модель правил», которая использовалась для дальнейшего обучения.

Sparrow была представлена в сентябре 2022 года в документе под названием «Улучшение согласования диалоговых агентов с помощью целенаправленных человеческих суждений»<ref name=":4">{{Cite web|url=https://www.independent.co.uk/tech/deepmind-ai-chatbot-chatgpt-openai-b2262862.html|title=DeepMind’s AI chatbot can do things that ChatGPT cannot, CEO claims|author=Cuthbertson|first=Anthony|website=The Independent|date=2023-01-16|access-date=2023-02-06|archive-date=2023-01-16|archive-url=https://web.archive.org/web/20230116123734/https://www.independent.co.uk/tech/deepmind-ai-chatbot-chatgpt-openai-b2262862.html|deadlink=no}}</ref>, однако он не был опубликован публично.<ref name=":1" /><ref name="автоссылка5"/> Генеральный директор DeepMind Демис Хассабис сказал, что DeepMind рассматривает возможность выпуска Sparrow в виде «частной бета-версии» где-то в 2023 году<ref name="автоссылка6">{{Cite web |url=https://www.independent.co.uk/tech/deepmind-ai-chatbot-chatgpt-openai-b2262862.html |title=DeepMind’s AI chatbot can do things that ChatGPT cannot, CEO claims |first=Anthony |last=Cuthbertson |date=2023-01-16 |website=The Independent |access-date=2023-02-06 |archive-date=2023-01-16 |archive-url=https://web.archive.org/web/20230116123734/https://www.independent.co.uk/tech/deepmind-ai-chatbot-chatgpt-openai-b2262862.html |deadlink=no }}</ref><ref name=":5">{{Cite web|url=https://time.com/6246119/demis-hassabis-deepmind-interview/|title=DeepMind’s CEO Helped Take AI Mainstream. Now He’s Urging Caution|author=Perrigo|first=Billy|website=TIME|date=2023-01-12|access-date=2023-02-06|archive-date=2023-04-07|archive-url=https://web.archive.org/web/20230407045235/https://time.com/6246119/demis-hassabis-deepmind-interview/|deadlink=no}}</ref><ref name=":7">{{Cite web|url=https://www.techradar.com/news/googles-deepmind-promises-chatgpt-rival-soon-and-it-could-be-better-in-one-key-way|title=Google's DeepMind says it'll launch a more grown-up ChatGPT rival soon|author=Wilson|first=Mark|website=Tech Radar|date=2023-01-16|access-date=2023-02-06|archive-date=2023-04-22|archive-url=https://web.archive.org/web/20230422015947/https://www.techradar.com/news/googles-deepmind-promises-chatgpt-rival-soon-and-it-could-be-better-in-one-key-way|deadlink=no}}</ref>.

== Обучение ==
Sparrow — глубокая нейронная сеть, основанная на архитектуре [[Трансформер (модель машинного обучения)|модели машинного обучения "трансформер"]]. Она точно настроена на основе предварительно обученной [[Большая языковая модель|большой языковой модели]] DeepMind [[Chinchilla AI]] (LLM)<ref name=":1" />, которая имеет 70 миллиардов весов<ref name=":6">{{Cite web|url=https://www.deepmind.com/publications/an-empirical-analysis-of-compute-optimal-large-language-model-training|title=An empirical analysis of compute-optimal large language model training|author=Hoffmann|first=Jordan|website=DeepMind|date=2022-04-12|access-date=2023-02-06|archive-date=2023-04-06|archive-url=https://web.archive.org/web/20230406014227/https://www.deepmind.com/publications/an-empirical-analysis-of-compute-optimal-large-language-model-training|deadlink=no}}</ref>.

Sparrow обучается с использованием [[Обучение с подкреплением на основе отзывов людей|обучения с подкреплением на основе обратной связи с человеком]] (RLHF)<ref name=":1" /><ref name="автоссылка5" />, хотя также используются некоторые контролируемые методы тонкой настройки. В обучении RLHF используются две модели вознаграждения, учитывающие человеческие суждения; «модель предпочтений», которая предсказывает, что предпочтет участник исследования, и «модель правил», которая предсказывает, нарушила ли модель одно из правил<ref name="автоссылка7">{{Cite web |url=https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot/ |title=Why DeepMind isn’t deploying its new AI chatbot — and what it means for responsible AI |first=Sharon |last=Goldman |date=2023-01-23 |website=Venture Beat |access-date=2023-02-06 |archive-date=2023-05-29 |archive-url=https://web.archive.org/web/20230529144139/https://venturebeat.com/ai/why-deepmind-isnt-deploying-its-new-ai-chatbot/ |deadlink=no }}</ref>.

== Ограничения ==
Корпус обучающих данных Sparrow в основном на английском языке, а это означает, что на других языках он работает хуже.

При враждебной тактике со стороны участников исследования модель нарушает правила в 8% случаев<ref name=":2" />, однако это всё ещё в 3 раза ниже, чем у предварительно обученной модели с подсказкой базового уровня (Chinchilla).

== См. также ==

* [[Этика искусственного интеллекта]]
* [[Обработка естественного языка]]
* [[Техника подсказок]]

== Примечания ==
{{Примечания}}

== Ссылки ==
{{Википедия|Sparrow (бот)}}
* [https://arxiv.org/pdf/2209.14375.pdf White paper]
* [https://www.deepmind.com/blog/building-safer-dialogue-agents Blog post]

[[Категория:Большие языковые модели]]
[[Категория:Обработка естественного языка]]
[[Категория:Языковое моделирование]]
[[Категория:Виртуальные собеседники]]

Sparrow (бот) - История изменений