Dzmuh: Новая страница: «'''Обработка текстов на естественном языке''' (''Natural Language Processing, NLP'') — общее направление искусственного интеллекта и математической лингвистики. Оно изучает проблемы компьютерного анализа и ...»

2024-06-30T10:31:30Z

Новая страница: «'''Обработка текстов на естественном языке''' (''Natural Language Processing, NLP'') — общее направление искусственного интеллекта и математической лингвистики. Оно изучает проблемы компьютерного анализа и ...»

Новая страница

'''Обработка текстов на естественном языке''' (''Natural Language Processing, NLP'') — общее направление [[Искусственный интеллект|искусственного интеллекта]] и [[Математическая лингвистика|математической лингвистики]]. Оно изучает проблемы [[компьютер]]ного анализа и [[синтез]]а текстов на [[Естественный язык|естественных языках]]. Применительно к искусственному интеллекту анализ означает понимание языка, а синтез — [[Генератор текста|генерацию грамотного текста]].

== Задачи и ограничения ==
Теоретически, построение [[Человеко-компьютерное взаимодействие|естественно-языкового интерфейса]] для компьютеров — очень привлекательная цель. Ранние системы, такие как [[SHRDLU]], работая с ограниченным «миром кубиков» и используя ограниченный словарный запас, выглядели чрезвычайно хорошо, вдохновляя этим своих создателей. Однако оптимизм быстро иссяк, когда эти системы столкнулись со сложностью и неоднозначностью реального мира.

Понимание естественного языка иногда считают{{Кто}} [[AI-полный|AI-полной]] задачей, потому как распознавание живого языка требует огромных знаний системы об окружающем мире и возможности с ним взаимодействовать. Само определение смысла слова «[[Понимание|понимать]]» — одна из главных задач искусственного интеллекта {{Нет АИ|16|5|2022}}.

== Сложности понимания ==

=== В русском языке ===
Качество понимания зависит от множества факторов: от языка, от национальной культуры, от самого собеседника и т. д. Вот некоторые примеры сложностей, с которыми сталкиваются системы понимания текстов.
* Сложности с раскрытием [[Анафора (лингвистика)|анафор]] (распознаванием, что имеется в виду при использовании местоимений): предложения «Мы отдали бананы обезьянам, потому что они были голодные» и «Мы отдали бананы обезьянам, потому что они были перезрелые» похожи по синтаксической структуре. В одном из них [[местоимение]] ''они'' относится к обезьянам, а в другом — к бананам. Правильное понимание зависит от знаний компьютера, какими могут быть бананы и обезьяны.
* [[Свободный порядок слов]] может привести к совершенно иному толкованию фразы: «Бытие определяет сознание» — что определяет что?
* В русском языке свободный порядок компенсируется развитой [[Морфология (лингвистика)|морфологией]], [[Служебное слово|служебными словами]] и [[Знак препинания|знаками препинания]], но в большинстве случаев для компьютера это представляет дополнительную проблему.
* В речи могут встретиться [[неологизм]]ы, например, глагол «Пятидесятирублируй» — то есть высылай 50 рублей. Система должна уметь отличать такие случаи от [[Опечатка|опечаток]] и правильно их понимать.
* Правильное понимание [[омоним]]ов — ещё одна проблема. При [[Распознавание речи|распознавании речи]], помимо прочих, возникает проблема фонетических омонимов. Во фразе «Серый волк в глухом ''лесу'' встретил рыжую ''лису''» выделенные слова слышатся одинаково, и без знания, кто глухой, а кто рыжий, не обойтись (кроме того, что лиса может быть рыжей, а лес — глухим, лес также может быть рыжим (характеристика, в данном случае обозначающая преобладающий цвет листвы в лесу), в то время как лиса может быть глухой, что порождает дополнительную проблему, вытекающую из предыдущей, хотя и отчасти компенсируется морфологией — у прилагательных в данном предложении род явно разный).

== Классификация задач ==
{{список примеров}}
Популярные задачи:<ref>{{Статья|ссылка=http://arxiv.org/abs/2004.03705|автор=Shervin Minaee, Nal Kalchbrenner, Erik Cambria, Narjes Nikzad, Meysam Chenaghlu|заглавие=Deep Learning Based Text Classification: A Comprehensive Review|год=2020-04-05|издание=arXiv:2004.03705 [cs, stat]|archivedate=2020-06-24|archiveurl=https://web.archive.org/web/20200624082918/https://arxiv.org/abs/2004.03705}}</ref><ref>{{Статья|ссылка=http://arxiv.org/abs/1708.02709|автор=Tom Young, Devamanyu Hazarika, Soujanya Poria, Erik Cambria|заглавие=Recent Trends in Deep Learning Based Natural Language Processing|год=2018-11-24|издание=arXiv:1708.02709 [cs]|archivedate=2020-05-06|archiveurl=https://web.archive.org/web/20200506004013/https://arxiv.org/abs/1708.02709}}</ref><ref>{{Cite web|lang=Английский|url=https://www.cs.jhu.edu/~jason/465/|title=Курс по автоматической обработке текста|author=Prof. Jason Eisner|website=|date=|publisher=|access-date=2020-05-07|archive-date=2020-05-13|archive-url=https://web.archive.org/web/20200513162149/http://www.cs.jhu.edu/~jason/465/|deadlink=no}}</ref>

# [[Распознавание речи]]
# [[Анализ текста]]
#* [[Извлечение информации]]
#* [[Информационный поиск]]
#* [[Анализ высказываний]]
#* [[Анализ тональности текста]]
#* [[Вопросно-ответная система|Вопросно-ответные системы]]
# [[Генератор текста|Генерирование текста]]
# [[Синтез речи]]

Задачи анализа и синтеза в комплексе:

* [[Машинный перевод]]
* Автоматическое [[Реферат|реферирование]], [[Аннотация|аннотирование]] или упрощение текста

Общая классификация:

# Категоризация текстов
# Классификация последовательностей символов
## Распознавание именованных сущностей
## Определение [[Часть речи|частей речи]] слов
# Распознавание фраз
# Извлечение информации из текста
# Синтаксическая аннотация
# Семантическая аннотация
# [[Генератор текста|Генерирование текста]]
## Генерация текста на основе распознанной речи
## [[Машинный перевод]]
## Обобщение текста

== Программное обеспечение ==
{{main|Программное обеспечение для обработки естественного языка}}

* [[AlchemyAPI]]
* [[Expert System S.p.A.]]
* [[GATE (программа)|General Architecture for Text Engineering]] (GATE)
* [[Modular Audio Recognition Framework]]
* [[MontyLingua]]
* [[Natural Language Toolkit]] (NLTK)

== См. также ==
* [[Математическая лингвистика]]
* [[Информационный поиск]]
* [[Виртуальный собеседник]]
* [[Робот (программа)]]

== Примечания ==
{{примечания}}

== Ссылки ==
{{Википедия|Обработка естественного языка}}

{{Обработка естественного языка}}
{{Искусственный интеллект}}

[[Категория:Прикладная лингвистика]]
[[Категория:Обработка естественного языка|*]]
[[Категория:Распознавание речи]]

Обработка естественного языка - История изменений