Стратегии распознавания имен собственных в НЛП

Мне интересно узнать больше о обработке естественного языка (NLP), и мне интересно, Есть ли в настоящее время какие-либо стратегии для распознавания имен собственных в тексте, которые не основаны на словарном распознавании? Кроме того, кто-нибудь может объяснить или дать ссылку на ресурсы, которые объясняют текущие методы на основе словаря? Кто является авторитетным экспертом по НЛП или каковы конкретные ресурсы по этому вопросу?

12 голосов | спросил VirtuosiMedia 4 MaramWed, 04 Mar 2009 02:56:45 +03002009-03-04T02:56:45+03:0002 2009, 02:56:45

8 ответов


0

Задача определения правильной части речи для слова в тексте называется Часть тегов речи . Brill tagger , например, использует сочетание словарных (словарных) слов и контекстных правил. Я считаю, что некоторые важные начальные словарные слова для этой задачи являются стоп-словами. Когда у вас есть (в основном правильные) части речи для ваших слов, вы можете начать строить более крупные структуры. Эта отраслевая книга распознавание имен существительных (NP) и распознавание именованных сущностей. О учебниках: Понимание естественного языка Алленом - хорошая, но немного устаревшая книга , Основы статистической обработки естественного языка - хорошее введение в статистическую НЛП. Обработка речи и языка немного более строгая и, возможно, более авторитетная. Ассоциация компьютерной лингвистики - ведущее научное сообщество по компьютерной лингвистике.

ответил Yuval F 4 MarpmWed, 04 Mar 2009 13:10:13 +03002009-03-04T13:10:13+03:0001 2009, 13:10:13
0

Помимо словарного подхода, мне приходят на ум еще два:

  • Основанные на шаблонах подходы (в простой форме: все, что написано с заглавной буквы, является собственным именем)
  • Подходы машинного обучения (пометьте собственные существительные в учебном корпусе и обучите классификатор)

Это поле в основном называется извлечение именованных сущностей и часто считается подполем извлечения информации . Хорошей отправной точкой для различных областей НЛП обычно является соответствующая глава в Оксфордском справочнике по компьютерной лингвистике :

Оксфордское руководство по компьютерной лингвистике http: //ukcatalogue.oup. ком /изображений /en_US /обложки /средний /9780198238829_140.jpg

ответил Fabian Steeg 4 MaramWed, 04 Mar 2009 03:08:04 +03002009-03-04T03:08:04+03:0003 2009, 03:08:04
0

Попробуйте найти «распознавание именованных сущностей» - этот термин используется в литературе по НЛП для подобных вещей.

ответил 16 MaramMon, 16 Mar 2009 08:53:35 +03002009-03-16T08:53:35+03:0008 2009, 08:53:35
0

Это зависит от того, что вы подразумеваете под словарем.

Например, одна из стратегий состоит в том, чтобы взять в словаре вещи, которых нет , и попытаться исходить из предположения, что они являются собственными существительными. Если это приводит к разумному анализу, рассмотрите предположение, предварительно подтвержденное и продолжайте, в противном случае сделайте вывод, что это не так.

Другие идеи:

  • В положении субъекта любой простой субъект без определителя является хорошим кандидатом.
  • То же самое в предлогах
  • В любом положении основа притяжательного детерминанта (например, Боб в "Сестре Боба") - хороший кандидат

- MarkusQ

ответил MarkusQ 4 MaramWed, 04 Mar 2009 03:21:36 +03002009-03-04T03:21:36+03:0003 2009, 03:21:36
0

предложены некоторые наборы инструментов: 1. Opennlp: для вашей задачи есть компонент распознавания именованных объектов 2. LingPipe: также компонент NER для него 3. Stanford NLP package: превосходный пакет для академического использования, возможно, не для коммерческого использования. 4. nltk: пакет Python NLP

ответил WDong 18 TueEurope/Moscow2012-12-18T22:00:29+04:00Europe/Moscow12bEurope/MoscowTue, 18 Dec 2012 22:00:29 +0400 2012, 22:00:29
0

если у вас есть предложение типа "кто такой Билл Гейтс" И если вы примените к нему часть речевого тегера. Это даст ответ как

"Кто /WP это /VBZ bill /NN gates /NNS? /."

Вы можете попробовать это онлайн на http://cst.dk/online/pos_tagger/uk/

Итак, вы получаете все существительные в этом предложении. Теперь вы можете легко извлечь эти существительные с помощью некоторого алгоритма. Я предлагаю использовать python, если вы используете обработку естественного языка. Он имеет NLTK (набор инструментов на естественном языке), с которым вы можете работать.

ответил Gunjan 29 AM00000070000005831 2013, 07:45:58
0

Если вы заинтересованы в реализации обработки на естественном языке, а Python является вашим языком программирования, это может быть очень информативный ресурс: http://www.youtube.com/watch?v=kKe4M4iSclc

ответил Manthan Dave 11 +04002013-10-11T15:27:52+04:00312013bEurope/MoscowFri, 11 Oct 2013 15:27:52 +0400 2013, 15:27:52
0

Хотя это и относится к бенгальскому языку, но он может нарисовать общую процедуру, определяемую собственно существительным. Поэтому я надеюсь, что это будет полезно для вас. Пожалуйста, проверьте следующую ссылку: http://www.mecs-press.org/ijmecs /ijmecs-v6-n8/v6n8-1.html

ответил Syeful Islam 18 Jpm1000000pmSun, 18 Jan 2015 21:16:01 +030015 2015, 21:16:01

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132