पायथन और एनएलटीके का उपयोग करके पेन ट्रीबैंक से व्याकरण नियमों का एक सेट कैसे प्राप्त करूं?

Question

मैं एनएलटीके और पायथन के लिए बिल्कुल नया हूं। मैं उदाहरणों में दिए गए खिलौने व्याकरण का उपयोग करके वाक्य पार्स बना रहा हूं लेकिन मुझे यह जानना है कि पेन ट्रीबैंक के एक हिस्से से सीखने वाले व्याकरण का उपयोग करना संभव है, जैसा कि मेरा खुद लिखना या खिलौना का उपयोग करना है व्याकरण? (मै मैक पर पायथन 2.7 का उपयोग कर रहा हूं) बहुत धन्यवाद

Answer 1

पेड़बैंक_चंक या conll2000 निगम पर एक चंकर को प्रशिक्षित करना संभव है। आपको इससे व्याकरण नहीं मिलता है, लेकिन आपको एक अचार-सक्षम वस्तु मिलती है जो वाक्यांश भाग को पार्स कर सकती है। How to Train a NLTK Chunker, Chunk Extraction with NLTK, और NLTK Classified Based Chunker Accuracy देखें।

Answer 2

आप एक व्याकरण है कि ठीक पेन Treebank नमूना कि NLTK के साथ आता है कब्जा चाहते हैं, आप (नीचे टिप्पणी देखें) मानते हुए कि आपके NLTK के लिए Treebank डेटा डाउनलोड किया है यह कर सकते हैं,:

import nltk 
from nltk.corpus import treebank 
from nltk.grammar import ContextFreeGrammar, Nonterminal 

tbank_productions = set(production for sent in treebank.parsed_sents() 
         for production in sent.productions()) 
tbank_grammar = ContextFreeGrammar(Nonterminal('S'), list(tbank_productions)) 

यह हालांकि, शायद आपको कुछ उपयोगी नहीं लगेगा। चूंकि एनएलटीके केवल निर्दिष्ट सभी टर्मिनलों के साथ व्याकरण के साथ पार्सिंग का समर्थन करता है, इसलिए आप केवल ट्रीबैंक नमूने में शब्दों वाले वाक्यों को पार्स करने में सक्षम होंगे।

इसके अलावा, ट्रीबैंक में कई वाक्यांशों की समतल संरचना के कारण, यह व्याकरण प्रशिक्षण में शामिल नहीं किए गए वाक्यों के लिए बहुत खराब रूप से सामान्यीकृत होगा। यही कारण है कि एनएलपी अनुप्रयोगों ने पेड़बैंक को पार्स करने का प्रयास किया है, उन्होंने ट्रीबैंक से सीएफजी नियमों को सीखने का दृष्टिकोण नहीं उपयोग किया है। इसके लिए सबसे नज़दीकी तकनीक रेन बोड्स डेटा ओरिएंटेड पार्सिंग दृष्टिकोण होगी, लेकिन यह अधिक परिष्कृत है।

अंत में, यह अविश्वसनीय रूप से धीमा हो जाएगा यह बेकार है।

mini_grammar = ContextFreeGrammar(Nonterminal('S'), 
            treebank.parsed_sents()[0].productions()) 
parser = nltk.parse.EarleyChartParser(mini_grammar) 
print parser.parse(treebank.sents()[0])