टेक्स्ट दस्तावेज़ों के दायरे के लिए एक पायथन मॉड्यूल की आवश्यकता है

Question

मुझे प्री-प्रोसेसिंग चरण में टेक्स्ट दस्तावेज़ों को स्टेम करने के लिए एक अच्छा पायथन मॉड्यूल चाहिए।

मैं इस एक

http://pypi.python.org/pypi/PyStemmer/1.0.1

पाया, लेकिन मैं दिए गए लिंक पूर्णांक प्रलेखन नहीं मिल रहा।

मुझे कोई भी जानता है कि दस्तावेज़ीकरण या किसी अन्य अच्छे स्टेमिंग एल्गोरिदम को कहां ढूंढें कृपया मदद करें।

Answer 1

आप NLTK

>>> from nltk import PorterStemmer 
>>> PorterStemmer().stem('complications') 

Answer 2

अजगर उत्पन्न मॉड्यूल पोर्टर, Porter2, पेस-भूसी, और Lovins जैसे विभिन्न उत्पन्न एल्गोरिदम के क्रियान्वयन है की कोशिश कर सकते हैं। http://pypi.python.org/pypi/stemming/1.0

>> from stemming.porter2 import stem 
    >> stem("factionally") 
    faction 

Answer 3

इन सभी stemmers कि यहाँ चर्चा की गई है एल्गोरिथम स्टेमर कर रहे हैं, इसलिए वे हमेशा इस तरह के

के रूप में अप्रत्याशित परिणाम उत्पन्न कर सकते

In [3]: from nltk.stem.porter import * 

In [4]: stemmer = PorterStemmer() 

In [5]: stemmer.stem('identified') 
Out[5]: u'identifi' 

In [6]: stemmer.stem('nonsensical') 
Out[6]: u'nonsens' 

सही ढंग से जड़ शब्द एक एक शब्दकोश आधारित स्टेमर इस तरह की जरूरत प्राप्त करने के लिए Hunspell Stemmer के रूप में। यहां link में इसका एक अजगर कार्यान्वयन है। उदाहरण कोड यहां है

>>> import hunspell 
>>> hobj = hunspell.HunSpell('/usr/share/myspell/en_US.dic', '/usr/share/myspell/en_US.aff') 
>>> hobj.spell('spookie') 
False 
>>> hobj.suggest('spookie') 
['spookier', 'spookiness', 'spooky', 'spook', 'spoonbill'] 
>>> hobj.spell('spooky') 
True 
>>> hobj.analyze('linked') 
[' st:link fl:D'] 
>>> hobj.stem('linked') 
['link'] 

Answer 4

पायस्टेमर स्नोबॉल स्टेमिंग लाइब्रेरी के लिए एक पायथन इंटरफ़ेस है।

प्रलेखन यहां पाया जा सकता है: https://github.com/snowballstem/pystemmer/blob/master/docs/quickstart.txt https://github.com/snowballstem/pystemmer/blob/master/docs/quickstart_python3.txt

Answer 5

gensim package विषय मॉडलिंग के लिए एक पोर्टर Stemmer एल्गोरिथ्म के साथ आता है:

>>> from gensim import parsing 
>>> gensim.parsing.stem_text("trying writing nonsense") 
'try write nonsens' 

PorterStemmer केवल उत्पन्न gensim में लागू विकल्प है।

एक साइड नोट: मैं कल्पना कर सकता हूं (बिना किसी संदर्भ के) कि अधिकांश टेक्स्ट-खनन-संबंधित मॉड्यूल में पोर्टर के स्टेमिंग, व्हाइट-स्पेस हटाने और स्टॉप-वर्ड हटाने जैसी सरल प्री-प्रोसेसिंग प्रक्रियाओं के लिए अपना स्वयं का कार्यान्वयन होता है।