स्टैनफोर्ड nlp tokenizer

Question

मैं स्टैनफोर्ड पार्सर का उपयोग कर जावा क्लास में एक स्ट्रिंग को कैसे टोकन कर सकता हूं?

मैं केवल दस्तावेज प्रोसेसर और पीटीबीटोकेनाइज़र के उदाहरणों को बाहरी फ़ाइल से पाठ लेने में सक्षम हूं।

DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt"); 
    for (List sentence : dp) { 
    System.out.println(sentence); 
    } 
    // option #2: By token 

    PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"), 
      new CoreLabelTokenFactory(), ""); 
    for (CoreLabel label; ptbt.hasNext();) { 
    label = (CoreLabel) ptbt.next(); 
    System.out.println(label); 
    } 

धन्यवाद।

Answer 1

PTBTokenizer निर्माता एक java.io.Reader लेता है, तो आप अपने पाठ पार्स करने के लिए एक StringReader उपयोग कर सकते हैं