PHP में टोकननाइज़र कैसे बनाएं?

Question

मैं मूल प्रोग्रामिंग सीखने के लिए एक साइट का निर्माण कर रहा हूं, मैं एक छद्म भाषा का उपयोग करने जा रहा हूं जिसमें उपयोगकर्ता अपना कोड सबमिट कर सकते हैं और मुझे इसकी व्याख्या करने की आवश्यकता है। हालांकि मुझे यकीन नहीं है कि PHP में टोकननाइज़र कैसे बनाया जाए। इस तरह के एक के रूप में इस

एक टुकड़ा होने:

a = 1 
b = 2 
c = a - b 

if(a > b) { 
    buy(a) 
    } else { 
    buy(b) 
    } 

मैं टोकन इस कोड को अलग करने के बारे में कैसे जाना होगा? -

यह अब मैं क्या कोशिश कर रहा हूँ है:

$tokens = array(); 

// First token (define string) 
$token = strtok($botCode, '='); 
$tokens[] = $token; 

// Loop 
while($token) { 
    $token = strtok('='); 
    $tokens[] = $token; 
} 

हालांकि मैं कैसे नियमित expresions की सूची के साथ strtok उपयोग करने के लिए यह पता लगाने के लिए सक्षम नहीं किया गया है ... मैं स्ट्रैटोक के समान कुछ कर सकता है लेकिन यह सरणी और स्ट्रॉप्स के साथ सुइयों के रूप में सरणी स्वीकार करता है लेकिन ऐसा लगता है कि इसे स्ट्रोक के साथ करना संभव है क्योंकि यह केवल इसके लिए डिज़ाइन किया गया है। किसी भी जानकारी या सही दिशा में इशारा करते हुए

Answer 1

स्ट्रेटोक से कुछ जादू का इंतजार न करें। यह preg_split के समान है।

मुझे लगता है कि आप अपना खुद का लेक्सर बनाना चाहते हैं। तो आप आलेख Writing a simple lexer in PHP या something else का उपयोग कर सकते हैं।