एसवीडी (एकवचन मूल्य अपघटन)

Question

वास्तव में शोर को कैसे कम करता है .. क्या आप कुछ अच्छे ट्यूटोरियल सुझा सकते हैं?

Answer 1

शोर को कम करने के लिए एसवीडी का उपयोग करने का एक तरीका अपघटन करना है, शून्य के करीब शून्य घटक हैं जो शून्य के बराबर हैं, फिर पुन: लिखें।

यहां एसवीडी पर online tutorial है।

आप Numerical Recipes पर एक नज़र डालना चाहते हैं।

Answer 2

एसवीडी को वेक्टर पर एक परिवर्तन के रूप में वर्ग मैट्रिस के लिए ज्यामितीय अर्थ से समझा जा सकता है।

w = M*v 

विलक्षण मूल्य अपघटन एम तीन मैट्रिक्स M=U*S*V, तो w=U*S*V*v का उत्पाद है:

एक वर्ग n x, n मैट्रिक्स एम एक वेक्टर v गुणा एक निर्गम वेक्टर उत्पादन करने के लिए w पर विचार करें। यू और वी ऑर्थोनॉर्मल मैट्रिस हैं। एक ज्यामितीय परिवर्तन बिंदु दृष्टिकोण से (वेक्टर को गुणा करके एक वेक्टर पर अभिनय) से, वे घूर्णन और प्रतिबिंब के संयोजन होते हैं जो वेक्टर की लंबाई को बदलते नहीं हैं जो वे गुणा कर रहे हैं। एस एक विकर्ण मैट्रिक्स है जो प्रत्येक एन अक्ष के साथ विभिन्न स्केलिंग कारकों (विकर्ण शब्द) के साथ स्केलिंग या स्क्वैशिंग का प्रतिनिधित्व करता है।

तो मैट्रिक्स एम द्वारा एक वेक्टर वी को बाएं-गुणा करने का प्रभाव एम के ऑर्थोनॉर्मल कारक वी द्वारा घुमाने/प्रतिबिंबित करना है, फिर परिणाम को एक विकर्ण कारक एस द्वारा स्केल/स्क्वैश करना है, फिर परिणाम को घुमाने/प्रतिबिंबित करना ऑर्थोनॉर्मल कारक यू

एक कारण एसवीडी एक संख्यात्मक दृष्टिकोण से वांछनीय है कि ऑर्थोनॉर्मल मैट्रिस द्वारा गुणा एक उलटा और extremely stable ऑपरेशन (स्थिति संख्या 1 है)। एसवीडी विकर्ण स्केलिंग मैट्रिक्स एस

Answer 3

टिटल प्रश्न का उत्तर देने के लिए: एसवीडी गैर-स्क्वायर मैट्रिस में ईजीनवे/ईजिनवेक्टर का सामान्यीकरण है। कहें, $ \ \ N \ times p $ में, फिर एक्स के एसवीडी अपघटन X = UDV^टी उत्पन्न करता है जहां डी विकर्ण है और यू और वी ऑर्थोगोनल मैट्रिस हैं। अब एक्स^TX एक स्क्वायर मैट्रिस है, और एक्स^TX = VD^2V का एसवीडी अपघटन जहां वी एक्स^TX और डी^2 के ईजिनवेक्टर के समतुल्य है X^TX के eigenvalues।

Answer 4

एकवचन मूल्य अपघटन एक nxm मैट्रिक्स एम ले रहे हैं और तीन मैट्रिक्स में "सड़ते हुए" के लिए एक विधि है ऐसी है कि एम = यू एस वी एस एक विकर्ण वर्ग (केवल अशून्य प्रविष्टियों ऊपर से विकर्ण पर हो रहा है बाएं से दाएं) एम। यू और वी के "एकवचन मूल्य" युक्त मैट्रिक्स ऑर्थोगोनल हैं, जो एसवीडी की ज्यामितीय समझ की ओर जाता है, लेकिन शोर में कमी के लिए यह आवश्यक नहीं है।

एम = यू एस वी के साथ, हमारे पास अभी भी मूल मैट्रिक्स एम है जो इसके सभी शोर को बरकरार रखता है। हालांकि, अगर हम केवल सबसे बड़े एकवचन मूल्यों को रखते हैं (जो आसान है, क्योंकि कई एसवीडी एल्गोरिदम एक अपघटन की गणना करते हैं जहां एस की प्रविष्टियां नॉनक्रिकिंग ऑर्डर में क्रमबद्ध होती हैं), तो हमारे पास मूल मैट्रिक्स का अनुमान है। यह काम करता है क्योंकि हम मानते हैं कि छोटे मूल्य शोर हैं, और डेटा में अधिक महत्वपूर्ण पैटर्न बड़े एकवचन मूल्यों से जुड़े वैक्टरों के माध्यम से व्यक्त किए जाएंगे।

वास्तव में, परिणामस्वरूप अनुमान मूल मैट्रिक्स का सबसे सटीक रैंक-के अनुमान है (कम से कम वर्ग त्रुटि है)।

Answer 5

एसवीडी का उपयोग ग्लोबल को कम करने के लिए भी किया जा सकता है (यानी।सभी अवलोकनों के साथ-साथ) डेटा के लिए एक मनमाना मॉडल (एक सूत्र में व्यक्त) की फिटिंग (दो चर के संबंध में और एक मैट्रिक्स में व्यक्त)।
उदाहरण के लिए, डेटा मैट्रिक्स एक = डी * एम^टी जहां डी एक प्रणाली की संभावित स्थितियों और एम अपने विकास wrt कुछ चर (जैसे समय) का प्रतिनिधित्व करता है प्रतिनिधित्व करता है।
तक SVD, एक (एक्स, वाई) = यू (एक्स) * एस * वी^टी (y) और इसलिए डी * एम^टी = यू * एस * वी^टी
तो डी = यू * एस * वी^टी * एम^{टी +} जहां "+" एक Pseudoinverse इंगित करता है।
कोई भी विकास के लिए गणितीय मॉडल ले सकता है और वी के कॉलम में फिट कर सकता है, जिनमें से प्रत्येक मॉडल के घटकों के रैखिक संयोजन हैं (यह आसान है, क्योंकि प्रत्येक कॉलम 1 डी वक्र है)। यह मॉडल पैरामीटर प्राप्त करता है जो एम^{उत्पन्न करता है?} (? इंगित करता है कि यह फिटिंग पर आधारित है)।
एम * एम^{? +} * वी = वी^? जो की अनुमति देता है बच आर * एस = वी - वी^? को कम करने के लिए, इस प्रकार डी और एम निर्धारित करना।

बहुत अच्छा, आह?

यू और के स्तंभों वी भी डेटा के बारे में जानकारी एकत्रित करने के लिए निरीक्षण किया जा सकता है; उदाहरण के लिए के कॉलम में प्रत्येक इन्फ्लिक्शन बिंदु V आम तौर पर मॉडल के एक अलग घटक को इंगित करता है।

अंत में, और वास्तव में अपने प्रश्न को संबोधित कर रहे हैं, यह आयात नोट करने के लिए अपने परिचर वैक्टर के साथ प्रत्येक उत्तरोत्तर विलक्षण मूल्य (विकर्ण मैट्रिक्स एस के तत्व) यू और वी शोर को कम संकेत है, हालांकि वह यह है कि , इन "कम महत्वपूर्ण" वैक्टरों में मॉडल के घटकों को अलग करना वास्तव में अधिक स्पष्ट है।दूसरे शब्दों में, यदि डेटा को राज्य परिवर्तनों के समूह द्वारा वर्णित किया गया है जो घातीय योगों का योग या जो भी हो, प्रत्येक घातीय के सापेक्ष भार छोटे एकवचन मूल्यों में एक साथ निकट हो जाते हैं। दूसरे शब्दों में बाद में एकवचन मूल्यों में वेक्टर होते हैं जो कम चिकनी (नोसीयर) हैं, लेकिन प्रत्येक घटक द्वारा दर्शाया गया परिवर्तन विशिष्ट है।