चलती - औसत पीक - खोज

हमें एक प्रारंभिक चेतावनी प्रणाली की आवश्यकता है मैं एक ऐसे सर्वर से काम कर रहा हूं जो कि लोड त्रुटियों के तहत प्रदर्शन संबंधी समस्याएं ज्ञात हैं एक टाइमस्टैम्प के साथ डेटाबेस में रिकॉर्ड किए जाते हैं कुछ मैन्युअल हस्तक्षेप चरण हैं जो सर्वर लोड को कम करने के लिए ले जा सकते हैं, लेकिन केवल तभी किसी को इस मुद्दे के बारे में पता है। त्रुटियों की कई गुनाओं को देखते हुए, मैं वास्तविक समय में गलतियों में एक स्पाइक की शुरुआत कैसे की पहचान कर सकता हूं, हम समय-समय पर या प्रत्येक त्रुटि की घटना की गणना कर सकते हैं। हम कभी-कभी त्रुटियों के बारे में निराश हैं, लेकिन नहीं एक विशिष्ट दहलीज है, मैं किसी को किसी भी समय, हमें बता सकता है, पांच मिनट में तीन त्रुटियों को सूचित कर सकता था, लेकिन मुझे यकीन है कि वहाँ बेहतर तरीका है। मैं sysadmins से प्रतिक्रिया के आधार पर एल्गोरिदम की संवेदनशीलता को समायोजित करने में सक्षम होना चाहता हूँ अभी के लिए, वे इसे काफी संवेदनशील मानते हैं, भले ही हमें पता है कि हम कुछ झूठी सकारात्मक उम्मीद कर सकते हैं। मैं एक सांख्यिकीविद् नहीं हूं, मुझे यकीन है कि यह स्पष्ट है, और इस ज़रूरत को लागू करने के लिए हमारे मौजूदा उपकरण एसक्यूएल सेवा के साथ अपेक्षाकृत सरल होना चाहिए आर और पुराने स्कूल एएसपी जेस्पीटीपी मैं कोड में एक जवाब की तलाश नहीं कर रहा हूं, लेकिन अगर उसे अतिरिक्त सॉफ्टवेयर की आवश्यकता है, तो शायद यह हमारे लिए काम नहीं कर रहा है, हालांकि मैं अपनी जिज्ञासा के लिए एक टिप्पणी के रूप में अव्यवहारिक लेकिन आदर्श समाधानों का स्वागत करता हूं। 24 अक्टूबर 12 से 21 44. जब आप इस प्रश्न के बारे में पूछे जाने के 5 महीने हुए हैं, और उम्मीद है कि आपको कुछ पता चल जाएगा तो मैं यहां कुछ अलग सुझाव तैयार करने जा रहा हूं, उम्मीद है कि आप उनके लिए अन्य परिदृश्य में कुछ उपयोग करते हैं.आपके इस्तेमाल के लिए मुझे नहीं लगता है कि आपको स्पाइक-डिटेक्शन एल्गोरिदम देखने की ज़रूरत है.तो यहाँ चलो चलें, समयरेखा पर होने वाली त्रुटियों की एक तस्वीर के साथ शुरू हो जाती है.तुम्हें क्या चाहिए एक संख्यात्मक सूचक, कितनी तेजी से त्रुटियां आ रही हैं और ये उपाय थ्रेशोल्डिंग के लिए अनुकूलनीय होना चाहिए - आपके सिसडमिन को सीमा निर्धारित करने में सक्षम होना चाहिए जो कि संवेदनशीलता त्रुटियों को चेतावनियों में बदलते हैं। आप स्पाइक का उल्लेख करते हैं, स्पाइक प्राप्त करने का सबसे आसान तरीका हर 20 मिनट के अंतराल पर एक हिस्टोग्राम खींचना है। आपके सिसडमिन संवेदनशीलता बीए सेट करेगा sed सलाखों की ऊंचाइयों पर मैं सबसे अधिक 20 मिनट की अंतराल में सहनशीलता त्रुटियों। इस बिंदु पर आप सोच सकते हैं कि 20-मिनट की खिड़की की लंबाई को समायोजित नहीं किया जा सकता है, यह आप कर सकते हैं, और आप एक साथ दिखने वाली वाक्यांश त्रुटियों में एक साथ शब्द को परिभाषित करते हुए विंडो की लंबाई के बारे में सोच सकते हैं। विशेष परिदृश्य ठीक है, आपका चर एक पूर्णांक है, संभवतः 3 से कम है, आप अपनी सीमा को 1 तक नहीं सेट करेंगे, क्योंकि इसका मतलब है कि हर त्रुटि एक चेतावनी है जो किसी एल्गोरिथम की आवश्यकता नहीं है इसलिए सीमा के लिए आपकी पसंद 2 और 3 यह आपके sysadmins को बहुत अच्छे नियंत्रण प्रदान नहीं करता है.एक समय विंडो में त्रुटियों की गिनती के बजाय, वर्तमान और अंतिम त्रुटियों के बीच मिनटों की संख्या का ट्रैक रखें जब यह मान बहुत छोटा हो जाता है, इसका मतलब है कि आपकी त्रुटियां हैं बहुत अधिक हो रही है और आपको चेतावनी उठानी होगी.आपकी sysadmins शायद 10 पर सीमा निर्धारित करेंगे, अगर त्रुटियों को 10 मिनट से भी कम समय तक हो रहा है, यह समस्या है या कम से कम 20 मिनिट मिशन-महत्वपूर्ण सिस्टम के लिए 30 मिनट। यह उपाय प्रांत माप 1 के विपरीत, जिसके लिए आप जिन मूल्यों के साथ काम कर सकते हैं, उनका एक छोटा सा सेट था, अब आपके पास एक ऐसा उपाय है जो 20-30 मूल्यों का अच्छा प्रदान करता है, इसलिए आपके सिसैडमिंस को ठीक-ट्यूनिंग के लिए अधिक अवसर मिलेगा। एक और तरीका है इस समस्या का दृष्टिकोण करने के बजाय त्रुटि आवृत्तियों को देखने के बजाय, त्रुटियों की भविष्यवाणी करने से पहले ही संभव हो सकता है। आपने उल्लेख किया है कि यह व्यवहार एकल सर्वर पर उत्पन्न हो रहा है, जो कि प्रदर्शन के मुद्दों के लिए जाना जाता है आप कुछ प्रमुख निष्पादन संकेतक की निगरानी कर सकते हैं उस मशीन पर, और आपको ये बताएंगे कि कोई त्रुटि कब हो रही है विशेष रूप से, आप CPU उपयोग, मेमोरी उपयोग और डिस्क आईओ से संबंधित केपीआई को देखेंगे यदि आपका सीपीयू उपयोग 80 से अधिक हो जाता है, सिस्टम धीमा हो रहा है मुझे पता है आपने कहा था कि आप किसी भी सॉफ्टवेयर को स्थापित नहीं करना चाहते हैं, और यह सच है कि आप ऐसा कर सकते हैं पेर्फमोन लेकिन वहां मुफ्त उपकरण हैं जो आपके लिए ऐसा करेंगे, जैसे कि नागोओस और जेनॉस. और जो लोग यहां आ रहे हैं एक टाइम-सीरीज़ में स्पाइक डिटेक्शन के बारे में कुछ पता लगाने के लिए। टाइम-सीरीज़ में स्पाइक डिटेक्शन। सरलतम चीज जिसे आप करते हुए शुरू करना चाहिए, अपने इनपुट मानों की चलती औसत की गणना करना है यदि आपकी सीरीज़ एक्स 1, एक्स 2 है, तो आप गणना करेंगे प्रत्येक प्रेक्षण के बाद चलती औसत एमके 1 - अल्फा एम अल्फा एक्सके। जहां अल्फा निर्धारित करेगा कि कितना वजन xk का नवीनतम मान देता है। यदि आपका नया मान चलती औसत से बहुत दूर ले जाया गया है, उदाहरण के लिए। तब आप एक चेतावनी उठाना चाहते हैं.मोइंग औसत अच्छा है वास्तविक समय डेटा के साथ काम करते समय, लेकिन लगता है कि आपके पास तालिका में डेटा का एक गुच्छा है, और आप स्पाइक को खोजने के लिए इसके खिलाफ एसक्यूएल प्रश्नों को चलाने के लिए चाहते हैं। मैं सुझाव देता हूं कि आपके टाइम-सीरिज की औसत मूल्य मानक विचलन सिग्मा । उन मानों को अलग करें जिनसे 2 सिग्मा से ज़्यादा सिग्मा हो सकते हैं, आपको उस समय की विविधता को समायोजित करने की आवश्यकता हो सकती है। कई वास्तविक समय समय-श्रृंखला चक्रीय व्यवहार प्रदर्शित करती हैं ARIMA नामक एक मॉडल है जो आपको निकालने में मदद करता है आपके समय-श्रृंखला से ये चक्र। मॉविंग औसत जो चक्रीय व्यवहार होल्ट और विंटर्स खाते को देखते हैं। मैं ऑनलाइन पहचान एल्गोरिदम के लिए खोज की है और अधिकतर शैक्षिक लेख पाए गए हैं जो मेरे सिर पर हैं, वे जवाब पकड़ सकते हैं, लेकिन मेरे व्यक्तिगत सरल परीक्षण से गुजरना नहीं मुझे सही करो अगर मुझे गलत लगता है, लेकिन मुझे नहीं लगता कि मैं एक शिखर का पता लगाने एल्गोरिथ्म की तलाश कर रहा हूं, एक बार त्रुटियों की कगार पर पहुंच गई है, ऐसा लगता है कि परिभाषा के द्वारा मैंने सबसे खराब समस्या को सुधारने का अवसर खो दिया है अगर मेरी गहराई का उपयोग मुझे भ्रमित कर रहा था लगता है कि मुझे त्रुटियों में निरंतर वृद्धि की भविष्यवाणी करने की आवश्यकता है या बड़े पैमाने पर डबेंटन अक्टूबर 25 12 को 15 26 को पहचानना होगा। सांख्यिकीय प्रक्रिया नियंत्रण के लिए 1, चरण की जांच में कुछ उपयोगी जानकारी है। एसपीसी के लिए यह लिखना बहुत मुश्किल नहीं है या तो पश्चिमी इलेक्ट्रिक नियम या नेल्सन नियमों का कार्यान्वयन। बस एसक्यूएल सर्वर में एक यूएसपी बनाते हैं जो एक डेटा सेट के माध्यम से दोहराते हैं और अपने पड़ोसी अंकों के उपयोग से नियमों के विरुद्ध प्रत्येक बिंदु को पिंग कर सकते हैं शायद आपकी ज़रूरतों के आधार पर घंटे के साथ त्रुटियों की संख्या इस प्रकार की एक स्टैक्ड ओवरफ्लो पर पोस्ट किए गए किसी प्रश्न से संबंधित है, जबकि कुछ समय पहले ही एक त्वरित उत्तर लिखे हैं यदि यह SQL सर्वर 2008 R2 में सांख्यिकीय प्रक्रिया नियंत्रण चार्ट में मदद करता है। अद्यतन अब तक का सर्वोत्तम प्रदर्शन एल्गोरिथम यह एक है। यह प्रश्न ई वास्तविक समय समय श्रृंखला डेटा में अचानक चोटियों का पता लगाने के लिए मजबूत एल्गोरिदम को एक्सप्लोर करता है। निम्न डेटासेट पर विचार करें। Matlab प्रारूप लेकिन यह भाषा के बारे में नहीं है लेकिन एल्गोरिथ्म के बारे में। आप स्पष्ट रूप से देख सकते हैं कि तीन बड़े चोटियों और कुछ छोटे चोटियों हैं यह डाटासेट बारिश के डेटासेट का एक विशिष्ट उदाहरण है, जो प्रश्न के बारे में है डेटासेट के इस वर्ग के पास है दो सामान्य विशेषताएं हैं.एक सामान्य अर्थ के साथ बुनियादी शोर है। बड़े चोटियों या उच्च आंकड़े अंक हैं जो काफी शोर से विचलित होते हैं। चलो भी निम्नलिखित मानते हैं। चौकों की चौड़ाई पहले से निर्धारित नहीं की जा सकती। चोटियों की ऊंचाई स्पष्ट रूप से अन्य मूल्यों से भटक जाता है। एल्गोरिथ्म का उपयोग वास्तविक समय की गणना करना चाहिए ताकि प्रत्येक नए डेटापॉइंट के साथ परिवर्तन किया जा सके। ऐसी स्थिति के लिए, एक सीमा मान का निर्माण किया जाना चाहिए जो सिग्नल को ट्रिगर करता है हालांकि, सीमा मान स्थिर नहीं हो सकता है और इसके आधार पर वास्तविक समय निर्धारित किया जाना चाहिए एक एल्गोरिथ्म। मेरा सवाल है कि वास्तविक समय में ऐसे थ्रेसहोल्ड की गणना करने के लिए एक अच्छा एल्गोरिथ्म क्या है क्या ऐसी स्थितियों के लिए विशिष्ट एल्गोरिदम हैं सबसे प्रसिद्ध एल्गोरिदम क्या हैं.रोब एल्गोरिदम या उपयोगी अंतर्दृष्टि सभी अत्यधिक सराहना कर रहे हैं जो एल्गोरिथ्म के बारे में किसी भी भाषा में इसका जवाब दे सकता है। मैं इसे फ़ोटोएन्सर पर हल्की तीव्रता के अचानक परिवर्तन का पता लगाने के लिए करता था, मैंने औसत चलते हुए इसे किया और किसी भी डेटा बिंदु को नजरअंदाज कर दिया थ्रेशोल्ड से बड़ा यह ध्यान रखें कि यह थ्रेशोल्ड चोटी का निर्धारण करने से थ्रेसहोल्ड से अलग है। तो, आप केवल डेटा पॉइंट्स को शामिल करते हैं जो एक चलती औसत में एक stddev के भीतर होता है, और उन डेटापथों को तीन से अधिक stddev के साथ अधिक से अधिक चोटियों के रूप में मानते हैं यह एल्गोरिथम बहुत अच्छी तरह से किया था आवेदन के हमारे संदर्भ के लिए उस समय सिर्फ 28 मार्च 14 14 7 54. एह, मुझे लगता है कि मैं इसे कोड के रूप में उम्मीद नहीं कर रहा था अगर मैंने पहले यह प्रश्न देखा था तो शायद आपको यह जवाब बहुत तेज़ हो जाएगा। वैसे भी, मेरा आवेदन उस समय यह पता लगाना था कि फोटोजसेसर को परिवेशी प्रकाश स्रोत से बाधित किया गया है इसलिए यही कारण है कि हमें चलती औसत की आवश्यकता है, क्योंकि परिवेश प्रकाश स्रोत धीरे-धीरे समय के साथ बदल सकता है, हमने इसे एक खेल के रूप में बनाया है जहां y कहां विशिष्ट पैटर्न डी सिर्फ आधा मार्च 28 14 से 10 05 के बाद सेंसर्स पर अपना हाथ घुमावदार होना चाहिए। सरसों z-score algo बहुत मजबूत थ्रेसहोल्डिंग एल्गोरिथम। मैंने एल्गोरिदम का निर्माण किया है जो इन प्रकार के डेटासेट्स के लिए बहुत अच्छी तरह से काम करता है यह सिद्धांत पर आधारित है फैलाव का यदि कोई नया डेटापॉइंट मानक विचलन का कुछ हद तक चलने वाला मतलब है, तो एल्गोरिथम संकेतों को भी ज़-स्कोर कहा जाता है एल्गोरिथ्म बहुत मजबूत है क्योंकि यह एक अलग चलती माध्य और विचलन बनाता है, जैसे संकेतों को भ्रष्ट नहीं होता है दहलीज इसलिए भविष्य के संकेतों को लगभग एक ही सटीकता के साथ पहचाना जाता है, पिछले संकेतों की परवाह किए बिना, एल्गोरिथ्म 3 इनपुट लेते हुए चलती खिड़की दहलीज के अंतराल को झेल लेते हैं, जिस पर एल्गोरिदम संकेत होते हैं और 0 और 1 के बीच के प्रभाव को प्रभावित करते हैं माध्य और मानक विचलन पर नए सिग्नल उदाहरण के लिए, 5 का अंतराल डेटा को सुचारू बनाने के लिए पिछले 5 टिप्पणियों का उपयोग करेगा 3 की दहलीज 5 यदि संकेत मिलेगा, nt 3 5 मानक विचलन चलती माध्य से दूर है और 0 5 का प्रभाव सामान्य डीएपीएप के प्रभाव का संकेत आधा देता है, 0 का प्रभाव, नए सीमा को 0 के प्रभाव की पुनर्गणना के लिए पूरी तरह से संकेतों पर ध्यान नहीं देता इसलिए यह सबसे मजबूत है विकल्प 1 कम से कम है। यह निम्नानुसार काम करता है। इस डेमो के लिए Matlab कोड इस उत्तर के अंत में पाया जा सकता है डेमो का उपयोग करने के लिए, बस इसे चलाने और ऊपरी चार्ट पर क्लिक करके स्वयं समय श्रृंखला बनाएं एल्गोरिथ्म काम करना शुरू कर देता है अंतराल के अंतराल की संख्या को मापने के बाद। एपॉलेशन 1 मैटलैब और एल्गोरिथ्म के लिए आर कोड। यह कोड दोनों भाषाओं को मूल प्रश्न के डेटा के लिए निम्नलिखित परिणाम देगा। अन्य भाषाओं में कार्यान्वयन। गोलांक Xeoncross. एपेंडिक्स 2 मेटलैब प्रदर्शन कोड बनाने के लिए क्लिक करें डेटा। इसके बाद के संस्करण को लिखा गया है कि यह पूर्ण एल्गोरिथ्म का पुनर्गठन करता है हर कोई निश्चित रूप से कोड को बदल सकता है जैसे कि फ़िल्टर किए गए avgfilter और stdfilter सा है वेद और मूल्यों को अद्यतन किया जाता है जब नई जानकारी आती है, एल्गोरिदम भी तेजी से प्रदर्शन करेंगे, प्रदर्शन के प्रयोजनों के लिए, मैंने एक ही समारोह में सभी कोड को एक साथ रखा। यदि आप कहीं इस फ़ंक्शन का उपयोग करते हैं, तो कृपया मुझे या इस उत्तर का श्रेय दें यदि आपके पास इस एल्गोरिथम के बारे में कोई प्रश्न हैं, तो उन्हें नीचे दी गई टिप्पणियों में पोस्ट करें या लिंक्डइन पर मेरे पास पहुंचें। 25 मार्च को 16 मार्च को उत्तर। 16। एक दृष्टिकोण निम्नलिखित अवलोकन के आधार पर चोटियों का पता लगाने के लिए है। समय टी एक चोटी है अगर yty टी-1 यति 1। यह ऊपर की तरफ खत्म होने तक इंतजार करके झूठी सकारात्मकता से बचा जाता है। यह वास्तव में वास्तविक समय नहीं है कि यह एक डीटी संवेदनशीलता की चोटी की कमी से तुलना करने के लिए एक मार्जिन की आवश्यकता से नियंत्रित किया जा सकता है एक व्यापार शोर का पता लगाने और पता लगाने के समय में विलंब के बीच आप अधिक मापदंडों जोड़कर मॉडल को समृद्ध कर सकते हैं। जहां डीटी और एम संवेदनात्मकता को समय-विलंब बनाकर नियंत्रित करने के लिए पैरामीटर हैं। यह आपको उल्लिखित एल्गोरिथम के साथ मिलता है। वह अजगर में साजिश करता है। मी 0 की स्थापना करके आप केवल एक झूठी सकारात्मक के साथ एक क्लीनर सिग्नल पा सकते हैं। सिग्नल प्रोसेसिंग में, शिखर की पहचान अक्सर तरंगिका परिणत के माध्यम से किया जाता है आप मूल रूप से आपके समय श्रृंखला डेटा ज़ीरो-क्रॉसिंग में एक असतत तरंगिका को बदलते हैं। विस्तृत गुणांक जो लौटाए जाते हैं वे समय श्रृंखला सिग्नल में चोटियों के अनुरूप होंगे, आपको अलग-अलग समेकित गुणांक स्तरों पर अलग-अलग चोटी के आयाम मिलते हैं, जो आपको बहु-स्तरीय रिज़ॉल्यूशन देता है। मार्च 31 14 पर 20 54. यदि सीमा मान या अन्य मापदंड भविष्य के मूल्यों पर निर्भर करता है, तो समय-मशीन के बिना एकमात्र समाधान, या भविष्य के मूल्यों के अन्य ज्ञान किसी भी निर्णय को देरी करना है, जब तक कि पर्याप्त भविष्य के मूल्यों में न हो, यदि आप एक औसत से ऊपर एक स्तर चाहते हैं, उदाहरण के लिए, 20 अंक, आपको कोई चोटी के फैसले से कम से कम 19 अंक आगे तक इंतजार करना पड़ता है, या नहीं, अगले न्यू बिन्दु पूरी तरह से आपके दहलीज को 19 अंक पहले पूरी तरह से बंद कर दे। आपके वर्तमान प्लॉट में कोई चोट नहीं है जब तक कि आप किसी भी तरह अग्रिम में पता है कि अगले बिंदु नहीं 1e99 टी है, जो आपकी साजिश एस वाई आयाम को पुन: पेश करने के बाद, उस बिंदु तक फ्लैट होगा। उत्तर में 24 मार्च 14 1 उत्तर। समय के समय में एक संकेत होने पर विचार करें, और आप चाहते हैं सिग्नल को कम करने के लिए औसत और गाऊसी फिल्टर का उपयोग किया जाता है जो कि आप किस प्रकार उपयोग करते हैं, किस प्रकार का चयन करते हैं। किस स्थिति में गौसी बेहतर है और जिसके तहत चलती औसत बेहतर है। मैं इस संकेत के साथ क्या करने की कोशिश कर रहा हूं , शुरुआत में चोटी का पता लगाने, फिर हर हिस्से पर छोटी खिड़कियों पर लागू होते हैं और आवृत्ति परिवर्तन को समझते हैं, आवृत्ति परिवर्तन से गति की दिशा का पता लगाने के लिए प्रत्येक भाग के लिए डॉप्लर बदलावों को मैं समय-समय में सिग्नल को बाहर निकालना चाहता हूं। आवृत्ति डोमेन मैंने सोचा था कि डॉटप्लर की पाली का पता लगाने के लिए एसटीएफटी का इस्तेमाल करना कुछ कागजात को एक अच्छा संदर्भ दिया जा सकता है, जो वास्तव में उपयोगी होगा। 29 सितंबर को