क्या NEAT 20 वर्षों में बदल गया है?

यह एल्गोरिदम 20 साल से अधिक पुराना है, तो क्या इसमें बदलाव हुआ है? इस समय के दौरान, पाठ निर्माण और वर्गीकरण (LSTM -> ट्रांसफार्मर) में प्रचलित परिवर्तन हुए हैं, AlexNET, ResNET दिखाई दिए हैं। लेकिन NEAT ने नहीं किया है? यदि यह बदल गया है, तो कैसे?

अद्यतन: मैंने हाइपरनीट के बारे में सुना है, इसकी निरंतरता ईएस-हाइपरनीट है, जो सब्सट्रेट, कोडीपनीट विकसित करने में सक्षम है। लेकिन मुझे ऐसा लगा कि वे अन्य क्षेत्रों के लिए बनाए गए थे जहां NEAT का उपयोग नहीं किया जाता है और वे विनिमेय नहीं हैं (यहां तक ​​​​कि क्योंकि मैं अभी भी अक्सर सामान्य NEAT के पार आता हूं), यह पता चला है कि ऐसा नहीं है और वे सिर्फ एक तार्किक निरंतरता हैं ?

एवगेनिया पापावासिलिउ एट। अल. 2021 की एक साहित्य समीक्षा है जिसका शीर्षक है "'न्यूरोएवोल्यूशन ऑफ ऑगमेंटेड टोपोलॉजीज' के उत्तराधिकारियों की एक व्यवस्थित साहित्य समीक्षा" जो मूल पेपर से निकली 60 विधियों की पहचान करती है। ऐसा लगता है कि समीक्षा एमआईटी प्रेस डायरेक्ट पर मुफ्त में मौजूद है।

लेकिन भविष्य के खोजकर्ताओं के लिए मैं किसी विशेष क्रम में वंशज एल्गोरिदम का चयन सूचीबद्ध करूंगा: odNEAT(v2), ES-HyperNEAT(-LEO), मल्टीएजेंट हाइपरनीट, NEATफील्ड्स, कोएवोल्यूशनरी NEAT, और HA-NEA। जैसे कि NEAT द्वारा लक्षित गैर-विभेदित नेटवर्क आर्किटेक्चर अनुकूलन उद्देश्य। पारंपरिक जीए के समान, एनईएटी में जनसंख्या-आधारित प्रशिक्षण शामिल है जो एडम जैसे ग्रेडिएंट-आधारित ऑप्टिमाइज़र की तुलना में गैर-विभेदक अनुकूलन सिद्धांत की बड़ी सफलता के बिना स्वाभाविक रूप से महंगा है। छवि वर्गीकरण या पाठ निर्माण जैसी गहन शिक्षा की तुलना में यह कम प्रतिस्पर्धी क्षेत्र है।

ऐसा कहने के बाद, NEAT के 20 साल के इतिहास में अब तक कुछ बड़े बदलाव हुए हैं। NEAT को इमेज प्रोसेसिंग या मल्टी-एजेंट आरएल सिस्टम जैसी उच्च-आयामी समस्याओं के लिए स्केलेबिलिटी से जूझना पड़ा। 2009 में स्टैनली एट अल ने सीधे वजन विकसित करने के बजाय एक सब्सट्रेट में स्थानिक पैटर्न को मैप करने के लिए हाइपरएनईएटी का प्रस्ताव दिया, जिससे यह बड़े तंत्रिका नेटवर्क को कुशलतापूर्वक संभालने में सक्षम हो सके। इसके अलावा पारंपरिक NEAT ने गहरी वास्तुकला को प्रभावी ढंग से विकसित करने के लिए संघर्ष किया, मिइकुलैनेन और अन्य। 2017 में उस अंतर को पाटने और अधिक मॉड्यूलर और स्केलेबल डीप न्यूरल आर्किटेक्चर के डिजाइन को सक्षम करने के लिए CoDeepNEAT का प्रस्ताव रखा गया, जिसमें CNN और LSTM के समान परतें शामिल हैं।

जैसे-जैसे गहन शिक्षण अधिक चुनौतीपूर्ण कार्यों तक बढ़ गया है, आर्किटेक्चर बन गए हैं हाथ से डिज़ाइन करना कठिन। यह पेपर विकास के माध्यम से गहन शिक्षण वास्तुकला को अनुकूलित करने के लिए एक स्वचालित विधि, CoDeepNEAT का प्रस्ताव करता है। मौजूदा न्यूरोएवोल्यूशन विधियों को टोपोलॉजी, घटकों और हाइपरपैरामीटर तक विस्तारित करके, यह विधि ऑब्जेक्ट पहचान और भाषा मॉडलिंग में मानक बेंचमार्क में सर्वोत्तम मानव डिजाइनों के तुलनीय परिणाम प्राप्त करती है। यह एक पत्रिका वेबसाइट पर स्वचालित छवि कैप्शनिंग के वास्तविक दुनिया के अनुप्रयोग के निर्माण का भी समर्थन करता है। उपलब्ध कंप्यूटिंग शक्ति में प्रत्याशित वृद्धि को देखते हुए, गहरे नेटवर्क का विकास भविष्य में गहन शिक्षण अनुप्रयोगों के निर्माण के लिए आशाजनक दृष्टिकोण है।