स्टैनफोर्ड के वैज्ञानिकों ने पाया कि GPT-4 समय के साथ कमज़ोर हो जाता है

नया अध्ययन स्टैनफोर्ड यूनिवर्सिटी के वैज्ञानिकों ने इसकी पुष्टि की है कि नेटिज़न्स हफ्तों से किस बारे में शिकायत कर रहे हैं: चैटजीपीटी प्लस, पर आधारित जीपीटी-4 वास्तव में मूर्खतापूर्ण हो गया है - GPT-3.5 के विपरीत, जो चैटबॉट का निःशुल्क संस्करण चलाता है।

अपने अध्ययन में, लेखकों ने GPT-4 और GPT-3.5 के आधार पर चैटबॉट से विभिन्न अनुरोधों की प्रतिक्रियाओं की तुलना की। वे पाया गया कि नए संस्करण में चैटबॉट का व्यवहार और कुछ अनुरोधों पर प्रतिक्रियाओं की सटीकता महत्वपूर्ण है ख़राब हो गया.

लेखकों ने मार्च और जनवरी में जारी GPT-4 और GPT-3.5 भाषा मॉडल की तुलना की। उन्होंने पाया कि इस दौरान GPT-4 की सटीकता में काफ़ी गिरावट आई, जबकि इसके विपरीत, GPT-3.5 की सटीकता में वृद्धि हुई।

उदाहरण के लिए, इस प्रश्न का उत्तर देने की सटीकता कि क्या 17077 एक अभाज्य संख्या है, 95.2% तक गिर गई, जबकि इसके विपरीत, जीपीटी-3.5, 7.4% से बढ़कर 86.8% हो गई। साथ ही, दोनों मॉडलों के मौजूदा संस्करणों में तंत्रिका नेटवर्क द्वारा लिखे गए कोड के सफल निष्पादन की संभावना कम हो गई है।

इससे पहले, OpenAI के उपाध्यक्ष पीटर वेलिंडर पहले ही ऐसा कर चुके हैं उत्तर चैटजीपीटी प्लस उपयोगकर्ताओं के आरोपों पर:

इस ट्वीट के एक जवाब में, वेलिंडर पूछा सबूत दें कि चैटबॉट बदतर हो गया है। उसके 5 दिन बाद स्टैनफोर्ड वैज्ञानिकों का एक अध्ययन सामने आया - और ओपनएआई की ओर से अभी तक कोई प्रतिक्रिया नहीं आई है।

यह पहली बार नहीं है जब GPT-4 पर गलत जानकारी देने का आरोप लगा है। मार्च में, न्यूज़गार्ड विश्लेषक की खोज कीGPT-4 पर आधारित ChatGPT से झूठ बोलना आसान है - जबकि OpenAI स्वयं GPT-3.5 की तुलना में उत्तरों की सटीकता में 40% वृद्धि का दावा करता है। में विशेष रूप से, न्यूज़गार्ड परीक्षणों में, तंत्रिका नेटवर्क के नए संस्करण में गलत जानकारी का खंडन करने की संभावना कम थी - जिसमें आधुनिक घटनाओं और सिद्धांतों के बारे में गलत डेटा भी शामिल था षडयंत्र.