Περίληψη άρθρου:
Το μοντέλο Τεχνητής Νοημοσύνης GPT-4 της OpenAI έχει αντιμετωπίσει παράπονα για υποβαθμισμένες επιδόσεις, με τους χρήστες να το αποκαλούν "πιο τεμπέλικο" και "πιο χαζό" σε σύγκριση με τις προηγούμενες εκδόσεις. Τα προβλήματα που αναφέρθηκαν περιλαμβάνουν αποδυναμωμένη λογική, περισσότερες λανθασμένες απαντήσεις και δυσκολία στην παρακολούθηση οδηγιών. Οι γνώστες της βιομηχανίας εικάζουν ότι η OpenAI μπορεί να εργάζεται πάνω σε έναν σημαντικό επανασχεδιασμό του συστήματος, δημιουργώντας ενδεχομένως μικρότερα μοντέλα GPT-4 που θα εξειδικεύονται σε διαφορετικά θεματικά πεδία. Αυτή η στροφή προς μια προσέγγιση "Μείγμα εμπειρογνωμόνων" (ΜοΕ) θα μπορούσε να οδηγήσει σε φθηνότερες και ταχύτερες απαντήσεις, αλλά μπορεί να θυσιάσει κάποια ποιότητα. Η OpenAI δεν έχει απαντήσει σε ερωτήματα σχετικά με αυτές τις εικασίες.

Κύρια σημεία του άρθρου:

• Οι χρήστες του GPT-4 της OpenAI έχουν παραπονεθεί για υποβαθμισμένη απόδοση, με προβλήματα όπως εξασθενημένη λογική, περισσότερες λανθασμένες αποκρίσεις και δυσκολία στην παρακολούθηση οδηγιών.
• Ορισμένοι εμπειρογνώμονες εικάζουν ότι η OpenAI μπορεί να επανασχεδιάζει το σύστημα και να δημιουργεί μικρότερα μοντέλα GPT-4 που εξειδικεύονται σε διαφορετικές θεματικές περιοχές, γνωστή ως προσέγγιση Mixture of Experts (MOE).
• Η προσέγγιση MOE θα μπορούσε να παρέχει καλύτερα παραγόμενες και φθηνότερες, ταχύτερες απαντήσεις, αλλά μπορεί να υπάρξει συμβιβασμός μεταξύ κόστους και ποιότητας. Η OpenAI δεν έχει επιβεβαιώσει αυτές τις εικασίες.

Αναλυτικά το άρθρο:
Το πιο ισχυρό μοντέλο τεχνητής νοημοσύνης στον κόσμο έχει γίνει, λοιπόν, λιγότερο ισχυρό. Και αυτό έχει κάνει τους γνώστες της βιομηχανίας να ψιθυρίζουν για έναν σημαντικό επανασχεδιασμό του συστήματος.

Τις τελευταίες εβδομάδες, οι χρήστες του GPT-4 της OpenAI παραπονιούνται για υποβαθμισμένες επιδόσεις, με ορισμένους να αποκαλούν το μοντέλο "πιο τεμπέλικο" και "πιο χαζό" σε σύγκριση με τις προηγούμενες ικανότητες συλλογισμού του και άλλα αποτελέσματα.

Οι χρήστες εξέφρασαν την απογοήτευσή τους στο Twitter και στο διαδικτυακό φόρουμ προγραμματιστών της OpenAI για θέματα όπως η αποδυναμωμένη λογική, οι περισσότερες λανθασμένες απαντήσεις, η απώλεια των παρεχόμενων πληροφοριών, η δυσκολία να ακολουθήσουν οδηγίες, η λήθη να προσθέσουν αγκύλες σε βασικό κώδικα λογισμικού και η μνήμη μόνο της πιο πρόσφατης προτροπής.

"Το σημερινό GPT4 είναι απογοητευτικό", έγραψε ένας προγραμματιστής που χρησιμοποιεί το GPT-4 για να τον βοηθήσει να κωδικοποιήσει λειτουργίες για τον ιστότοπό του. "Είναι σαν να οδηγείς μια Ferrari για ένα μήνα και μετά ξαφνικά μετατρέπεται σε ένα παλιό, χτυπημένο φορτηγάκι. Δεν είμαι σίγουρος ότι θέλω να πληρώσω γι' αυτό".

Ο Peter Yang, επικεφαλής προϊόντος στο Roblox, έγραψε στο Twitter ότι το μοντέλο παράγει ταχύτερα αποτελέσματα, αλλά η ποιότητα είναι χειρότερη. "Απλές ερωτήσεις, όπως το να κάνουμε το γράψιμο πιο σαφές και περιεκτικό και να παράγουμε ιδέες", πρόσθεσε. "Η ποιότητα της γραφής έχει πέσει κατά τη γνώμη μου". Ρώτησε αν κάποιος άλλος το είχε παρατηρήσει αυτό.

"Έχω διαπιστώσει ότι είναι πιο τεμπέλικο", απάντησε ένας άλλος χρήστης του Twitter, ο Frazier MacLeod.

Ο χρήστης Christi Kennedy έγραψε στο φόρουμ προγραμματιστών της OpenAI ότι το GPT-4 είχε αρχίσει να βάζει σε επανάληψη εξόδους κώδικα και άλλες πληροφορίες ξανά και ξανά.

"Είναι εγκεφαλικά νεκρό σε σχέση με πριν", έγραψε τον περασμένο μήνα. "Αν δεν το πιέζεις πραγματικά με αυτά που μπορούσε να κάνει προηγουμένως, δεν θα το προσέξεις. Ωστόσο, αν το χρησιμοποιείτε πραγματικά πλήρως, βλέπετε ότι είναι προφανώς πολύ πιο ηλίθιο".

Από αργό και ακριβό, σε γρήγορο και ανακριβές

Αυτή είναι μια μεγάλη αλλαγή σε σχέση με τις αρχές του τρέχοντος έτους, όταν η OpenAI ενθουσίαζε τον κόσμο με το ChatGPT και η βιομηχανία τεχνολογίας περίμενε την κυκλοφορία του GPT-4 με αγωνία. Το ChatGPT έτρεχε αρχικά με GPT-3 και GPT-3.5 - αυτά είναι τα γιγαντιαία, υποκείμενα μοντέλα AI που τροφοδοτούν τις αλλόκοτες απαντήσεις του.

Το μεγαλύτερο GPT-4 κυκλοφόρησε τον Μάρτιο και γρήγορα έγινε το μοντέλο για τους προγραμματιστές και άλλους γνώστες της τεχνολογικής βιομηχανίας. Σε γενικές γραμμές θεωρείται το πιο ισχυρό μοντέλο ΤΝ που είναι διαθέσιμο και είναι πολυτροπικό, που σημαίνει ότι μπορεί να κατανοήσει εικόνες και εισόδους κειμένου.
Μετά την αρχική βιασύνη να δοκιμάσουν αυτό το νέο μοντέλο, κάποιοι σοκαρίστηκαν από τους λογαριασμούς τους για τη χρήση του GPT-4. Η Sharon Zhou, διευθύνουσα σύμβουλος της Lamini, μιας startup που βοηθά τους προγραμματιστές να δημιουργήσουν προσαρμοσμένα μεγάλα γλωσσικά μοντέλα, δήλωσε ότι το νέο μοντέλο ήταν αργό αλλά πολύ ακριβές.

Το πλοίο του Θησέα

Αυτή ήταν η κατάσταση μέχρι πριν από λίγες εβδομάδες. Στη συνέχεια, η GPT-4 έγινε ταχύτερη, αλλά η απόδοση μειώθηκε αισθητά, τροφοδοτώντας συζητήσεις στην κοινότητα της τεχνητής νοημοσύνης, οι οποίες, σύμφωνα με τον Zhou και άλλους ειδικούς, υποδηλώνουν ότι βρίσκεται σε εξέλιξη μια σημαντική αλλαγή.

Είπαν ότι η OpenAI μπορεί να δημιουργεί διάφορα μικρότερα μοντέλα GPT-4 που θα λειτουργούν παρόμοια με το μεγάλο μοντέλο, αλλά θα είναι λιγότερο δαπανηρά στη λειτουργία τους.

Ο Zhou είπε ότι αυτή η προσέγγιση ονομάζεται μείγμα εμπειρογνωμόνων ή MOE (Mixture of Experts). Τα μικρότερα μοντέλα εμπειρογνωμόνων εκπαιδεύονται στις δικές τους εργασίες και θεματικές περιοχές, δηλαδή θα μπορούσε να υπάρχει ένα GPT-4 που να ειδικεύεται στη βιολογία και ένα για τη φυσική, τη χημεία και ούτω καθεξής. Όταν ένας χρήστης του GPT-4 κάνει μια ερώτηση, το νέο σύστημα θα γνωρίζει σε ποιο μοντέλο εμπειρογνωμόνων θα πρέπει να στείλει το ερώτημα. Το νέο σύστημα θα μπορούσε να αποφασίσει να στείλει ένα ερώτημα σε δύο ή περισσότερα από αυτά τα μοντέλα εμπειρογνωμόνων για κάθε περίπτωση και στη συνέχεια να συνδυάσει τα αποτελέσματα.

"Αυτή η ιδέα υπάρχει εδώ και καιρό και είναι ένα φυσικό επόμενο βήμα", δήλωσε ο Zhou.

Ο Zhou συνέκρινε αυτή την κατάσταση με το "πλοίο του Θησέα", ένα πείραμα σκέψης όπου μέρη του σκάφους ανταλλάσσονται με την πάροδο του χρόνου, θέτοντας το ερώτημα, σε ποιο σημείο γίνεται ένα εντελώς νέο πλοίο;

"Η OpenAI παίρνει το GPT-4 και το μετατρέπει σε έναν στόλο μικρότερων πλοίων", είπε. "Από τη δική μου οπτική γωνία, πρόκειται για ένα νέο μοντέλο. Κάποιοι θα έλεγαν ότι είναι το ίδιο".

Το Insider ρώτησε την OpenAI σχετικά με αυτό την Τρίτη. Η εταιρεία, η οποία ανήκει εν μέρει στη  Microsoft, δεν απάντησε.

Αυτή την εβδομάδα, αρκετοί ειδικοί σε θέματα τεχνητής νοημοσύνης δημοσίευσαν στο Twitter λεπτομέρειες της αρχιτεκτονικής του GPT-4. Ο Yam Peleg, ιδρυτής startup, έγραψε στο Twitter ότι η OpenAI κατάφερε να κρατήσει το κόστος χαμηλά χρησιμοποιώντας ένα μοντέλο MOE με 16 ειδικούς. Η Semianalysis έγραψε για τις εσωτερικές λειτουργίες του GPT-4 αυτή την εβδομάδα.

Ο George Hotz, ένας χάκερ ασφαλείας, περιέγραψε ένα "μοντέλο μίξης οκτώ τρόπων" για το GPT-4 κατά τη διάρκεια ενός πρόσφατου podcast. Ο Soumith Chintala, συνιδρυτής του έργου τεχνητής νοημοσύνης ανοικτού κώδικα PyTorch στο Meta, σχολίασε τα σχόλια του Hotz.

"Θα μπορούσα να *υποθέσω* ότι οι εικασίες είναι περίπου ακριβείς, αλλά δεν έχω επιβεβαίωση", έγραψε ο διευθύνων σύμβουλος του Allen Institute for AI, Oren Etzioni, σε ένα email στο Insider αφού είδε τις διαρροές στο διαδίκτυο αυτή την εβδομάδα.

Υπάρχουν δύο βασικοί τεχνικοί λόγοι για τη χρήση μιας προσέγγισης MOE: καλύτερα παραγόμενες απαντήσεις και φθηνότερες, ταχύτερες απαντήσεις, είπε.

"Το "σωστό" μείγμα θα σας δώσει και τα δύο, αλλά συχνά υπάρχει συμβιβασμός μεταξύ κόστους και ποιότητας", πρόσθεσε ο Etzioni. "Σε αυτή την περίπτωση, φαίνεται ανεπίσημα ότι η OpenAI θυσιάζει κάποια ποιότητα για τη μείωση του κόστους. Αυτά τα μοντέλα είναι πολύ δύσκολο να αξιολογηθούν (τι συνιστά καλύτερη απόκριση; Σε ποιες περιπτώσεις;), οπότε αυτό δεν είναι επιστημονικό, είναι ανεκδοτολογικό".

Η OpenAI έγραψε για την προσέγγιση MOE στην έρευνα του 2022, την οποία συνυπογράφει ο Greg Brockman, ο πρόεδρος της OpenAI, ο οποίος είναι επίσης συνιδρυτής της εταιρείας.

"Με την προσέγγιση Mixture-of-Experts (MoE), μόνο ένα κλάσμα του δικτύου χρησιμοποιείται για τον υπολογισμό της εξόδου για οποιαδήποτε είσοδο. Ένα παράδειγμα προσέγγισης είναι να έχουμε πολλά σύνολα βαρών και το δίκτυο να μπορεί να επιλέξει ποιο σύνολο θα χρησιμοποιήσει μέσω ενός μηχανισμού ελέγχου κατά τη στιγμή της εξαγωγής συμπερασμάτων", έγραψαν ο Brockman και η συνάδελφός του Lilian Weng. "Αυτό επιτρέπει πολλές περισσότερες παραμέτρους χωρίς αυξημένο υπολογιστικό κόστος. Κάθε σύνολο βαρών αναφέρεται ως "εμπειρογνώμονες", με την ελπίδα ότι το δίκτυο θα μάθει να αναθέτει εξειδικευμένους υπολογισμούς και δεξιότητες σε κάθε εμπειρογνώμονα".

Ο Zhou δήλωσε ότι η εκνευριστική πτώση των επιδόσεων του GPT-4 τις τελευταίες εβδομάδες θα μπορούσε να σχετίζεται με αυτή την εκπαίδευση και με το γεγονός ότι η OpenAI έθεσε σε λειτουργία αυτόν τον στόλο μικρότερων εξειδικευμένων μοντέλων GPT-4.

"Όταν οι χρήστες το δοκιμάσουν, θα κάνουμε τόσες πολλές διαφορετικές ερωτήσεις. Δεν θα τα πάει τόσο καλά, αλλά συλλέγει δεδομένα από εμάς και θα βελτιωθεί και θα μάθει", δήλωσε ο Zhou.

Πηγή: The world's most powerful AI model suddenly got 'lazier' and 'dumber.' A radical redesign of OpenAI's GPT-4 could be behind the decline in performance.