Περίληψη άρθρου:
Το ChatGPT του OpenAI έχει προκαλέσει ένα κύμα ενδιαφέροντος και επενδύσεων στην τεχνητή νοημοσύνη. Ο διευθύνων σύμβουλος Sam Altman προειδοποίησε πρόσφατα ότι η ερευνητική στρατηγική που γέννησε το ρομπότ έχει εξαντληθεί και δεν είναι σαφές από πού θα προέλθουν οι μελλοντικές εξελίξεις. Η OpenAI χρησιμοποίησε αλγορίθμους μηχανικής μάθησης και τους κλιμάκωσε σε μέγεθος που δεν είχε φανταστεί προηγουμένως, με κόστος άνω των 100 εκατομμυρίων δολαρίων. Ο Altman υποδηλώνει ότι η πρόοδος δεν θα έρθει από το να γίνουν τα μοντέλα μεγαλύτερα, αλλά από το να γίνουν καλύτερα με άλλους τρόπους. Ειδικοί της τεχνητής νοημοσύνης, επιχειρηματίες της τεχνολογίας και επιστήμονες έχουν ζητήσει εξάμηνη παύση στην ανάπτυξη οτιδήποτε ισχυρότερου από το GPT-4, το οποίο το OpenAI δεν αναπτύσσει επί του παρόντος. Είναι πιθανό ότι το GPT-4 χρησιμοποίησε μια μέθοδο που ονομάζεται ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση για να ενισχύσει τις δυνατότητές του.

Αναλυτικά το άρθρο:
Οι εκπληκτικές δυνατότητες του ChatGPT, του chatbot από την νεοσύστατη εταιρεία OpenAI, έχουν προκαλέσει ένα κύμα νέου ενδιαφέροντος και επενδύσεων στην τεχνητή νοημοσύνη. Αλλά στα τέλη της περασμένης εβδομάδας, ο διευθύνων σύμβουλος της OpenAI προειδοποίησε ότι η ερευνητική στρατηγική που γέννησε το bot έχει εξαντληθεί. Δεν είναι σαφές από πού ακριβώς θα προέλθουν οι μελλοντικές εξελίξεις.

Το OpenAI έχει προσφέρει μια σειρά από εντυπωσιακές προόδους στην τεχνητή νοημοσύνη που λειτουργεί με τη γλώσσα τα τελευταία χρόνια, παίρνοντας υπάρχοντες αλγόριθμους μηχανικής μάθησης και κλιμακώνοντάς τους σε μέγεθος που προηγουμένως δεν είχε φανταστεί κανείς. Το GPT-4, το πιο πρόσφατο από αυτά τα έργα, πιθανότατα εκπαιδεύτηκε χρησιμοποιώντας τρισεκατομμύρια λέξεις κειμένου και πολλές χιλιάδες ισχυρά τσιπ υπολογιστών. Η διαδικασία κόστισε πάνω από 100 εκατομμύρια δολάρια.

Αλλά ο διευθύνων σύμβουλος της εταιρείας, Sam Altman, λέει ότι η περαιτέρω πρόοδος δεν θα προέλθει από τη μεγέθυνση των μοντέλων. "Νομίζω ότι βρισκόμαστε στο τέλος της εποχής όπου θα είναι αυτά τα, σαν, γιγαντιαία, γιγαντιαία μοντέλα", είπε σε ένα ακροατήριο σε μια εκδήλωση που πραγματοποιήθηκε στο ΜΙΤ στα τέλη της περασμένης εβδομάδας. "Θα τα κάνουμε καλύτερα με άλλους τρόπους".

Η δήλωση του Altman υποδηλώνει μια απροσδόκητη τροπή στην κούρσα για την ανάπτυξη και την εφαρμογή νέων αλγορίθμων τεχνητής νοημοσύνης. Από τότε που η OpenAI εγκαινίασε το ChatGPT τον Νοέμβριο, η Microsoft χρησιμοποίησε την υποκείμενη τεχνολογία για να προσθέσει ένα chatbot στη μηχανή αναζήτησης Bing, και η Google εγκαινίασε ένα αντίπαλο chatbot που ονομάζεται Bard. Πολλοί άνθρωποι έχουν σπεύσει να πειραματιστούν με τη χρήση του νέου είδους chatbot για να βοηθήσουν σε εργασιακές ή προσωπικές εργασίες.

Εν τω μεταξύ, πολυάριθμες καλά χρηματοδοτημένες νεοσύστατες επιχειρήσεις, συμπεριλαμβανομένων των Anthropic, AI21, Cohere και Character.AI, ρίχνουν τεράστιους πόρους στην κατασκευή ολοένα και μεγαλύτερων αλγορίθμων σε μια προσπάθεια να φτάσουν την τεχνολογία του OpenAI. Η αρχική έκδοση του ChatGPT βασιζόταν σε μια ελαφρώς αναβαθμισμένη έκδοση του GPT-3, αλλά οι χρήστες μπορούν τώρα να έχουν πρόσβαση και σε μια έκδοση που τροφοδοτείται από το πιο ικανό GPT-4.

Η δήλωση του Altman υποδηλώνει ότι το GPT-4 θα μπορούσε να είναι η τελευταία σημαντική πρόοδος που θα προκύψει από τη στρατηγική της OpenAI να κάνει τα μοντέλα μεγαλύτερα και να τα τροφοδοτεί με περισσότερα δεδομένα. Δεν είπε τι είδους ερευνητικές στρατηγικές ή τεχνικές θα μπορούσαν να πάρουν τη θέση του. Στο έγγραφο που περιγράφει το GPT-4, το OpenAI αναφέρει ότι οι εκτιμήσεις του υποδηλώνουν φθίνουσες αποδόσεις από την αύξηση του μεγέθους των μοντέλων. Ο Altman δήλωσε ότι υπάρχουν επίσης φυσικά όρια στο πόσα κέντρα δεδομένων μπορεί να κατασκευάσει η εταιρεία και πόσο γρήγορα μπορεί να τα κατασκευάσει.

Ο Nick Frosst, συνιδρυτής της Cohere, ο οποίος εργάστηκε προηγουμένως για την τεχνητή νοημοσύνη στην Google, λέει ότι η αίσθηση του Altman ότι η μεγέθυνση δεν θα λειτουργεί επ' αόριστον είναι αληθινή. Πιστεύει, επίσης, ότι η πρόοδος στους μετασχηματιστές, το είδος του μοντέλου μηχανικής μάθησης που βρίσκεται στην καρδιά του GPT-4 και των ανταγωνιστών του, βρίσκεται πέρα από την κλιμάκωση.

"Υπάρχουν πολλοί τρόποι για να γίνουν οι μετασχηματιστές πολύ, πολύ καλύτεροι και πιο χρήσιμοι, και πολλοί από αυτούς δεν περιλαμβάνουν την προσθήκη παραμέτρων στο μοντέλο", λέει. Ο Frosst λέει ότι νέοι σχεδιασμοί μοντέλων τεχνητής νοημοσύνης, ή αρχιτεκτονικές, και περαιτέρω συντονισμός με βάση την ανθρώπινη ανατροφοδότηση είναι πολλά υποσχόμενες κατευθύνσεις που πολλοί ερευνητές ήδη εξερευνούν.

Κάθε έκδοση της επιδραστικής οικογένειας γλωσσικών αλγορίθμων του OpenAI αποτελείται από ένα τεχνητό νευρωνικό δίκτυο, ένα λογισμικό εμπνευσμένο από τον τρόπο με τον οποίο λειτουργούν οι νευρώνες, το οποίο εκπαιδεύεται για να προβλέπει τις λέξεις που θα πρέπει να ακολουθούν μια δεδομένη σειρά κειμένου.
Το πρώτο από αυτά τα γλωσσικά μοντέλα, το GPT-2, ανακοινώθηκε το 2019. Στη μεγαλύτερη μορφή του, είχε 1,5 δισεκατομμύριο παραμέτρους, ένα μέτρο του αριθμού των ρυθμιζόμενων συνδέσεων μεταξύ των ακατέργαστων τεχνητών νευρώνων του.

Εκείνη την εποχή, αυτό ήταν εξαιρετικά μεγάλο σε σύγκριση με προηγούμενα συστήματα, εν μέρει χάρη στη διαπίστωση των ερευνητών του OpenAI ότι η κλιμάκωση έκανε το μοντέλο πιο συνεκτικό. Και η εταιρεία έκανε τον διάδοχο του GPT-2, το GPT-3, που ανακοινώθηκε το 2020, ακόμα μεγαλύτερο, με το επιβλητικό μέγεθος των 175 δισεκατομμυρίων παραμέτρων. Οι ευρείες ικανότητες αυτού του συστήματος να παράγει ποιήματα, μηνύματα ηλεκτρονικού ταχυδρομείου και άλλα κείμενα βοήθησαν να πειστούν άλλες εταιρείες και ερευνητικά ιδρύματα να ωθήσουν τα δικά τους μοντέλα τεχνητής νοημοσύνης σε παρόμοιο και ακόμη μεγαλύτερο μέγεθος.

Μετά το ντεμπούτο του ChatGPT τον Νοέμβριο, οι δημιουργοί μιμίων και οι ειδικοί της τεχνολογίας υπέθεσαν ότι το GPT-4, όταν θα έφτανε, θα ήταν ένα μοντέλο ιλιγγιώδους μεγέθους και πολυπλοκότητας. Ωστόσο, όταν η OpenAI ανακοίνωσε τελικά το νέο μοντέλο τεχνητής νοημοσύνης, η εταιρεία δεν αποκάλυψε πόσο μεγάλο είναι - ίσως επειδή το μέγεθος δεν είναι πλέον το μόνο που έχει σημασία. Στην εκδήλωση του ΜΙΤ, ο Altman ρωτήθηκε αν η εκπαίδευση του GPT-4 κόστισε 100 εκατομμύρια δολάρια- απάντησε: "Είναι περισσότερο από αυτό".

Παρόλο που η OpenAI κρατάει μυστικό το μέγεθος και τις εσωτερικές λειτουργίες του GPT-4, είναι πιθανό ότι μέρος της ευφυΐας του προέρχεται ήδη από το να κοιτάζει πέρα από την απλή κλίμακα. Μια πιθανότητα είναι ότι χρησιμοποίησε μια μέθοδο που ονομάζεται ενισχυτική μάθηση με ανθρώπινη ανατροφοδότηση, η οποία χρησιμοποιήθηκε για την ενίσχυση του ChatGPT. Περιλαμβάνει το να κρίνουν οι άνθρωποι την ποιότητα των απαντήσεων του μοντέλου για να το κατευθύνουν προς την παροχή απαντήσεων που είναι πιο πιθανό να κριθούν ως υψηλής ποιότητας.

Οι αξιοσημείωτες δυνατότητες του GPT-4 έχουν καταπλήξει ορισμένους ειδικούς και έχουν προκαλέσει συζήτηση σχετικά με τη δυνατότητα της τεχνητής νοημοσύνης να μεταμορφώσει την οικονομία, αλλά και να διαδώσει παραπληροφόρηση και να καταργήσει θέσεις εργασίας. Ορισμένοι εμπειρογνώμονες της ΤΝ, επιχειρηματίες της τεχνολογίας, όπως ο Elon Musk, και επιστήμονες έγραψαν πρόσφατα μια ανοιχτή επιστολή με την οποία ζητούν εξάμηνη παύση στην ανάπτυξη οτιδήποτε ισχυρότερου από το GPT-4.

Στο ΜΙΤ την περασμένη εβδομάδα, ο Altman επιβεβαίωσε ότι η εταιρεία του δεν αναπτύσσει επί του παρόντος το GPT-5. "Μια προηγούμενη έκδοση της επιστολής ισχυριζόταν ότι η OpenAI εκπαιδεύει το GPT-5 αυτή τη στιγμή", δήλωσε. "Δεν το κάνουμε, και δεν θα το κάνουμε για κάποιο χρονικό διάστημα".

Πηγή: OpenAI’s CEO Says the Age of Giant AI Models Is Already Over