Περίληψη του άρθρου:

Η Xai Corp. της Elon Musk έχει ολοκληρώσει ένα σύστημα τεχνητής νοημοσύνης που ονομάζεται Colossus, με 100.000 κάρτες γραφικών Nvidia H100, που παρουσιάστηκαν ως το "πιο ισχυρό εκπαιδευτικό σύστημα AI στον κόσμο". Ξεκίνησε για να ανταγωνιστεί με το OpenAI, το XAI σχεδιάζει να αναπτύξει γλωσσικά μοντέλα που ονομάζεται Grok και στοχεύει να διπλασιάσει σύντομα την ικανότητα του Colossus σε 200.000 μάρκες. Η ανώτερη απόδοση του H100 αποδίδεται στη μονάδα του κινητήρα μετασχηματιστή, η οποία ενισχύει την εκτέλεση του μοντέλου AI. Ο Xai ελπίζει να απελευθερώσει έναν διάδοχο στο GROK-2 μέχρι το τέλος του έτους, ενώ ανακατεύει πόρους από την Tesla για αυτή την πρωτοβουλία.

Κύρια σημεία του άρθρου:

• Η Xai Corp., που ιδρύθηκε από τον Elon Musk, έχει συγκεντρώσει ένα σύστημα AI που ονομάζεται Colossus, χρησιμοποιώντας 100.000 κάρτες γραφικών.
• Ο Musk ανακοίνωσε την ολοκλήρωση του Colossus σε μια θέση στο X, δηλώνοντας ότι ήταν λειτουργική κατά τη διάρκεια του Σαββατοκύριακου.
• Το XAI ιδρύθηκε πέρυσι για να ανταγωνιστεί το OpenAI, το οποίο ο Musk ασκείται επί του παρόντος για εικαζόμενη παραβίαση της σύμβασης.
• Η εταιρεία αναπτύσσει μεγάλα γλωσσικά μοντέλα που ονομάζεται Grok και αύξησε τα 6 δισεκατομμύρια δολάρια τον Μάιο με αποτίμηση 24 δισεκατομμυρίων δολαρίων για τις προσπάθειες ανάπτυξης AI.
• Ο Musk ισχυρίζεται ότι ο Colossus είναι το "πιο ισχυρό σύστημα κατάρτισης AI στον κόσμο", ενδεχομένως ξεπερνώντας τον υπερυπολογιστή Aurora του Υπουργείου Ενέργειας.
• Ο Colossus είναι εξοπλισμένος με κάρτες γραφικών NVIDIA H100, γνωστές για την υψηλή απόδοση τους στην επεξεργασία AI, ικανή να τρέχει γλωσσικά μοντέλα 30 φορές ταχύτερα από τις προηγούμενες γενιές.

Αναλυτικά το άρθρο:

Η xAI Corp. του Elon Musk ολοκλήρωσε τη συναρμολόγηση ενός συστήματος εκπαίδευσης τεχνητής νοημοσύνης που διαθέτει 100.000 κάρτες γραφικών.
Ο Μασκ ανακοίνωσε το ορόσημο σε μια ανάρτηση της Δευτέρας στο X. Το σύστημα, το οποίο η xAI ονομάζει Colossus, τέθηκε σε λειτουργία το Σαββατοκύριακο.

Ο διευθύνων σύμβουλος ξεκίνησε την xAI πέρυσι για να ανταγωνιστεί την OpenAI, την οποία μηνύει σήμερα για υποτιθέμενη παραβίαση σύμβασης. Η νεοσύστατη επιχείρηση αναπτύσσει μια σειρά μεγάλων γλωσσικών μοντέλων που ονομάζονται Grok. Τον Μάιο, η xAI άντλησε 6 δισεκατομμύρια δολάρια σε αποτίμηση 24 δισεκατομμυρίων δολαρίων για να χρηματοδοτήσει τις προσπάθειες ανάπτυξης τεχνητής νοημοσύνης.

Στην ανάρτηση του X αυτή την εβδομάδα, ο Musk περιέγραψε το πρόσφατα εγκαινιασμένο Colossus ως το «πιο ισχυρό σύστημα εκπαίδευσης AI στον κόσμο». Αυτό υποδηλώνει ότι η συστάδα είναι ταχύτερη από το σύστημα Aurora του Υπουργείου Ενέργειας των ΗΠΑ, το οποίο κατατάσσεται ως ο ταχύτερος υπερυπολογιστής AI στον κόσμο. Σε μια δοκιμή αναφοράς τον Μάιο, το Aurora έφτασε σε μέγιστη ταχύτητα 10,6 exaflops με ενεργό το 87% του υλικού του.

Ο Musk ανέφερε λεπτομερώς ότι ο Colossus είναι εξοπλισμένος με 100.000 κάρτες γραφικών H100 της Nvidia. Ο H100 έκανε το ντεμπούτο του το 2022 και κατατάχθηκε ως ο ισχυρότερος επεξεργαστής τεχνητής νοημοσύνης της κατασκευάστριας εταιρείας τσιπ για περισσότερο από ένα χρόνο. Μπορεί να εκτελέσει γλωσσικά μοντέλα έως και 30 φορές ταχύτερα από τις GPU προηγούμενης γενιάς της Nvidia.

Ένας παράγοντας που συμβάλλει στην απόδοση του H100 είναι η λεγόμενη μονάδα Transformer Engine. Πρόκειται για ένα σύνολο κυκλωμάτων βελτιστοποιημένων για την εκτέλεση μοντέλων AI που βασίζονται στην αρχιτεκτονική νευρωνικών δικτύων Transformer. Η αρχιτεκτονική αυτή αποτελεί τη βάση του GPT-4o, του Llama 3.1 405B της Meta Platforms Inc. και πολλών άλλων πρωτοποριακών LLM.

Ο Musk ανέφερε λεπτομερώς ότι η xAI σχεδιάζει να διπλασιάσει τον αριθμό των τσιπ του Colossus σε 200.000 μέσα σε λίγους μήνες. Είπε ότι 50.000 από τους νέους επεξεργαστές θα είναι H200. Ο H200 είναι μια αναβαθμισμένη, σημαντικά ταχύτερη έκδοση του H100 που παρουσίασε η Nvidia τον περασμένο Νοέμβριο.

Τα μοντέλα τεχνητής νοημοσύνης ανακατεύουν πληροφορίες μεταξύ των λογικών κυκλωμάτων του τσιπ στο οποίο εκτελούνται και της μνήμης του συχνότερα από πολλούς άλλους φόρτους εργασίας. Ως αποτέλεσμα, η επιτάχυνση της μετακίνησης των δεδομένων μεταξύ της μνήμης και των λογικών μονάδων μπορεί να ενισχύσει τις επιδόσεις των μοντέλων AI. Ο H200 της Nvidia πραγματοποιεί τέτοιες μεταφορές δεδομένων σημαντικά ταχύτερα από τον H100.

Το πλεονέκτημα ταχύτητας του H200 είναι αποτέλεσμα δύο αρχιτεκτονικών αναβαθμίσεων. Πρώτον, η Nvidia αντικατέστησε τη μνήμη HBM3 του H100 με έναν νεότερο τύπο RAM που ονομάζεται HBM3e και διευκολύνει τις ταχύτερες μεταφορές δεδομένων από και προς τα λογικά κυκλώματα του τσιπ. Δεύτερον, η εταιρεία σχεδόν διπλασίασε τη χωρητικότητα της ενσωματωμένης μνήμης στα 141 gigabytes, γεγονός που επιτρέπει στον H200 να διατηρεί περισσότερα δεδομένα ενός μοντέλου AI κοντά στα λογικά κυκλώματα.

Το Grok-2, η ναυαρχίδα LLM της xAI, εκπαιδεύτηκε σε 15.000 GPU. Τα 100.000 τσιπ του Colossus θα μπορούσαν ενδεχομένως να διευκολύνουν την ανάπτυξη γλωσσικών μοντέλων με σημαντικά καλύτερες δυνατότητες. Η εταιρεία φέρεται να ελπίζει ότι θα κυκλοφορήσει τον διάδοχο του Grok-2 μέχρι το τέλος του έτους.

Ορισμένοι από τους διακομιστές του Colossus ενδέχεται να τροφοδοτούνται από τσιπ που προορίζονταν αρχικά για την Tesla Inc. Τον Ιανουάριο, το CNBC ανέφερε ότι ο Musk είχε ζητήσει από την Nvidia να ανακατευθύνει 12.000 H100 αξίας άνω των 500 εκατομμυρίων δολαρίων από την αυτοκινητοβιομηχανία σε xAI και AI. Τον ίδιο μήνα, ο Musk εκτίμησε ότι η Tesla θα ξόδευε μεταξύ 3 και 4 δισεκατομμυρίων δολαρίων σε υλικό της Nvidia μέχρι το τέλος του έτους.

Πηγή: Elon Musk’s xAI launches ‘Colossus’ AI training system with 100,000 Nvidia chips