Περίληψη άρθρου:
Η Databricks κυκλοφόρησε το μεγάλο γλωσσικό μοντέλο Dolly (DLL) ως έργο τεχνητής νοημοσύνης ανοικτού κώδικα. Αυτό το μοντέλο είναι ένας κλώνος του δημοφιλούς Open Source GPT Chat και βασίζεται στο μοντέλο ανοικτού κώδικα που δημιουργήθηκε από την EleutherAI και στο μοντέλο Alpaca του Πανεπιστημίου του Στάνφορντ. Το Dolly έχει σχεδιαστεί για να είναι πιο προσιτό και να εκδημοκρατίσει την τεχνητή νοημοσύνη, επιτρέποντας σε οποιονδήποτε να δημιουργήσει ένα χρήσιμο μεγάλο γλωσσικό μοντέλο με ένα μικρότερο αλλά υψηλής ποιότητας σύνολο δεδομένων. Λέγεται ότι ξεπερνά πολλά από τα κορυφαία γλωσσικά μοντέλα παρά το γεγονός ότι είναι μικρότερο και μπορεί να εκπαιδευτεί σε 30 λεπτά σε ένα μηχάνημα. Το έργο αυτό αποτελεί μέρος ενός αυξανόμενου κινήματος ΑΙ ανοιχτού κώδικα που επιδιώκει να προσφέρει μεγαλύτερη πρόσβαση στην τεχνολογία, ώστε να μην μονοπωλείται και να μην ελέγχεται από μεγάλες εταιρείες.

Αναλυτικά το άρθρο:
Το μεγάλο γλωσσικό μοντέλο Dolly της Databricks είναι ένας κλώνος του δημοφιλούς μοντέλου OpenAI GPT-3, το οποίο είναι ένα σύστημα επεξεργασίας φυσικής γλώσσας (NLP). Έχει σχεδιαστεί για να βοηθήσει τους προγραμματιστές να δημιουργήσουν εφαρμογές με τεχνητή νοημοσύνη που μπορούν να κατανοούν και να ανταποκρίνονται στη φυσική γλώσσα.

Το μοντέλο Dolly είναι ανοιχτού κώδικα και μπορεί να χρησιμοποιηθεί για τη δημιουργία chatbots, συστημάτων απάντησης ερωτήσεων και άλλων εφαρμογών που βασίζονται σε NLP. Έχει επίσης σχεδιαστεί για να είναι πιο προσιτό και πιο εύκολο στη χρήση από το GPT-3, καθιστώντας το μια εξαιρετική επιλογή για προγραμματιστές που μόλις ξεκινούν με την τεχνητή νοημοσύνη. Το Dolly LLM είναι ένα ισχυρό εργαλείο που μπορεί να βοηθήσει τους προγραμματιστές να δημιουργήσουν πιο εξελιγμένες εφαρμογές AI.

Η Dolly δημιουργήθηκε από το μη κερδοσκοπικό ερευνητικό ινστιτούτο EleutherAI και το μοντέλο Alpaca του Πανεπιστημίου του Στάνφορντ, το οποίο δημιουργήθηκε από το μοντέλο ανοικτού κώδικα LLaMA με 65 δισεκατομμύρια παραμέτρους που δημιουργήθηκε από την Meta. Το LLaMA είναι ένα γλωσσικό μοντέλο που εκπαιδεύεται σε δημόσια διαθέσιμα δεδομένα και μπορεί να ξεπεράσει πολλά από τα κορυφαία γλωσσικά μοντέλα.

Η ερευνητική εργασία Self-Instruct περιγράφει έναν τρόπο για τη δημιουργία υψηλής ποιότητας δεδομένων εκπαίδευσης αυτοπαραγόμενων ερωτήσεων και απαντήσεων που είναι καλύτερα από τα περιορισμένα δημόσια δεδομένα. Το Dolly αποδεικνύει ότι ένα χρήσιμο μεγάλο γλωσσικό μοντέλο μπορεί να δημιουργηθεί με ένα μικρότερο αλλά υψηλής ποιότητας σύνολο δεδομένων, το οποίο αποτελεί σημαντική ανακάλυψη στον τομέα της επεξεργασίας φυσικής γλώσσας. Αυτό θα μπορούσε να οδηγήσει σε πιο αποδοτικά και αποτελεσματικά γλωσσικά μοντέλα στο μέλλον.

Το Dolly λειτουργεί παίρνοντας ένα υπάρχον μοντέλο ανοικτού κώδικα 6 δισεκατομμυρίων παραμέτρων από την EleutherAI και τροποποιώντας το ελαφρώς για να εκμαιεύσει οδηγίες που ακολουθούν δυνατότητες όπως brainstorming και παραγωγή κειμένου που δεν υπάρχουν στο αρχικό μοντέλο, χρησιμοποιώντας δεδομένα από το Alpaca. Είναι δυνατόν να δοθεί σε ένα παλιό μοντέλο ανοικτού κώδικα μεγάλου γλωσσικού δυναμικού (LLM) μαγική ικανότητα παρακολούθησης οδηγιών όπως το ChatGPT, εκπαιδεύοντάς το σε 30 λεπτά σε ένα μηχάνημα, χρησιμοποιώντας δεδομένα εκπαίδευσης υψηλής ποιότητας.

Παραδόξως, η παρακολούθηση οδηγιών δεν φαίνεται να απαιτεί τα πιο πρόσφατα ή τα μεγαλύτερα μοντέλα, καθώς το μοντέλο που χρησιμοποιήθηκε έχει μόνο 6 δισεκατομμύρια παραμέτρους, σε σύγκριση με 175 δισεκατομμύρια για το GPT-3. Το Databricks Open Source AI συμβάλλει στον εκδημοκρατισμό της τεχνητής νοημοσύνης, διευκολύνοντας τους προγραμματιστές να δημιουργούν και να χρησιμοποιούν μοντέλα τεχνητής νοημοσύνης.

Πηγή: New Open Source ChatGPT Clone – Called Dolly