Μια μικρή ομάδα στη Sapient εκπαίδευσε ένα γλωσσικό μοντέλο 1 δισεκατομμυρίου παραμέτρων — το είδος που συνήθως κοστίζει εκατομμύρια — για μόλις 1.500 δολάρια και ολοκλήρωσε την εργασία σε 1,9 ημέρες. Το μοντέλο, που ονομάζεται HRM-Text, σηματοδοτεί αυτό που η εταιρεία αποκαλεί μια σημαντική ανακάλυψη στην οικονομικά αποδοτική ανάπτυξη AI, η οποία θα μπορούσε να ανοίξει την πόρτα για μικρότερους παίκτες και αποκεντρωμένα συστήματα.
Το ορόσημο των 1.500 δολαρίων
Η εκπαίδευση μεγάλων μοντέλων AI συνήθως απαιτεί βαθιά τσέπη. Εταιρείες όπως η OpenAI και η Google ξοδεύουν δεκάδες εκατομμύρια μόνο σε υπολογιστική ισχύ. Η Sapient ισχυρίζεται ότι ανέτρεψε αυτή την τάση σχεδιάζοντας το HRM-Text από την αρχή ώστε να είναι ελαφρύ σε πόρους. Το συνολικό κόστος — 1.500 δολάρια — καλύπτει την υπολογιστική νέφους και τα σχετικά έξοδα για την εκπαίδευση των 1,9 ημερών. Η ομάδα δεν έχει αποκαλύψει τις ακριβείς επιλογές υλικού ή αρχιτεκτονικής, αλλά η τιμή είναι τάξεις μεγέθους φθηνότερη από συγκρίσιμα έργα.
Μειωμένος χρόνος εκπαίδευσης
Το χρονικό διάστημα εκπαίδευσης των 1,9 ημερών είναι επίσης ασυνήθιστα σύντομο. Πολλά μοντέλα με δισεκατομμύρια παραμέτρους χρειάζονται εβδομάδες ή μήνες για να συγκλίνουν. Η προσέγγιση της Sapient φαίνεται να έχει βελτιστοποιήσει τόσο τον αγωγό δεδομένων όσο και τη δομή του μοντέλου για να ελαχιστοποιήσει τον χρόνο επανάληψης. Αν και η εταιρεία δεν έχει δημοσιεύσει ακόμη συγκριτικές μετρήσεις απόδοσης, η ταχύτητα υποδηλώνει μια πιο λιτή και αποδοτική διαδικασία εκπαίδευσης που θα μπορούσε να αναπαραχθεί με μέτριους προϋπολογισμούς.
Συνέπειες για αποκεντρωμένα συστήματα AI
Η Sapient παρουσίασε το επίτευγμα ως μια πιθανή σημαντική στροφή για τα αποκεντρωμένα συστήματα AI — δίκτυα που βασίζονται σε κατανεμημένους συμμετέχοντες αντί για κεντρικά κέντρα δεδομένων. Εάν το κόστος εκπαίδευσης πέσει σε μερικές χιλιάδες δολάρια, περισσότερα άτομα και μικροί οργανισμοί θα μπορούσαν να δημιουργήσουν και να τρέξουν τα δικά τους μοντέλα. Αυτό θα μπορούσε να μειώσει την εξάρτηση από την υποδομή των μεγάλων τεχνολογικών εταιρειών και να ενισχύσει την καινοτομία σε έργα AI που εστιάζουν στην ιδιωτικότητα ή καθοδηγούνται από την κοινότητα. Το ίδιο το μοντέλο HRM-Text είναι ιδιόκτητο, αλλά η Sapient λέει ότι οι τεχνικές που χρησιμοποιήθηκαν θα μπορούσαν να προσαρμοστούν για ανοιχτές προσπάθειες.
Η εταιρεία δεν έχει ανακοινώσει αν θα κυκλοφορήσει το μοντέλο δημόσια ή θα το προσφέρει ως υπηρεσία. Προς το παρόν, η ανακάλυψη αποτελεί μια απόδειξη της ιδέας: ένα μοντέλο με δισεκατομμύρια παραμέτρους που κατασκευάστηκε με εξαιρετικά χαμηλό προϋπολογισμό, σε λιγότερο από δύο ημέρες.
