Χάσμα υπολογιστών AI: Οι επιστήμονες δεν έχουν πρόσβαση σε ισχυρά τσιπ για την έρευνά τους

Χάσμα υπολογιστών AI: Οι επιστήμονες δεν έχουν πρόσβαση σε ισχυρά τσιπ για την έρευνά τους

Πολλοί επιστήμονες πανεπιστημίου είναι απογοητευμένοι από την περιορισμένη υπολογιστική ισχύ που έχουν στη διάθεσή τους για την έρευνά τους στον τομέα της τεχνητή νοημοσύνη (AI) είναι διαθέσιμο, όπως δείχνει μια έρευνα ακαδημαϊκών σε δεκάδες ιδρύματα σε όλο τον κόσμο.

Τα αποτελέσματα 1, που δημοσιεύτηκε στις 30 Οκτωβρίου στον διακομιστή προεκτύπωσης arXiv, υποδηλώνει ότι οι ακαδημαϊκοί δεν έχουν πρόσβαση στα πιο προηγμένα υπολογιστικά συστήματα. Αυτό θα μπορούσε να επηρεάσει την ικανότητά σας να μεγάλα γλωσσικά μοντέλα (LLM) να αναπτύξει και να πραγματοποιήσει άλλα ερευνητικά έργα τεχνητής νοημοσύνης.

Ειδικότερα, οι ακαδημαϊκοί ερευνητές μερικές φορές δεν έχουν τους πόρους για να είναι ισχυροί Επεξεργαστές γραφικών (GPU) για αγορά – τσιπ υπολογιστών που χρησιμοποιούνται συνήθως για την εκπαίδευση μοντέλων τεχνητής νοημοσύνης που μπορεί να κοστίζουν αρκετές χιλιάδες δολάρια. Αντίθετα, οι ερευνητές σε μεγάλες εταιρείες τεχνολογίας έχουν μεγαλύτερους προϋπολογισμούς και μπορούν να ξοδέψουν περισσότερα σε GPU. «Κάθε GPU προσθέτει περισσότερη ισχύ», λέει ο συν-συγγραφέας της μελέτης Apoorv Khandelwal, επιστήμονας υπολογιστών στο Πανεπιστήμιο Brown στο Providence του Ρόουντ Άιλαντ. «Ενώ αυτοί οι γίγαντες του κλάδου μπορεί να έχουν χιλιάδες GPU, οι ακαδημαϊκοί μπορεί να έχουν μόνο λίγες».

«Το χάσμα μεταξύ ακαδημαϊκών και βιομηχανικών μοντέλων είναι μεγάλο, αλλά θα μπορούσε να είναι πολύ μικρότερο», λέει η Stella Biderman, εκτελεστική διευθύντρια του EleutherAI, ενός μη κερδοσκοπικού ερευνητικού ινστιτούτου τεχνητής νοημοσύνης στην Ουάσιγκτον. Η έρευνα για αυτήν την ανισότητα είναι «πολύ σημαντική», προσθέτει.

Αργοί χρόνοι αναμονής

Για να αξιολογήσουν τους υπολογιστικούς πόρους που είναι διαθέσιμοι στους ακαδημαϊκούς, ο Khandelwal και οι συνεργάτες του ερεύνησαν 50 επιστήμονες από 35 ιδρύματα. Από τους ερωτηθέντες, το 66% βαθμολόγησε την ικανοποίησή του με την υπολογιστική του ισχύ ως 3 ή λιγότερο σε μια κλίμακα του 5. «Δεν είναι καθόλου ικανοποιημένοι», λέει ο Khandelwal.

Τα πανεπιστήμια έχουν διαφορετικούς κανονισμούς για την πρόσβαση σε GPU. Ορισμένοι μπορεί να έχουν ένα κεντρικό υπολογιστικό σύμπλεγμα κοινόχρηστο μεταξύ τμημάτων και φοιτητών, όπου οι ερευνητές μπορούν να ζητήσουν χρόνο GPU. Άλλα ιδρύματα θα μπορούσαν να αγοράσουν μηχανήματα που μπορούν να χρησιμοποιηθούν απευθείας από τα μέλη του εργαστηρίου.

Ορισμένοι επιστήμονες ανέφεραν ότι έπρεπε να περιμένουν μέρες για να αποκτήσουν πρόσβαση στις GPU, σημειώνοντας ότι οι χρόνοι αναμονής ήταν ιδιαίτερα υψηλοί γύρω από τις προθεσμίες του έργου (βλ. «Υπολογισμός Συμφόρησης Πόρων»). Τα αποτελέσματα υπογραμμίζουν επίσης παγκόσμιες ανισότητες στην πρόσβαση. Για παράδειγμα, ένας ερωτώμενος ανέφερε τη δυσκολία εύρεσης GPU στη Μέση Ανατολή. Μόνο το 10% των ερωτηθέντων δήλωσε ότι είχε πρόσβαση Οι GPU H100 της NVIDIA, για να έχετε ισχυρά τσιπ σχεδιασμένα για έρευνα τεχνητής νοημοσύνης.

Αυτό το εμπόδιο καθιστά τη διαδικασία της προεκπαίδευσης - τροφοδοσία μεγάλων συνόλων δεδομένων σε LLMs - ιδιαίτερα προκλητική. «Είναι τόσο ακριβό που οι περισσότεροι ακαδημαϊκοί δεν σκέφτονται καν να ασχοληθούν με την επιστήμη κατά την προεκπαίδευση», λέει ο Khandelwal. Αυτός και οι συνάδελφοί του πιστεύουν ότι οι ακαδημαϊκοί προσφέρουν μια μοναδική προοπτική στην έρευνα της τεχνητής νοημοσύνης και ότι η έλλειψη πρόσβασης στην υπολογιστική ισχύ θα μπορούσε να περιορίσει το ερευνητικό πεδίο.

«Είναι πολύ σημαντικό να έχουμε ένα υγιές, ανταγωνιστικό ακαδημαϊκό ερευνητικό περιβάλλον για μακροπρόθεσμη ανάπτυξη και μακροπρόθεσμη τεχνολογική ανάπτυξη», λέει η συν-συγγραφέας Ellie Pavlick, η οποία σπουδάζει επιστήμη υπολογιστών και γλωσσολογία στο Πανεπιστήμιο Brown. «Όταν έχεις έρευνα στη βιομηχανία, υπάρχουν σαφείς εμπορικές πιέσεις που μερικές φορές σε βάζουν στον πειρασμό να εκμεταλλευτείς γρηγορότερα και να εξερευνήσεις λιγότερο».

Αποτελεσματικές μέθοδοι

Οι ερευνητές εξέτασαν επίσης πώς οι ακαδημαϊκοί θα μπορούσαν να κάνουν καλύτερη χρήση λιγότερο ισχυρών υπολογιστικών πόρων. Υπολόγισαν πόσο χρόνο θα χρειαζόταν για την προεκπαίδευση πολλαπλών LLM χρησιμοποιώντας υλικό χαμηλών πόρων – μεταξύ 1 και 8 GPU. Παρά τους περιορισμένους αυτούς πόρους, οι ερευνητές κατάφεραν να εκπαιδεύσουν με επιτυχία πολλά από τα μοντέλα, αν και χρειάστηκε περισσότερος χρόνος και απαιτήθηκε από αυτούς να χρησιμοποιήσουν πιο αποτελεσματικές μεθόδους.

«Μπορούμε πραγματικά να χρησιμοποιήσουμε τις GPU που έχουμε για μεγαλύτερο χρονικό διάστημα και έτσι μπορούμε να εξομαλύνουμε ορισμένες από τις διαφορές μεταξύ αυτού που έχει ο κλάδος», λέει ο Khandelwal.

«Είναι συναρπαστικό να βλέπεις ότι μπορείς πραγματικά να εκπαιδεύσεις ένα μεγαλύτερο μοντέλο από ό,τι θα φαντάζονταν πολλοί άνθρωποι, ακόμη και με περιορισμένους υπολογιστικούς πόρους», λέει ο Ji-Ung Lee, ο οποίος μελετά νευροεξρητά μοντέλα στο Πανεπιστήμιο Saarland στο Saarbrücken της Γερμανίας. Προσθέτει ότι η μελλοντική εργασία θα μπορούσε να εξετάσει τις εμπειρίες βιομηχανικών ερευνητών σε μικρές εταιρείες που επίσης δυσκολεύονται με την πρόσβαση σε υπολογιστικούς πόρους. «Δεν είναι σαν να την αποκτούν όλοι όσοι έχουν πρόσβαση σε απεριόριστη υπολογιστική ισχύ», λέει.

1. Khandelwal, Α. et al. Προεκτύπωση στο arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Λήψη παραπομπών