AI andmetöötluse lõhe: teadlastel puudub uurimistöö jaoks juurdepääs võimsatele kiipidele

AI andmetöötluse lõhe: teadlastel puudub uurimistöö jaoks juurdepääs võimsatele kiipidele

Paljud ülikooliteadlased on pettunud piiratud arvutusvõimsuse pärast, mis neil on nende valdkonna uurimistööks tehisintellekt (AI) on saadaval, nagu näitab kümnete asutuste akadeemikute küsitlus kogu maailmas.

Tulemused 1 30. oktoobril trükieelses serveris arXiv avaldatud, viitavad sellele, et teadlastel puudub juurdepääs kõige arenenumatele arvutisüsteemidele. See võib mõjutada teie võimet suured keelemudelid (LLM) arendada ja viia läbi teisi tehisintellekti uurimisprojekte.

Eelkõige pole akadeemilistel teadlastel mõnikord ressursse, et olla võimsad Graafikaprotsessorid (GPU-d) osta – arvutikiibid, mida tavaliselt kasutatakse AI mudelite koolitamiseks ja mis võivad maksta mitu tuhat dollarit. Seevastu suurte tehnoloogiaettevõtete teadlastel on suurem eelarve ja nad saavad kulutada rohkem GPU-dele. "Iga GPU lisab rohkem võimsust," ütleb uuringu kaasautor Apoorv Khandelwal, Rhode Islandi Providence'i Browni ülikooli arvutiteadlane. "Kuigi nendel tööstushiiglastel võib olla tuhandeid GPU-sid, võib teadlastel olla vaid paar."

"Lõhe akadeemiliste ja tööstuslike mudelite vahel on suur, kuid võib olla palju väiksem," ütleb Washingtonis asuva mittetulundusliku AI uurimisinstituudi EleutherAI tegevdirektor Stella Biderman. Ta lisab, et selle ebavõrdsuse uurimine on "väga oluline".

Aeglased ooteajad

Teadlastele saadaolevate arvutusressursside hindamiseks küsitlesid Khandelwal ja tema kolleegid 50 teadlast 35 institutsioonist. 66% küsitletutest hindas oma arvutusvõimsusega rahulolu 5-ga skaalal 3 või vähem. „Nad ei ole üldse rahul,” ütleb Khandelwal.

Ülikoolidel on GPU-dele juurdepääsu kohta erinevad eeskirjad. Mõnel võib olla osakondade ja üliõpilaste vahel jagatud keskne arvutusklaster, kus teadlased saavad taotleda GPU aega. Teised asutused võiksid osta masinaid, mida saavad laboriliikmed otse kasutada.

Mõned teadlased teatasid, et GPU-dele juurdepääsu saamiseks pidid ootama päevi, märkides, et ooteajad olid projekti tähtaegade ajal eriti pikad (vt „Arvutamisressursside kitsaskoht”). Tulemused toovad esile ka ülemaailmse ebavõrdsuse juurdepääsus. Näiteks mainis üks vastaja, et Lähis-Idast on keeruline leida GPU-sid. Vaid 10% vastanutest ütles, et neil on juurdepääs NVIDIA H100 GPU-d, millel on võimsad kiibid, mis on loodud AI-uuringute jaoks.

See barjäär muudab eelkoolituse – suurte andmekogumite sisestamise LLM-idesse – eriti keeruliseks. "See on nii kallis, et enamik akadeemikuid ei kaalu isegi eelkoolituses teaduse tegemist," ütleb Khandelwal. Ta ja tema kolleegid usuvad, et akadeemikud pakuvad AI-uuringutes ainulaadset vaatenurka ja arvutusvõimsusele juurdepääsu puudumine võib uurimisvaldkonda piirata.

"Pikaajaliseks kasvuks ja pikaajaliseks tehnoloogiliseks arenguks on lihtsalt väga oluline omada tervislikku ja konkurentsivõimelist akadeemilist uurimiskeskkonda," ütleb kaasautor Ellie Pavlick, kes õpib Browni ülikoolis arvutiteadust ja lingvistikat. "Kui teil on tööstuses teadusuuringuid, on ilmne kaubanduslik surve, mis mõnikord ahvatleb teid kiiremini ära kasutama ja vähem uurima."

Tõhusad meetodid

Teadlased uurisid ka seda, kuidas akadeemikud saaksid vähem võimsaid arvutusressursse paremini kasutada. Nad arvutasid välja, kui palju aega kulub mitme LLM-i eelkoolitamiseks, kasutades vähese ressursiga riistvara – 1–8 GPU-d. Vaatamata nendele piiratud ressurssidele õnnestus teadlastel paljusid mudeleid edukalt koolitada, kuigi see võttis kauem aega ja nõudis tõhusamate meetodite kasutamist.

"Saame tegelikult kasutada olemasolevaid GPU-sid kauem ja nii saame tasandada mõningaid erinevusi tööstuse vahel, " ütleb Khandelwal.

“It's exciting to see that you can actually train a larger model than many people would imagine, even with limited computing resources,” says Ji-Ung Lee, who studies neuroexplicit models at Saarland University in Saarbrücken, Germany. He adds that future work could look at the experiences of industrial researchers at small companies who also struggle with access to computing resources. "See ei ole nii, et kõik, kellel on juurdepääs piiramatule arvutusvõimsusele, seda tegelikult saavad," ütleb ta.

1. Khandelwal, A. et al. Eeltrükk aadressil arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Laadige alla viited