A mesterséges intelligencia számítástechnikai megosztottsága: A tudósok nem férnek hozzá nagy teljesítményű chipekhez a kutatáshoz

A mesterséges intelligencia számítástechnikai megosztottsága: A tudósok nem férnek hozzá nagy teljesítményű chipekhez a kutatáshoz

Sok egyetemi tudós frusztrált a korlátozott számítási teljesítmény miatt, amely a kutatásaik területén áll rendelkezésére mesterséges intelligencia (AI) elérhető, amint azt világszerte több tucat intézmény akadémikusai körében végzett felmérés mutatja.

Az eredmények 1 Október 30-án az arXiv nyomtatás előtti szerveren közzétett cikkek azt sugallják, hogy az akadémikusok nem férnek hozzá a legfejlettebb számítástechnikai rendszerekhez. Ez befolyásolhatja a képességét nagy nyelvi modellek (LLM) más mesterséges intelligencia kutatási projektek fejlesztésére és végrehajtására.

Különösen az akadémiai kutatók néha nem rendelkeznek azokkal az erőforrásokkal, amelyek hatékonyak lehetnek Grafikus processzorok (GPU-k) vásárolni – olyan számítógépes chipek, amelyeket gyakran használnak mesterséges intelligencia modellek betanítására, amelyek több ezer dollárba kerülhetnek. Ezzel szemben a nagy technológiai cégek kutatói nagyobb költségvetéssel rendelkeznek, és többet költhetnek GPU-kra. „Minden GPU több energiát ad hozzá” – mondja Apoorv Khandelwal, a tanulmány társszerzője, a Rhode Island-i Providence-i Brown Egyetem informatikusa. "Míg ezek az ipari óriások több ezer GPU-val rendelkezhetnek, az akadémikusoknak csak néhány."

„Az akadémiai és az ipari modellek közötti szakadék nagy, de sokkal kisebb is lehet” – mondja Stella Biderman, az EleutherAI, a washingtoni nonprofit mesterségesintelligencia-kutató intézet ügyvezető igazgatója. Az egyenlőtlenség kutatása „nagyon fontos” – teszi hozzá.

Lassú várakozási idők

Az akadémikusok rendelkezésére álló számítási erőforrások felmérésére Khandelwal és munkatársai 35 intézmény 50 tudósát kérdeztek meg. A megkérdezettek 66%-a az 5-ös skálán 3-ra vagy kevesebbre értékelte a számítási teljesítményével való elégedettségét. „Egyáltalán nem elégedett” – mondja Khandelwal.

Az egyetemeken eltérő szabályozások vonatkoznak a GPU-khoz való hozzáférésre. Egyes esetekben központi számítási fürtöt osztanak meg a tanszékek és a hallgatók között, ahol a kutatók GPU-időt kérhetnek. Más intézmények vásárolhatnának olyan gépeket, amelyeket a labor tagjai közvetlenül használhatnak.

Egyes tudósok arról számoltak be, hogy napokat kell várniuk, hogy hozzáférjenek a GPU-khoz, és megjegyezték, hogy a várakozási idők különösen magasak a projekt határideje körül (lásd: „Számítási erőforrás szűk keresztmetszet”). Az eredmények rávilágítanak a hozzáférés globális egyenlőtlenségeire is. Például az egyik válaszadó megemlítette a GPU-k megtalálásának nehézségét a Közel-Keleten. Csak a válaszadók 10%-a mondta azt, hogy hozzáfért NVIDIA H100 GPU-k, hogy hatékony chipekkel rendelkezzenek az AI-kutatáshoz.

Ez az akadály különösen nagy kihívást jelent az előképzés folyamatában – nagy adatkészletek betáplálása az LLM-ekbe. „Olyan drága, hogy a legtöbb akadémikus eszébe sem jut, hogy az előképzésben tudományt végezzen” – mondja Khandelwal. Ő és kollégái úgy vélik, hogy az akadémikusok egyedülálló perspektívát kínálnak az AI-kutatásban, és a számítási teljesítményhez való hozzáférés hiánya korlátozhatja a kutatási területet.

„Igazán fontos, hogy egészséges, versenyképes akadémiai kutatási környezet álljon rendelkezésre a hosszú távú növekedéshez és a hosszú távú technológiai fejlődéshez” – mondja Ellie Pavlick társszerző, aki számítástechnikát és nyelvészetet tanul a Brown Egyetemen. „Ha az iparban kutat, egyértelmű kereskedelmi nyomás nehezedik arra, hogy néha gyorsabban és kevesebbet fedezzen fel.”

Hatékony módszerek

A kutatók azt is megvizsgálták, hogyan tudnák az akadémikusok jobban kihasználni a kisebb teljesítményű számítási erőforrásokat. Kiszámolták, hogy mennyi időre lenne szükség több LLM előképzéséhez alacsony erőforrás-igényű hardverrel – 1 és 8 GPU között. A korlátozott erőforrások ellenére a kutatóknak sikerült sok modellt sikeresen betanítaniuk, bár ez hosszabb időt vett igénybe, és hatékonyabb módszerek alkalmazását követelte meg.

"Valójában hosszabb ideig használhatjuk a meglévő GPU-kat, és így kisimíthatunk néhány különbséget az iparágban meglévők között" - mondja Khandelwal.

„Izgalmas látni, hogy valóban meg lehet tanítani egy nagyobb modellt, mint azt sokan gondolnák, még korlátozott számítási erőforrások mellett is” – mondja Ji-Ung Lee, aki a németországi Saarbrückenben található Saarland Egyetemen tanulmányozza a neuroexplicit modelleket. Hozzáteszi, hogy a jövőbeni munka során a számítási erőforrásokhoz való hozzáféréssel is küzdő kisvállalatok ipari kutatóinak tapasztalatait lehetne vizsgálni. „Nem úgy van, hogy mindenki, akinek korlátlan számítási teljesítményhez fér hozzá, valóban megkapja azt” – mondja.

1. Khandelwal, A. et al. Előnyomtatás az arXiv oldalon: https://doi.org/10.48550/arXiv.2410.23261 (2024).

Referenciák letöltése