Разделяне на AI изчисленията: Учените нямат достъп до мощни чипове за своите изследвания

Разделяне на AI изчисленията: Учените нямат достъп до мощни чипове за своите изследвания

Много университетски учени са разочаровани от ограничената изчислителна мощност, с която разполагат за своите изследвания в областта на изкуствен интелект (AI) е налице, както показва проучване сред преподаватели в десетки институции по света.

Резултатите 1, публикувани на 30 октомври на сървъра за предпечатна подготовка arXiv, предполагат, че академичните среди нямат достъп до най-модерните изчислителни системи. Това може да повлияе на способността ви да големи езикови модели (LLM) за разработване и изпълнение на други изследователски проекти за ИИ.

По-специално, академичните изследователи понякога нямат ресурсите, за да бъдат мощни Графични процесори (GPU) за закупуване – компютърни чипове, които обикновено се използват за обучение на AI модели, които могат да струват няколко хиляди долара. За разлика от това изследователите в големите технологични компании имат по-големи бюджети и могат да харчат повече за графични процесори. „Всеки GPU добавя повече мощност“, казва съавторът на изследването Apoorv Khandelwal, компютърен учен в университета Браун в Провидънс, Роуд Айлънд. „Докато тези индустриални гиганти може да имат хиляди графични процесори, академичните среди може да имат само няколко.“

„Разликата между академичните и индустриалните модели е голяма, но може да бъде много по-малка“, казва Стела Бидерман, изпълнителен директор на EleutherAI, изследователски институт за изкуствен интелект с нестопанска цел във Вашингтон. Изследването на това неравенство е „много важно“, добавя тя.

Бавно време на изчакване

За да оценят изчислителните ресурси, достъпни за академиците, Khandelwal и колегите му анкетираха 50 учени от 35 институции. От анкетираните 66% са оценили удовлетворението си от изчислителната си мощ като 3 или по-малко по скала от 5. „Те изобщо не са доволни“, казва Ханделвал.

Университетите имат различни разпоредби за достъп до GPU. Някои може да имат централен изчислителен клъстер, споделен между отдели и студенти, където изследователите могат да поискат GPU време. Други институции могат да закупят машини, които могат да се използват директно от членовете на лабораторията.

Някои учени съобщават, че трябва да чакат с дни, за да получат достъп до GPU, като отбелязват, че времето за изчакване е особено голямо около крайните срокове на проекта (вижте „Тясно място на изчислителните ресурси“). Резултатите също подчертават глобалните неравенства в достъпа. Например, един респондент споменава трудността при намирането на графични процесори в Близкия изток. Само 10% от анкетираните казват, че имат достъп до Графичните процесори H100 на NVIDIA, да има мощни чипове, предназначени за AI изследвания.

Тази бариера прави процеса на предварително обучение – подаване на големи набори от данни в LLMs – особено предизвикателен. „Толкова е скъпо, че повечето академици дори не обмислят да се занимават с наука в предварителната подготовка“, казва Ханделвал. Той и колегите му вярват, че учените предлагат уникална перспектива в изследванията на ИИ и че липсата на достъп до изчислителна мощност може да ограничи изследователската област.

„Наистина е важно да имаме здравословна, конкурентна среда за академични изследвания за дългосрочен растеж и дългосрочно технологично развитие“, казва съавторът Ели Павлик, която учи компютърни науки и лингвистика в университета Браун. „Когато имате изследвания в индустрията, има ясен търговски натиск, който понякога ви изкушава да експлоатирате по-бързо и да изследвате по-малко.“

Ефикасни методи

Изследователите също така проучиха как академиците биха могли да използват по-добре по-малко мощните изчислителни ресурси. Те изчислиха колко време ще е необходимо за предварително обучение на множество LLM с помощта на хардуер с ниски ресурси – между 1 и 8 GPU. Въпреки тези ограничени ресурси, изследователите успяха да обучат успешно много от моделите, въпреки че това отне повече време и изискваше от тях да използват по-ефективни методи.

„Всъщност можем да използваме графичните процесори, които имаме, за по-дълго време и така можем да изгладим някои от разликите между това, което има индустрията“, казва Ханделвал.

„Вълнуващо е да видим, че всъщност можете да обучите по-голям модел, отколкото много хора биха си представили, дори и с ограничени изчислителни ресурси“, казва Джи-Унг Лий, който изучава невроексплицитни модели в университета Саарланд в Саарбрюкен, Германия. Той добавя, че бъдещата работа може да разгледа опита на индустриални изследователи в малки компании, които също се борят с достъпа до изчислителни ресурси. „Не е като всеки, който има достъп до неограничена изчислителна мощност, всъщност да го получава“, казва той.

1. Khandelwal, A. et al. Предпечат в arXiv https://doi.org/10.48550/arXiv.2410.23261 (2024).

Изтегляне на препратки