Энергетический голод: как большие языковые модели влияют на экологию

Дата-центры потребляют огромное количество энергии — около 1–1,5% всего мирового потребления. Появление больших языковых моделей (LLM) усложнило задачу — эта область требует примерно в четыре раза больше энергии, чем серверы для облачных приложений.

Большим моделям — большой углеродный след

Успех ChatGPT спровоцировал гонку, в ходе которой техногиганты вложили огромные средства в создание собственных LLM. В ходе исследования Массачусетского университета было определено, что обучение самых популярных ИИ-моделей произвело около 626 000 фунтов CO₂ — что эквивалентно 300 перелётам туда-обратно между Нью-Йорком и Сан-Франциско.

Для обучения GigaChat, по данным SberDevices, потребовалось 1024 GPU — такого количества хватило бы, чтобы четыре месяца снабжать электричеством стадион «Лужники». По данным OpenAI, «с 2012 года объём вычислительной мощности, необходимой для обучения новейших моделей ИИ, удваивается каждые 3,4 месяца».

Варианты решения

Open-source LLM вместо проприетарных моделей. Платформы типа Hugging Face и Cohere избавили многие компании от необходимости вкладывать большие средства в разработку собственных моделей.

Качество vs объём. С развитием open-source моделей растёт число небольших кастомных моделей, созданных для специфических отраслей. Кастомные модели могут быть оптимизированы под конкретные задачи, что позволяет использовать меньше вычислительных ресурсов.

Курс на устойчивое развитие. Google вкладывает средства в технологии охлаждения ЦОДов с помощью машинного обучения. Microsoft нанял директора по ускорению ядерных разработок для питания центров обработки данных.

Основная цель ИИ — сделать нашу жизнь лучше. Человеческий мозг может делать удивительные вещи при небольшом энергопотреблении. Для гармоничного сосуществования машин и людей ответ на вопрос об энергоэффективном ИИ нам ещё предстоит найти.