Как Google Cloud ускоряет ИИ
Антон Шилов из Tomshardware поделился новостью, что Google Cloud представила новые виртуальные машины A4X, созданные на базе систем Nvidia GB200 NVL72. Эти машины оснащены 72 графическими процессорами B200 и 36 процессорами Grace, что делает их мощным инструментом для решения масштабных задач в области искусственного интеллекта. A4X ориентированы на работу с большими языковыми моделями, сценариями, требующими высокой параллельной обработки, и задачами с длинными контекстными окнами. Для менее ресурсоемких задач Google также предлагает виртуальные машины A4, предназначенные для общего обучения и разработки ИИ.
Технические характеристики
Основой A4X являются системы NVL72 от Nvidia, которые объединяют:
- 72 GPU B200;
- 36 процессоров Grace с 72 ядрами каждый (всего 2596 ядер на базе архитектуры Armv9 Neoverse V2).
Эти компоненты связаны через технологию NVLink, что позволяет всем 72 GPU совместно использовать память. Это значительно повышает скорость обработки данных и точность выводов (инференса). Кроме того, система поддерживает одновременное выполнение множества запросов, что делает её подходящей для многомодальных ИИ-приложений.
Производительность
По сравнению с предыдущими моделями A3, которые использовали GPU H100, A4X демонстрируют в четыре раза более высокую эффективность обучения. Каждая система GB200 NVL72 способна обеспечивать:
- Более 1 экзафлопса вычислительной мощности;
- До 1440 петафлопсов для операций FP8/INT8/FP6.
Это делает A4X идеальными для обучения моделей и выполнения инференса в условиях высокой нагрузки.
Сетевые возможности
Для обеспечения высокой скорости и низкой задержки в A4X используются сетевые адаптеры Titanium ML на базе Nvidia ConnectX-7 NIC. Они поддерживают пропускную способность до 28,8 терабит в секунду (72 × 400 Гбит/с) для обмена данными между GPU с использованием технологии RoCE. Сеть Jupiter, разработанная Google, позволяет масштабировать системы до десятков тысяч GPU Blackwell, создавая кластеры без узких мест.
Интеграция и управление
Виртуальные машины A4X поддерживают интеграцию с Google Kubernetes Engine (GKE), что позволяет развертывать кластеры до 65 000 узлов. Google также внедрила передовые методы совместного использования ресурсов и конвейерной обработки для максимальной загрузки GPU.
A4X легко интегрируются с другими сервисами Google Cloud:
- Cloud Storage FUSE увеличивает пропускную способность данных для обучения в 2,9 раза;
- Hyperdisk ML ускоряет загрузку моделей в 11,9 раза.
Заключение
Google Cloud теперь предлагает два типа виртуальных машин:
- A4X — для крупномасштабных ИИ-задач, таких как обучение больших языковых моделей и работа с высокими нагрузками;
- A4 — для общего обучения и тонкой настройки моделей.
Стоимость новых виртуальных машин пока не раскрывается.
