NVIDIA Tesla H100 NVL
NVIDIA Tesla H100 NVL
NVIDIA Tesla H100 NVL - это специализированный ускоритель для систем искусственного интеллекта и больших языковых моделей (LLM), основанный на архитектуре Grace Hopper.
Основные характеристики:
-
Память: 94 ГБ HBM3 (использует все 6 тайлов памяти)
-
Интерфейс: PCI Express 5.0 x16
-
Архитектура: GH100 GPU
-
Вычислительные блоки: 16.896 блоков FP32
-
Пропускная способность памяти: 3.94 Тбайт/с
-
NVLink: до 600 Гбайт/с
-
Энергопотребление: до 400 Вт на каждый GPU
Особенности устройства:
-
Состоит из двух печатных плат, на каждой установлен отдельный GH100 GPU
-
Поддерживает установку до 4 ускорителей в один сервер
-
Имеет два независимых GPU, соединенных между собой через NVLink
-
Обеспечивает производительность, эквивалентную двум ускорителям H100 SXM5
Назначение:
-
Обработка больших языковых моделей
-
Искусственный интеллект и машинное обучение
-
Высокопроизводительные вычисления
-
Работа с современными моделями типа GPT-4
Важно отметить, что H100 NVL является гибридным решением между версиями SXM5 и PCI Express, оптимизированным для работы с ИИ-приложениями. Ускоритель особенно эффективен для задач, требующих большой емкости памяти и высокой пропускной способности.
На рынке устройство появилось во второй половине 2023 года, его цена сопоставима с предшественником A100, который стоил около 17 000 евро.
Комментарии
Написать автору