NVIDIA A100 80Гб - Серверный графический акселератор

NVIDIA A100 80Gb Tensor Core GPU – это флагманский серверный графический ускоритель, созданный на основе новой архитектуры NVIDIA Ampere - которая, в свою очередь, использует тензорные ядра нового поколения. В первую очередь ускоритель предназначен для акселерации задач, связанных с глубинным машинным обучением, работы обученных моделей глубинного машинного обучения (DL) в продуктивном режиме (инференс), высокопроизводительных научных вычислений (HPC) и виртуализированных корпоративных нагрузок широкого спектра. Акселератор гарантирует повышение производительности инференса ИИ до 249 раз в соотношении с вычислениями, производимыми на серверном процессоре. При анализе данных рост производительности по сравнению с процессорными вычислениями оценивается в 83 раза. Подобный рост производительности фиксируется и для других типов нагрузки. Карта выпущена 22 июня 2020 года.

Карта оснащена 6912 потоковыми (CUDA) процессорами и 432 тензорными ядрами. Объем памяти составляет 80 Гб при рекордной пропускной способности памяти 1935 Гбит/сек.

Nvidia A100 поддерживает фреймворки OpenCL и CUDA.

Благодаря технологии structural sparsity — NVIDIA A100 может значительно увеличить производительность при работе алгоритмов ИИ в продуктивном режиме(inference) и машинном обучении (ML), используя разреженность данных в задачах ИИ. Поддержка технологии Sparsity позволяет использовать специальное структурированное распределение матричных данных в нейронных сетях для удвоения пропускной способности. Это специальный метод удаления менее значимых весов сети без значимой потери в общей точности вывода.

 Графический ускоритель Nvidia A100 производится в двух вариантах форм-факторов. Первый традиционный на основе шины PCEe V4.0 для стандартных серверов, второй в формате “SMX” для серверов собственной архитектуры NVIDIA HGX. При использовании подобной архитектуры сервера возможна, одновременная работа 16-и графических процессоров. Процессоры могут быть объедены в единое вычислительное пространство на основе технологии NVIDIA NVSwitch. HPE, Lenovo, NVIDIA и другие вендоры выпускают специализированные сервера соответствующие архитектуре NVIDIA HGX. На базе этих специализированных платформ используя технологии NVIDIA® NVLink®, NVIDIA NVSwitch™,  NVIDIA® Mellanox® InfiniBand® и NVIDIA Magnum IO™ SDK NVIDIA Magnum IO™ производительность ускорителя A100 можно масштабировать в тысячи раз.

Графический ускоритель Nvidia A100, использующий технологию Multi-Instance GPU (MIG), обеспечивает удобную утилизацию инфраструктуры с ускорением на GPU. Технология MIG обеспечивает разделение ускорителя на семь отдельных разделов, которые могут использовать различные приложения.

Для анализа Вашего бизнеса и понимания, как данный ускоритель поможет его развитию, Вы можете обратиться к нашим специалистам на электронную почту. Владея необходимыми знаниями и партнерскими статусами, инженеры помогут Вам воплотить самые сложные идеи и провести реализацию проекта в максимально короткие сроки.

Технология MIG основана на серверной и контейнерной (Kubernetes) виртуализации. MIG обеспечивает возможность предоставления программному продукту необходимые вычислительные мощности с использованием технологии QoS, повышая утилизацию процессора. Дополнительно благодаря технологии обеспечивается доступ к ресурсам для ускоренных вычислений большему количеству пользователей.

С помощью высокопроизводительного интерфейса NVIDIA® NVLink® можно объединить две карты A100 для повышения производительности системы практически в два раза.

Оптимальное решение для обновления систем на базе V100/V100S с тензорными ядрами.