A AMD anunciou uma série de novos produtos hoje em seu evento Data Center and AI Technology Premiere aqui em San Francisco, Califórnia. A empresa finalmente compartilhou mais detalhes sobre seus processadores Instinct MI300A que apresentam núcleos de CPU e GPU empilhados em 3D no mesmo pacote com HBM, e um novo modelo MI300X somente para GPU que traz oito aceleradores em uma plataforma que possui incríveis 1,5 TB de HBM3 memória.
A empresa também fez anúncios sobre seus processadores EPYC Bergamo de 5 nm para aplicativos nativos da nuvem e seus processadores EPYC Genoa-X com até 1,1 GB de cache L3. Todos os três produtos estão disponíveis agora, mas a AMD também tem seus processadores EPYC Sienna para telco e a borda chegando no segundo semestre de 2023.
Combinada com o portfólio de redes e DPUs Alveo e Pensando da AMD, a AMD possui uma pilha completa de produtos voltados para cargas de trabalho de IA, colocando-a em disputa direta com a líder de mercado Nvidia, sua principal concorrente para produtos de aceleração de IA, e a Intel, que também oferece vários -soluções de aceleração em uma ampla gama de produtos.
Este artigo concentra-se nas notícias sobre o MI300, mas adicionaremos links para nosso outro conteúdo em breve. Acabamos de receber as informações da AMD, então este artigo será atualizado à medida que adicionarmos mais detalhes.
AMD Instinct MI300
O Instinct MI300A é uma APU de data center que combina um total de 13 chiplets, muitos deles empilhados em 3D, para criar um pacote de chip único com vinte e quatro núcleos de CPU Zen 4 fundidos com um mecanismo gráfico CDNA 3 e oito pilhas de memória HBM3 totalizando 128 GB. No geral, o chip pesa 146 bilhões de transistores, tornando-o o maior chip que a AMD colocou em produção. As nove matrizes de computação, uma mistura de CPUs e GPUs de 5 nm, são empilhadas em 3D sobre quatro matrizes de base de 6 nm que são interpositores ativos que lidam com memória e tráfego de E/S, entre outras funções. O MI300 instintivo alimentará o supercomputador El Capitan de dois exaflops , que está programado para ser o mais rápido do mundo quando entrar em operação no final deste ano.
Hoje a AMD anunciou uma variante somente de GPU, o MI300X, e apresentou várias demonstrações de seu desempenho. O MI300X somente para GPU é otimizado para modelos de linguagem grande (LLMs) e vem equipado apenas com blocos de GPU CDNA3 emparelhados com 192 GB de memória HBM3.
A volumosa capacidade de memória, espalhada por chips HBM3 de 24 GB, permite que o chip execute LLMs de até 80 bilhões de parâmetros, o que a AMD afirma ser um recorde para uma única GPU. O chip oferece 5,2 TB/s de largura de banda de memória em oito canais e 896 GB/s de largura de banda Infinity Fabric. O MI300X oferece densidade 2,4X HBM do que o Nvidia H100 e largura de banda 1,6X HBM do que o H100, o que significa que a AMD pode executar modelos maiores do que os chips da Nvidia.
O chip é forjado a partir de 12 chiplets diferentes em uma mistura de nós de 5nm (GPU) e 6nm (die I/O), que incluem oito GPUs e vários I/O dies, para um total de 153 bilhões de transistores.
A AMD realizou uma demonstração de um modelo Falcon-40B de 40 bilhões de parâmetros em execução em uma única GPU MI300X, mas nenhuma métrica de desempenho foi fornecida. Em vez disso, o LLM escreveu um poema sobre San Francisco, o local do evento da AMD. A AMD diz que esta é a primeira vez que um modelo tão grande foi executado em uma única GPU.
A AMD também anunciou a plataforma AMD Instinct, que combina oito GPUs MI300X em uma única placa-mãe de servidor com 1,5 TB de memória HBM3 total. Esta plataforma é compatível com OCP, em contraste com as plataformas MGX proprietárias da Nvidia . A AMD diz que esse design de código aberto acelerará a implantação.
MI300A, o modelo CPU+GPU, está sendo testado agora. O MI300X e a plataforma Instinct de 8 GPUs serão testados no terceiro trimestre e lançados no quarto trimestre. Ainda estamos procurando mais detalhes – fique ligado para saber mais nas próximas horas.
