AlexNet
A AlexNet é uma arquitetura de rede neural convolucional desenvolvida para tarefas de classificação de imagens, alcançando destaque notável por meio do seu desempenho no ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Ela classifica imagens em 1.000 categorias distintas de objetos e é considerada a primeira aplicação amplamente reconhecida de redes convolucionais profundas no reconhecimento visual em larga escala.
A AlexNet contém oito camadas: as cinco primeiras são camadas convolucionais, algumas delas seguidas por camadas de agrupamento máximo (max-pooling), e as três últimas são camadas totalmente conectadas. A rede, exceto a última camada, é dividida em duas cópias, cada uma executada numa GPU, porque a rede não cabia na VRAM de uma única GPU Nvidia GTX 580 de 3GB.: Toda a estrutura pode ser escrita como: (CONV → RN → MP)2 → (CONV3 → MP) → (FC → DO)2 → Linear → softmax Notavelmente, as camadas convolucionais 3, 4 e 5 foram conectadas umas às outras sem qualquer agrupamento (pooling) ou normalização. Utilizou-se a função de ativação ReLU não saturante, que obteve um treinamento melhor do que a tanh e a sigmoide.
O conjunto de treinamento do ImageNet continha 1,2 milhão de imagens. O modelo foi treinado por 90 épocas ao longo de um período de cinco a seis dias usando duas GPUs Nvidia GTX 580 (3GB cada). Estas GPUs têm um desempenho teórico de 1,581 TFLOPS em float32 e custavam US$ 500 no lançamento. Cada passagem à frente (forward pass) da AlexNet exigia aproximadamente 1,43 GFLOPs. Com base nestes valores, as duas GPUs juntas eram teoricamente capazes de realizar mais de 2.200 passagens à frente por segundo sob condições ideais. As imagens do conjunto de dados foram armazenadas no formato JPEG. Elas ocupavam 27 GB de disco. A rede neural ocupava 2 GB de RAM em cada GPU, e cerca de 5 GB de RAM do sistema durante o treinamento. As GPUs eram responsáveis pelo treinamento, enquanto as CPUs eram responsáveis por carregar as imagens do disco e pelo aumento de dados (data augmentation) das imagens. A AlexNet foi treinada com descida de gradiente com momento com um tamanho de lote (batch size) de 128 exemplos, momento de 0,9 e decaimento de peso de 0,0005. A taxa de aprendizado começou em 10−2 e foi diminuída manualmente 10 vezes sempre que o erro de validação parecia parar de diminuir. Foi reduzida três vezes durante o treinamento, terminando em 10−5.
Competição ImageNet
A versão que utilizaram para participar na competição ImageNet de 2012 foi um conjunto (ensemble) de 7 modelos AlexNet. Especificamente, treinaram 5 AlexNets com a arquitetura descrita anteriormente (com 5 camadas CONV) no conjunto de treinamento ILSVRC-2012 (1,2 milhão de imagens). Treinaram também 2 AlexNets variantes, obtidas pela adição de uma camada CONV extra sobre a última camada de agrupamento (pooling). Estas foram treinadas inicialmente em todo o lançamento do ImageNet Fall 2011 (15 milhões de imagens em 22 mil categorias) e depois sofreram um ajuste fino no conjunto de treinamento do ILSVRC-2012. O sistema final de 7 AlexNets foi usado calculando a média das suas probabilidades previstas.
Trabalhos anteriores
Em 1980, Kunihiko Fukushima propôs uma CNN inicial chamada neocognitron. O modelo foi treinado por um algoritmo de aprendizado não supervisionado. A LeNet-5 (Yann LeCun et al., 1989) foi treinada por aprendizado supervisionado com algoritmo de retropropagação (backpropagation), com uma arquitetura que é essencialmente a mesma da AlexNet em pequena escala. O agrupamento máximo foi utilizado em 1990 para processamento de fala (essencialmente uma CNN unidimensional), e para processamento de imagens, foi usado pela primeira vez no Cresceptron de 1992. Durante a década de 2000, à medida que o hardware de GPU melhorava, alguns pesquisadores adaptaram-no para a computação de propósito geral, incluindo o treinamento de redes neurais. (K. Chellapilla et al., 2006) treinaram uma CNN em GPU que foi 4 vezes mais rápida do que uma implementação equivalente em CPU. (Raina et al., 2009) treinaram uma rede de crença profunda (deep belief network) com 100 milhões de parâmetros numa Nvidia GeForce GTX 280 a uma velocidade até 70 vezes maior do que em CPUs. Uma CNN profunda de (Dan Cireșan et al., 2011) no IDSIA revelou-se 60 vezes mais rápida que uma implementação de CPU idêntica. Entre 15 de maio de 2011 e 10 de setembro de 2012, a CNN deles venceu quatro competições de imagens e alcançou o estado da arte para múltiplos bancos de dados de imagens. De acordo com o artigo da AlexNet, a rede anterior de Cireșan é "um pouco semelhante". Ambas foram escritas em CUDA para serem executadas na GPU.
Visão computacional
Durante o período de 1990 a 2010, as redes neurais não eram melhores do que outros métodos de aprendizado de máquina, como regressão de kernel, máquinas de vetores de suporte, AdaBoost, estimação estruturada, entre outros. Para a visão computacional em particular, grande parte do progresso derivou da extração manual de características (feature engineering), como recursos SIFT, recursos SURF, recursos HoG, saco de palavras visuais, etc. Era uma posição minoritária na visão computacional acreditar que as características podiam ser aprendidas diretamente dos dados, uma posição que se tornou dominante após a AlexNet. Em 2011, Geoffrey Hinton começou a contactar os seus colegas perguntando: "O que tenho de fazer para vos convencer de que as redes neurais são o futuro?", e Jitendra Malik, um cético em relação às redes neurais, recomendou o desafio PASCAL Visual Object Classes. Hinton retorquiu que o conjunto de dados deles era demasiado reduzido, então Malik recomendou-lhe o desafio do ImageNet.
Trabalhos subsequentes
A AlexNet é um projeto de grande impacto, resultando em muitos trabalhos posteriores no uso de CNNs para a visão computacional e no uso de GPUs para acelerar o aprendizado profundo. Até ao início de 2025, o artigo da AlexNet tinha sido citado mais de 184.000 vezes, de acordo com o Google Scholar. Na altura da sua publicação, não havia qualquer estrutura disponível para o treinamento e inferência de redes neurais baseadas em GPU. A base de código da AlexNet foi lançada sob uma licença BSD e foi comumente utilizada na investigação de redes neurais durante vários anos posteriores. Numa direção, os trabalhos subsequentes visavam treinar CNNs cada vez mais profundas que alcançassem um desempenho progressivamente maior no ImageNet. Nesta linha de investigação encontram-se a GoogLeNet (2014), VGGNet (2014), a Highway network (2015) e a ResNet (2015). Outra direção visava reproduzir o desempenho da AlexNet a um custo menor. Nesta vertente de investigação situam-se a SqueezeNet (2016), a MobileNet (2017) e a EfficientNet (2019).
