Os resistores protônicos do MIT permitem que o aprendizado profundo suba, em analógico

Trazendo "melodias" analógicas para o mundo dos chips digitais - com maior desempenho.

Uma equipe de pesquisadores do Instituto de Tecnologia de Massachusetts (MIT) está trabalhando em um novo projeto de resistor de hardware para a próxima era de dimensionamento eletrônico - particularmente em tarefas de processamento de IA, como aprendizado de máquina e redes neurais.

No entanto, no que pode parecer um retrocesso (se é que existe um retrocesso para o futuro), seu trabalho se concentra em um design que é mais analógico do que digital por natureza. Digite resistores protônicos programáveis ​​- construídos para acelerar redes de IA, imitando nossos próprios neurônios (e suas sinapses interconectadas) enquanto aceleram sua operação um milhão de vezes - e esse é o número real, não apenas uma hipérbole.

Tudo isso é feito enquanto reduz o consumo de energia para uma fração do que é exigido pelos projetos baseados em transistores atualmente usados ​​para cargas de trabalho de aprendizado de máquina, como o Wafer Scale Engine 2, que quebrou o recorde da Cerebras.

Embora nossas sinapses e neurônios sejam extremamente impressionantes do ponto de vista computacional, eles são limitados por seu meio "wetware": a água.

Embora a condução elétrica da água seja suficiente para o funcionamento do nosso cérebro, esses sinais elétricos funcionam por meio de potenciais fracos: sinais de cerca de 100 milivolts que se propagam em milissegundos, através de árvores de neurônios interconectados (as sinapses correspondem às junções pelas quais os neurônios se comunicam por meio de sinais elétricos). Um problema é que a água líquida se decompõe com tensões de 1,23 V - mais ou menos a mesma tensão de operação usada pelos melhores processadores atuais. Portanto, há uma dificuldade em simplesmente "redirecionar" projetos biológicos para computação.

"O mecanismo de trabalho do dispositivo é a inserção eletroquímica do menor íon, o próton, em um óxido isolante para modular sua condutividade eletrônica. Como estamos trabalhando com dispositivos muito finos, poderíamos acelerar o movimento desse íon usando um forte campo, e empurrar esses dispositivos iônicos para o regime de operação de nanossegundos", explica o autor sênior Bilge Yildiz, o professor Breene M. Kerr nos departamentos de Ciência e Engenharia Nuclear e Ciência e Engenharia de Materiais.

Outra questão é que os neurônios biológicos não são construídos na mesma escala que os transistores modernos. Eles são muito maiores - variando em tamanhos de 4 mícrons (0,004 mm) a 100 mícrons (0,1 mm) de diâmetro. Quando as GPUs mais recentes disponíveis já carregam transistores na faixa de 6 nm (com um nanômetro sendo 1.000 vezes menor que um mícron), você quase pode imaginar a diferença de escala e quanto mais desses neurônios artificiais você pode caber no mesmo espaço .

A pesquisa se concentrou na criação de resistores de estado sólido que, como o nome indica, criam resistência à passagem de eletricidade. Ou seja, eles resistem ao movimento ordenado de elétrons (partículas com carga negativa). Se usar material que resiste ao movimento da eletricidade (e que, por sua vez, deveria gerar calor) soa contra-intuitivo, bem, é. Mas há duas vantagens distintas no aprendizado profundo analógico em comparação com sua contraparte digital.

Primeiro, ao programar resistores, você inclui os dados necessários para o treinamento nos próprios resistores. Quando você programa sua resistência (neste caso, aumentando ou reduzindo o número de prótons em certas áreas do chip), você está adicionando valores a certas estruturas do chip. Isso significa que as informações já estão presentes nos chips analógicos: não há necessidade de transportar mais informações para bancos de memória externos, exatamente o que acontece na maioria dos designs de chips atuais (e RAM ou VRAM). Tudo isso economiza latência e energia.

Em segundo lugar, os processadores analógicos do MIT são arquitetados em uma matriz (lembra dos núcleos Tensor da Nvidia?). Isso significa que eles são mais parecidos com suas GPUs do que com suas CPUs, pois conduzem operações em paralelo. Toda a computação acontece simultaneamente.

O projeto do resistor protônico do MIT opera em temperatura ambiente, o que é mais fácil de alcançar do que os 38,5 ºC a 40 ºC do nosso cérebro. No entanto, também permite a modulação de tensão, um recurso necessário em qualquer chip moderno, permitindo que a tensão de entrada seja aumentada ou diminuída de acordo com os requisitos da carga de trabalho - com consequências no consumo de energia e na saída de temperatura.