Компания Toshiba сообщила о прогрессе в создании нейронных сетей временного домена (Time Domain Neural Network, TDNN) с использованием нейроморфной полупроводниковой цепи со сверхмалым энергопотреблением, способной выполнять операции глубокого обучения. Сеть TDNN состоит из огромного количества обрабатывающих цепей, в которых используется не цифровая обработка, как в современных процессорах, а фирменная аналоговая обработка. Как утверждается, такие сети становятся все более актуальными для анализа больших данных в связи с расширением интернета вещей.
Глубокое обучение требует большого объема вычислений. Сейчас их выполняют обычные процессоры, не оптимальные для этой задачи, поэтому процесс обучения имеет низкую энергетическую эффективность. Решением может стать отказ от классической компьютерной архитектуры, для которой свойственны значительные накладные расходы на пересылку данных между процессором и памятью. Наиболее эффективной альтернативой является наличие огромного числа обрабатывающих цепей, каждая из которых работает с одним элементом набора данных, расположенным максимально близко к ней. В процессе преобразования входного сигнала в выходной точкам хранения этих элементов данных присваиваются определенные веса, причем, чем ближе точка к выходному сигналу, тем больший вес она получает. Вес служит параметром, который автоматически управляет глубоким обучением.
Считается, что мозг устроен по такому же принципу, где сила связи между нейронами является весовым коэффициентом, встроенным в цепи обработки (синапсы). Силой связей определяется выходной сигнал. Попытка воспроизвести эту архитектуру классическими вычислительными средствами приводит к получению чрезвычайно громоздких и неэффективных решений.
В процессоре Toshiba используется технология смешанной аналогово-цифровой обработки TDAMS, разработанная в 2013 году. В таком процессоре арифметические операции, например, сложение, выполняются задержкой цифрового сигнала, а для реализации обрабатывающего элемента достаточно всего трех логических вентилей и одного бита памяти. Прототип, изготовленный Toshiba, в котором используются ячейки SRAM, показал успешное распознавание рукописных знаков. При этом энергопотребление было на очень низком уровне. Для дальнейшего уменьшения размеров цепи и энергопотребления в Toshiba планируют использовать память типа ReRAM.
Разработки в этой области ведут и другие производители. Например, недавно стало известно, что SK Hynix будет разрабатывать нейроморфную микросхему совместно со Стэндфордским университетом.
Источник: Toshiba