Формальный нейрон нового типа

В. Просяник, Б. Злотин, А. Гин

В 1943 г. Уоррен Мак-Каллок и Уолтер Питтс^[1] впервые в истории математически описали работу мыслительного аппарата людей и высших животных, введя понятие «формальный нейрон» — так они назвали несложное устройство обработки сигналов, обладающее некоторыми свойствами реальных мозговых клеток — биологических нейронов. Они также ввели понятие «искусственная нейронная сеть», то есть сеть из формальных нейронов, построенная по тем же правилам, что и нейронные сети настоящего мозга.

Формальный нейрон и искусственную нейронную сеть оказалось возможным реализовать при помощи электронных или электрических элементов. В пятидесятых годах, на основе бурно развивавшихся компьютерных технологий были построены первые искусственные нейронные сети, подтвердившие правильность основных идей Мак-Каллока и Питтса о возможности моделирования основных элементов мышления. Было также показано, что такие сети можно обучать и что на базе этого обучения они способны к выполнению следующих операций или процессов:

• Параллельная обработка больших объемов информации от множества входов
• Абстрагирование и выявление корреляций и закономерностей (паттернов)
• Распознавание и обработка образов, в том числе в условиях сильных помех
• Быстрый безиндексный поиск информации в больших базах данных, классификация и кластеризация, аппроксимация и экстраполяция данных
• Надежное хранение больших объемов информации, защита от незаконного проникновения в базы данных и их повреждения
• Моделирование различных процессов
• Кодирование и сжатие информации
• Прогнозирование функционирования и развития систем и процессов
• Управление системами
• Создание новых вариантов тех или иных систем, то есть творчества

Первоначально ожидалось быстрое создание на базе нейронных сетей полноценных искусственных интеллектов, однако, к сожалению, эти надежды оказались нереальными. Почему?

Даже сегодня, после более чем 70 лет развития, до создания полноценных искусственных интеллектов очень далеко. Это связано с двумя факторами, тормозящими развитие:

• Обучение искусственной нейронной сети ведется путем выполнения огромного количества стандартных математических операций, что требует применения компьютеров высокого класса, занимает много времени и требует много энергии. Это при том, что обучение биологических нейронных систем сводится к выполнению в миллиарды миллиардов раз меньшего числа операций.
• Искусственные нейронные сети большинства известных сегодня типов, в отличие от биологических нейронных сетей, после завершения цикла обучения не допускают доучивания или частичного переучивания. То есть необходимость учета новых данных требует полного цикла нового обучения, такого же длительного и затратного, как и первичное обучение.

Работниками компании «Progress INC» Детройт была обнаружена причина такого сильного несоответствия искусственных и биологических сетей. Это — ошибка в описании «формального нейрона» Мак-Каллоком и Питсом, связанная с отсутствием в прежние времена некоторых важных данных о работе биологических нейронов.

Биологический нейрон считался относительно простым устройством, суммирующим сигналы, приходящие от других нейронов через «контактные блоки», которые называются синапсами, и в которых перенос сигналов осуществляется за счет эмиссии специального химического вещества — нейромедиатора (доктрина Дэйла). Каждый нейрон имеет десятки тысяч синапсов и, как тогда считалось, в каждом синапсе работает один тип медиаторов, причем сопротивление синапса проходу сигнала (его биологический механизм весьма сложен и не очень для нас важен) принято называть «синаптическим весом».

Формальный нейрон Мак-Каллока и Питса повторял «конструкцию» биологического нейрона и выглядел как простая схема — электронный или электрический сумматор, получающий сигналы от множества переменных сопротивлений, играющих роль синаптических весов.

В нейронной сети такого типа обучение сводится к подбору величин сопротивлений («весов») всех синаптических весов, для чего требуются тысячи, а иногда и миллионы эпох обучения и огромного объема вычислений в каждую из этих эпох. «Интеллектуальность» сети растет примерно линейно с ростом количества нейронов и объема обучения, а общий объем вычислений и, соответственно, время и энергия на них затрачиваемые, растут примерно пропорционально квадрату от роста количества нейронов и объема обучения системы. Это приводит к тому, что сети, предназначенные для выполнения более или менее интеллектуальных работ, приходится обучать месяцами и годами.

Существует множество способов ускорения обучения, например, системы обратного распространения ошибки, методы глубокого обучения на сетях с большим количеством нейронных слоев, использование сверхточных сетей, осуществляющих обучение сети по участкам и т.п. Это ускоряет обучение многократно, но не снимает проблему степенное нарастание времени обучения.

Доктрина Дойла была экспериментально опровергнута биологами еще в семидесятых годах 20 века, когда было обнаружено что в биологическом синапсе могут работать одновременно несколько разных нейротрансмиттеров, и, следовательно, формальный нейрон Мак-Каллока и Питса неверно описывает работу биологического нейрона. Однако все традиционные и современные искусственные нейронные сети по-прежнему строились и строятся на тех же формальных нейронах.

Работниками компании «Progress INC» была разработана новая схема формального нейрона («прогрессивный формальный нейрон» или п-нейрон), включающая набор «корректирующих весов», выполняющих роль разных медиаторов. П-нейрон существенно ближе к биологическим нейронам по конструкции и принципу действия. На картинке показан типичный п-нейрон и сеть, построенная на их базе. В п-нейроне сигнал от входного устройства попадает на блок анализа и распределения сигналов (распределитель), который оценив величину сигнала относит его к одному из интервалов и в соответствии с этим «назначает» корректирующий вес, соответствующий данному сигналу. На рисунке показано, что сигнал с величиной, соответствующей интервалу значений 3 осуществляет выбор корректирующего веса d3.

Самым главным результатом применения нового типа формального нейрона стало радикальное изменение системы обучения сети, более соответствующее процессам обучения, протекающим в биологических нейронах, и поэтому требующего в миллиарды раз меньших объемов вычислений. Это же обеспечивает возможность быстрого (например, в режиме реального времени) доучивания и переучивания сети.

Новый тип формальных нейронов может быть реализован в компьютерах за счет обычных компьютерных средств, например CPU, а также на базе графических плат, специализированных или программируемых микрочипов, аналоговых устройств и т.п. Использование п-нейронов может обеспечить значительное улучшение известных типов нейронных сетей, например, одно- и многослойных персептронов, когнитронов, сетей Кохонена, Хопфилда, Больцмана, сетей глубокого обучения, сверточных сетей и т.д.

Могут быть использованы и так называемые «прогресс сети» (п-сети), созданные компанией «Progress INC» специально для использования п-нейронов. П-сеть также является некоторым аналогом сверточных сетей, она может быть представлена как результат свертывания множества однослойных персептронов, обученных каждый распознаванию одного образа. Это и допускает дообучение сети, практически сводящееся к добавлению к готовой свертке еще одного «однообразного» персептрона.

В силу нового процесса обучения, уменьшающего на много порядков число необходимых математических операций, становится возможным реализовать полноценные нейронные сети на компьютерах небольшой вычислительной мощности, например, на лэптопах, планшетах, телефонах, дешевых контроллерах и т.п.

Искусственные нейронные сети, построенные на основе новых формальных нейронов (п-нейронов) обладают некоторыми дополнительными возможностями:

• Экономить значительные энергетические и вычислительные ресурсы, обеспечивает возможность реализации больших нейронных сетей на компьютерах настольных компьютеров, ноутбуков, планшетов и интеллектуальных систем классов;
• Обеспечить возможность расширения сети с целью увеличения ее пропускной способности во время работы (масштабирования);
• Обеспечить высокую устойчивость п-сети к ошибкам, потере части весов, к шуму, к воздействию вирусов и вредоносных софтов;
• Обеспечить дополнительное обучение и чередование периодов обучения и эксплуатации.

Самым главным, на наш взгляд, является возможность в перспективе на основе п-сетей создавать полноценные широкопрофильные и специализированные искусственные интеллекты, способные обучаться и работать постоянно в режиме реального времени.

Основы теории и конструкции п-нейронов и п-сетей описаны в статьях [2], [3] и патентах.

Литература

1. Warren S. McCulloch & Walter Pitts. «A logical calculus of the ideas immanent in nervous activity» 1943.
   https://web.csulb.edu/~cwallis/382/readings/482/mccolloch.logical.calculus.ideas.1943.pdf
2. D. Pescianschi, Main Principles of the General Theory of Neural Network with Internal Feedback, CSREA Press., Las Vegas, US 2015
   http://worldcomp-proceedings.com/proc/p2015/ICA6229.pdf
3. D. Pescianschi, A. Boudichevskaia, B. Zlotin, and V. Proseanic, Analog and Digital Modeling of a Scalable Neural Network, CSREA Press., Las Vegas, US 2015
   https://www.researchgate.net/publication/280549162_Analog_and_Digital_Modeling_of_a_Scalable_Neural_Network
4. Новая эра в развитии информационных технологий. Сайт проекта Creatime
   https://creatime.me/Blog/novayaEra
5. Патенты:
   • US patent No. 9390373;
   • US patent No. 9619749;
   • Japan patent No. 6382354;
   • China patent No. ZL201580012022.2;
   • Mexico patent No. MX357374B;
   • Taiwan patent No. I655587;
   • Israel patent No. 247533.
   • И др.