Нейрокомпьютер

Нейрокомпьютер — устройство переработки информации на основе принципов работы естественных нейронных систем[1]. Эти принципы были формализованы, что позволило говорить о теории искусственных нейронных сетей. Проблематика же нейрокомпьютеров заключается в построении реальных физических устройств, что позволит не просто моделировать искусственные нейронные сети на обычном компьютере, но так изменить принципы работы компьютера, что станет возможным говорить о том, что они работают в соответствии с теорией искусственных нейронных сетей.

История

Термины нейрокибернетика, нейроинформатика, нейрокомпьютеры вошли в научный обиход недавно — в середине 80-х годов XX века. Однако электронный и биологический мозг постоянно сравнивались на протяжении всей истории существования вычислительной техники. Знаменитая книга Н. Винера «Кибернетика» (1948)[2] имеет подзаголовок «Управление и связь в животном и машине».

Первыми нейрокомпьютерами были перцептроны Розенблатта: Марк-1 (1958) и Тобермори (1961—1967)[3], а также Адалин, разработанный Уидроу[англ.] и Хоффом (1960) на основе дельта-правила (формулы Уидроу)[4]. В настоящее время Адалин (адаптивный сумматор, обучающийся по формуле Уидроу) является стандартным элементом многих систем обработки сигналов и связи.[5] В этом же ряду первых нейрокомпьютеров находится программа «Кора», разработанная в 1961 году под руководством М. М. Бонгарда[6].

Большую роль в развитии нейрокомпьютинга сыграла монография Розенблатта (1958)[7].

Идея нейро-бионики (создания технических средств на нейро-принципах) стала интенсивно реализовываться в начале 1980-х гг. Импульсом было следующее противоречие: размеры элементарных деталей компьютеров сравнялись с размерами элементарных «преобразователей информации» в нервной системе, было достигнуто быстродействие отдельных электронных элементов в миллионы раз большее, чем у биологических систем, а эффективность решения задач, особенно связанных задач ориентировки и принятия решений в естественной среде, у живых систем пока недостижимо выше.

Другой импульс развитию нейрокомпьютеров дали теоретические разработки 1980-х годов по теории нейронных сетей (сети Хопфилда, сети Кохонена, метод обратного распространения ошибки).

Основная идея — коннекционизм

В отличие от цифровых систем, представляющих собой комбинации процессорных и запоминающих блоков, нейропроцессоры содержат память, распределённую в связях между очень простыми процессорами, которые часто могут быть описаны как формальные нейроны или блоки из однотипных формальных нейронов. Тем самым основная нагрузка на выполнение конкретных функций процессорами ложится на архитектуру системы, детали которой в свою очередь определяются межнейронными связями. Подход, основанный на представлении как памяти данных, так и алгоритмов системой связей (и их весами), называется коннекционизмом.

Три основных преимущества нейрокомпьютеров:

  1. Все алгоритмы нейроинформатики высокопараллельны, а это уже залог высокого быстродействия.
  2. Нейросистемы устойчивы к помехам, которые могут накладываться на входные сигналы, а также к частичным разрушениям отдельных элементов нейронной сети.
  3. Устойчивые и надёжные нейросистемы могут создаваться и из ненадёжных элементов, имеющих значительный разброс параметров.

Разработчики нейрокомпьютеров стремятся объединить устойчивость, быстродействие и параллелизм, присущие АВМ (аналоговые вычислительные машины), с универсальностью современных компьютеров.[8]

Проблема эффективного параллелизма

На роль центральной проблемы, решаемой всей нейроинформатикой и нейрокомпьютингом, А. Горбань[9] предложил проблему эффективного параллелизма. Давно известно, что производительность компьютера возрастает намного медленнее, чем число процессоров. М. Минский сформулировал гипотезу: производительность параллельной системы растёт (примерно) пропорционально логарифму числа процессоров — это намного медленнее, чем линейная функция (Гипотеза Минского).

Для преодоления этого ограничения применяется следующий подход: для различных классов задач строятся максимально параллельные алгоритмы решения, использующие какую-либо абстрактную архитектуру (парадигму) мелкозернистого параллелизма, а для конкретных параллельных компьютеров создаются средства реализации параллельных процессов заданной абстрактной архитектуры. В результате появляется эффективный аппарат производства параллельных программ.

Нейроинформатика поставляет универсальные мелкозернистые параллельные архитектуры для решения различных классов задач. Для конкретных задач строится абстрактная нейросетевая реализация алгоритма решения, которая затем реализуется на конкретных параллельных вычислительных устройствах. Таким образом нейросети позволяют эффективно использовать параллелизм.

Современные нейрокомпьютеры

Многолетние усилия многих исследовательских групп привели к тому, что к настоящему моменту накоплено большое число различных «правил обучения» и архитектур нейронных сетей, их аппаратных реализаций и приёмов использования нейронных сетей для решения прикладных задач.

Эти интеллектуальные изобретения[10] существуют в виде «зоопарка» нейронных сетей. Каждая сеть из зоопарка имеет свою архитектуру, правило обучения и решает конкретный набор задач. В последнее десятилетие прилагаются серьёзные усилия для стандартизации структурных элементов и превращений этого «зоопарка» в «технопарк»[11]: каждая нейронная сеть из зоопарка реализована на идеальном универсальном нейрокомпьютере, имеющем заданную структуру.

Основные правила выделения функциональных компонентов идеального нейрокомпьютера (по Миркесу):

  1. Относительная функциональная обособленность: каждый компонент имеет чёткий набор функций. Его взаимодействие с другими компонентами может быть описано в виде небольшого числа запросов.
  2. Возможность взаимозамены различных реализаций любого компонента без изменения других компонентов.

Постепенно складывается рынок нейрокомпьютеров. В настоящее время широко распространены различные высокопараллельные нейро-ускорители[12] (сопроцессоры) для различных задач. Моделей универсальных нейрокомпьютеров на рынке мало отчасти потому, что большинство из них реализованы для спецприменений. Примерами нейрокомпьютеров являются нейрокомпьютер Synapse (Siemens, Германия),[13] процессор NeuroMatrix[14]. Издаётся специализированный научно-технический журнал «Нейрокомпьютеры: разработка, применение»[15]. Проводятся ежегодные конференции по нейрокомпьютерам[16]. С технической точки зрения сегодняшние нейрокомпьютеры — это вычислительные системы с параллельными потоками одинаковых команд и множественным потоком данных (MSIMD-архитектура). Это одно из основных направлений развития вычислительных систем с массовым параллелизмом.

Искусственная нейронная сеть может передаваться от (нейро)компьютера к (нейро)компьютеру, так же как и компьютерная программа. Более того, на её основе могут быть созданы специализированные быстродействующие аналоговые устройства. Выделяются несколько уровней отчуждения нейронной сети от универсального (нейро)компьютера[17]: от сети, обучающейся на универсальном устройстве и использующей богатые возможности в манипулировании задачником, алгоритмами обучения и модификации архитектуры, до полного отчуждения без возможностей обучения и модификации (то есть только функционирование предварительно обученной сети).

Одним из способов подготовки нейронной сети для передачи является её вербализация: обученную нейронную сеть минимизируют с сохранением полезных навыков. Описание минимизированной сети компактнее и часто допускает понятную интерпретацию.

Новый поворот — Wetware

Основная статья: Биокомпьютинг

В нейрокомпьютинге постепенно созревает новое направление, основанное на соединении биологических нейронов с электронными элементами. По аналогии с Software (программное обеспечение) и Hardware (электронное аппаратное обеспечение), эти разработки получили наименование Wetware[англ.].

В настоящее время уже существует технология соединения биологических нейронов со сверхминиатюрными полевыми транзисторами с помощью нановолокон (Nanowire[англ.]).[18] В разработках используется современная нанотехнология. В том числе, для создания соединений между нейронами и электронными устройствами используются углеродные нанотрубки.[19]

Распространено также и другое определение термина «Wetware» — человеческий компонент в системах «человек-компьютер».

Применения

  1. Управление в реальном времени[20][21], в том числе:
    • самолётами и ракетами[22],
    • технологическими процессами непрерывного производства (в энергетике, металлургии и др.)[23],
    • гибридным (электробензиновым) двигателем автомобиля[24],
    • пневмоцилиндром[25],
    • сварочным аппаратом[26],
    • электропечью[27],
    • турбогенератором[28].
  2. Распознавание образов:
    • изображений[29], человеческих лиц[30], букв и иероглифов, отпечатков пальцев в криминалистике, речи, сигналов радара и сонара,
    • элементарных частиц и происходящих с ними физических процессов (эксперименты на ускорителях или наблюдение за космическими лучами),
    • заболеваний по симптомам (в медицине)[31],
    • местностей, где следует искать полезные ископаемые (в геологии, по косвенным признакам),
    • признаков опасности в системах безопасности,
    • свойств химических соединений по структуре (в хемоинформатике)[32]
  3. Прогнозирование в реальном времени:
    • погоды,
    • курса акций (и других финансовых показателей)[33],
    • исхода лечения,
    • политических событий (результатов выборов, международных отношений и др.)[34][35],
    • поведения противника (реального или потенциального) в военном конфликте и в экономической конкуренции,
    • устойчивости супружеских отношений.
  4. Оптимизация — поиск наилучших вариантов:
    • при конструировании технических устройств,[36]
    • при выборе экономической стратегии,
    • при подборе команды (от сотрудников предприятия до спортсменов и участников полярных экспедиций),
    • при лечении больного.
  5. Обработка сигналов при наличии больших шумов.
  6. Протезирование («умные протезы») и усиление естественных функций[37], в том числе — за счёт прямого подключения нервной системы человека к компьютерам (Нейро-компьютерный интерфейс).
  7. Психодиагностика[38][39][40]
  8. Телекоммуникационное мошенничество, его обнаружение и предотвращение с помощью нейросетевых технологий — по мнению некоторых специалистов[41] являются одной из самых перспективных технологий в области защиты информации в телекоммуникационных сетях.
  9. Информационная безопасность[42]

См. также

Литература

  • Neurocomputing, Elsevier ISSN 0925-2312
  • Журнал «Нейрокомпьютеры: разработка, применение», ИПРЖР Радиотехника ISSN 1999-8554
  • Аляутдинов М. А., Галушкин А. И., Казанцев П. А., Остапенко Г. П. Нейрокомпьютеры: от программной к аппаратной реализации. — М.: Горячая линия - Телеком, 2008. — 152 с. — ISBN 978-5-9912-0044-8.
  • Горбань А. Н., Россиев Д. А., Нейронные сети на персональном компьютере. — Новосибирск: Наука, 1996. — 276 с.
  • Нейрокомпьютерная парадигма и общество. / Под ред. Ю. Ю. Петрунина. — М.: Издательство Московского университета, 2012. — 304 с. — ISBN 978-5-211-06375-4.
  • Чечкин А. В., Савельев А. В. Нейрокомпьютеры в 2012 году: новая парадигма
  • Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. — 2-е изд., переработанное и дополненное. — М.: МГТУ им. Н.Э. Баумана, 2004. — 400 с. — (Учебник для вузов). — 2000 экз. — ISBN 5-7038-2554-7.

Примечания

  1. ↑ Дунин-Барковский В. Л., Нейрокибернетика, Нейроинформатика, Нейрокомпьютеры Архивная копия от 19 августа 2017 на Wayback Machine, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с ISBN 5-02-031410-2
  2. ↑ Винер Н., Кибернетика, или Управление и связь в животном и машине. Архивная копия от 13 апреля 2010 на Wayback Machine / Пер. с англ. И. В. Соловьёва и Г. Н. Поварова; Под ред. Г. Н. Поварова. — 2-е издание. — М.: Наука, 1983. — 344 с.
  3. ↑ Neural networks-then and now. Дата обращения: 9 марта 2011. Архивировано 30 августа 2017 года.
  4. ↑ Королев Л. Н. Нейрокомпьютинг, нейросети и нейрокомпьютеры Архивная копия от 6 сентября 2008 на Wayback Machine
  5. ↑ Уидроу Б., Стирнс С., Адаптивная обработка сигналов. — М.: Радио и связь, 1989. — 440 c.
  6. ↑ Бонгард М. М., Проблема узнавания Архивная копия от 4 марта 2016 на Wayback Machine М.: Физматгиз, 1967. Другая копия онлайн: [1] (недоступная ссылка)
  7. ↑ Rosenblatt, F. The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. In, Psychological Review, Vol. 65, No. 6, pp. 386—408, November, 1958. Lancaster, PA and Washington, DC: American Psychological Association, 1958. Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга Архивная копия от 10 ноября 2007 на Wayback Machine — М.: Мир, 1965.
  8. ↑ Горбань А. Н. Нейрокомпьютер, или Аналоговый ренессанс Архивная копия от 12 мая 2013 на Wayback Machine, Мир ПК, 1994, № 10, 126—130.
  9. ↑ Горбань А. Н., Кто мы, куда мы идем, как путь наш измерить? Архивная копия от 14 августа 2009 на Wayback Machine, Пленарный доклад на открытии конференции Нейроинформатика-99, МИФИ, 20 января 1999. Журнальный вариант: Горбань А. Н., Нейроинформатика: кто мы, куда мы идем, как путь наш измерить // Вычислительные технологии. — М.: Машиностроение. — 2000. — № 4. — С. 10-14. = Gorban A.N., Neuroinformatics: What are us, where are we going, how to measure our way? Архивная копия от 17 февраля 2016 на Wayback Machine The Lecture at the USA-NIS Neurocomputing Opportunities Workshop, Washington DC, July 1999 (Associated with IJCNN’99)
  10. ↑ Савельев А. В., Нейрокомпьютеры в изобретениях // «Нейрокомпьютеры: разработка, применение». Архивная копия от 11 сентября 2016 на Wayback Machine, М. Радиотехника, 2004, № 2-3, с. 33-49.
  11. ↑ Миркес Е. М., Нейрокомпьютер. Проект стандарта. Архивная копия от 15 июня 2009 на Wayback Machine — Новосибирск: Наука, 1999. — 337 с ISBN 5-02-031409-9 Другие копии онлайн: Архивированная копия. Дата обращения: 15 октября 2008. Архивировано 3 июля 2009 года.
  12. ↑ Савельев А. В., Нейроускоритель. Neural Network accelerator // Свид. о регистрации программы для ЭВМ № 2003610307, заявка 2002612174, 2003.
  13. ↑ Шахнов В., Власов А., Кузнецов А., Нейрокомпьютеры — архитектура и реализация. Часть 1. Архивная копия от 9 октября 2008 на Wayback Machine ChipNews, 2000, N 5; Часть 2. Элементная база нейровычислителей. Архивная копия от 17 августа 2009 на Wayback Machine ChipNews, 2000, N 6; Часть 3.Аппаратная реализация нейровычислителей. Архивная копия от 9 октября 2008 на Wayback Machine ChipNews, 2001, 1.
  14. ↑ [https://web.archive.org/web/20161012222905/http://www.module.ru/ruproducts/proc/nm6403.shtml Архивная копия от 12 октября 2016 на Wayback Machine Процессор цифровой обработки сигналов Л1879ВМ1 (NM6403) НТЦ «Модуль»]
  15. ↑ Журнал «Нейрокомпьютеры: разработка, применение». Архивная копия от 11 сентября 2016 на Wayback Machine
  16. ↑ Савельев А.В.X ВСЕРОССИЙСКАЯ НАУЧНАЯ КОНФЕРЕНЦИЯ "НЕЙРОКОМПЬЮТЕРЫ И ИХ ПРИМЕНЕНИЕ" НКП-201 Архивная копия от 27 марта 2012 на Wayback Machine
  17. ↑ Горбань А. Н. Обучение нейронных сетей, изд. СССР-США СП «Параграф», 1990, 160 с.
  18. ↑ Patolsky F., Timko B.P., Yu G., Fang Y., Greytak A.B., Zheng G., and Lieber C.M. «Detection, Stimulation, and Inhibition of Neuronal Signals with High-Density Nanowire Transistor Arrays» (англ.) // Science. — 25 August 2006. — Iss. 313, no. 5790. — P. 1100—1104. — doi:10.1126/science.1128640. Архивировано 22 июня 2008 года.
  19. ↑ Mazzatenta A., Giugliano M., Campidelli S., Gambazzi L., Businaro L., Markram H., Prato M., and Ballerini L. «Interfacing Neurons with Carbon Nanotubes: Electrical Signal Transfer and Synaptic Stimulation in Cultured Brain Circuits» (англ.) // The Journal of Neuroscience. — 27 June 2007. — No. 27. — P. 6931-6936. — doi:10.1523/JNEUROSCI.1051-07.2007. Архивировано 24 июля 2008 года.
  20. ↑ Терехов В. А., Ефимов Д. В., Тюкин И. Ю. Нейросетевые системы управления. — М.: Высшая школа, 2002. — С. 184. — ISBN 5-06-004094-1.
  21. ↑ Тюкин И. Ю., Терехов В. А., Адаптация в нелинейных динамических системах Архивная копия от 2 ноября 2012 на Wayback Machine, (Серия: Синергетика: от прошлого к будущему), Санкт-Петербург: ЛКИ, 2008. — 384 с. ISBN 978-5-382-00487-7
  22. ↑ Применение нейрокомпьютеров в ракетно-космической технике. Сборник статей. Ефимов В. В. (ред). — М.: Радиотехника, 2006. — 144 C.
  23. ↑ Галушкин А. И. Применение нейрокомпьютеров в энергетических системах, М.: Научный центр нейрокомпьютеров, 1997.
  24. ↑ Danil V. Prokhorov. Toyota Prius HEV Neurocontrol and Diagnostics, Neural Networks. – 2008. – No. 21. – P. 458 - 465
  25. ↑ Змеу К.В., Марков Н.А., Шипитько И.А., Ноткин Б.С. Безмодельное прогнозирующее инверсное нейроуправление с регенерируемым эталонным переходным процессом // Интеллектуальные системы. – 2009. – № 3. – С. 109 – 117. Дата обращения: 30 октября 2011. Архивировано 27 сентября 2016 года.
  26. ↑ D’Emilia G., Marrab A., Natalea E. Use of neural networks for quick and accurate auto-tuning of PID controller // Robotics and Computer-Integrated Manufacturing. – 2007. – Vol. 23. – P. 170 – 179.
  27. ↑ Dias F.M., Mota A.M. Comparison between Different Control Strategies using Neural Networks // 9th Mediterranean Conference on Control and Automation. – Dubrovnik, Croatia, 2001. Дата обращения: 30 октября 2011. Архивировано 27 сентября 2016 года.
  28. ↑ Venayagamoorthy G.K., Harley R.G., Wunsch D.C. Implementation of Adaptive Critic-based Neurocontrollers for Turbogenerators in a Multimachine Power System, IEEE Transactions on Neural Networks. – 2003. – Vol. 14, Issue 5. – P. 1047 – 1064. Дата обращения: 30 октября 2011. Архивировано из оригинала 12 июня 2010 года.
  29. ↑ Ruaro M.E., Bonifazi P., and Torre V., Toward the Neurocomputer: Image Processing and Pattern Recognition With Neuronal Cultures Архивная копия от 6 мая 2006 на Wayback Machine, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 52, NO. 3, MARCH 2005, 371—383.
  30. ↑ Micheli-Tzanakou, E., Uyeda, E., Ray, R., Sharma, A., Ramanujan, R., Dong, J., Comparison of Neural Network Algorithms for Face Recognition, SIMULATION 65 (1995), 37-51
  31. ↑ Россиев Д. А., Медицинская нейроинформатика Архивная копия от 19 августа 2017 на Wayback Machine, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с.
  32. ↑ И. И. Баскин, В. А. Палюлин, Н. С. Зефиров. Применение искусственных нейронных сетей для прогнозирования свойств химических соединений // Нейрокомпьютеры: разработка, применение. - 2005. - № 1 - 2. - С. 98 - 101.
  33. ↑ Галушкин А. И., Применения нейрокомпьютеров в финансовой деятельности. Архивная копия от 10 июня 2008 на Wayback Machine
  34. ↑ Миркес Е. М.,Логически прозрачные нейронные сети и производство явных знаний из данных Архивная копия от 19 августа 2017 на Wayback Machine, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с ISBN 5-02-031410-2
  35. ↑ Borisyuk, R., Borisyuk, G., Rallings, C., and Thrasher, M. Forecasting the 2005 General Election: A Neural Network Approach. British Journal of Politics and International Relations. 7(2) (2005), 199—209.
  36. ↑ Терехов С. А., Нейросетевые информационные модели сложных инженерных систем Архивная копия от 19 августа 2017 на Wayback Machine, В кн.: Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. — Новосибирск: Наука. Сибирское предприятие РАН, 1998. — 296 с ISBN 5-02-031410-2
  37. ↑ Morillas C., Romero S., Martinez A., Pelayo F., Reyneri L., Bongard M., Fernandez, E., A neuroengineering suite of computational tools for visual prostheses, Neurocomput., 70 (16-18) (2007), 2817—2827.
  38. ↑ Gorban A.N., Rossiyev D.A., Dorrer M.G., MultiNeuron — Neural Networks Simulator For Medical, Physiological, and Psychological Applications Архивная копия от 17 февраля 2016 на Wayback Machine, Wcnn’95, Washington, D.C.: World Congress on Neural Networks 1995 International Neural Network Society Annual Meeting : Renaissance Hotel, Washington, D.C., USA, July 17-21, 1995.
  39. ↑ Dorrer M.G., Gorban A.N., Kopytov A.G., Zenkin V.I., Psychological Intuition of Neural Networks. Proceedings of the 1995 World Congress On Neural Networks, A Volume in the INNS Series of Texts, Monographs, and Proceedings, Vol. 1, 1995, 193—196.
  40. ↑ Доррер М. Г., Психологическая интуиция искусственных нейронных сетей Архивная копия от 25 марта 2009 на Wayback Machine, Дисс. … 1998. Другие копии онлайн: [2] Архивная копия от 7 апреля 2009 на Wayback Machine
  41. ↑ Taniguchi M., Haft M., Hollm\'en J., Tresp V., Fraud detection in communications networks using neural and probabilistic methods Архивная копия от 29 декабря 2009 на Wayback Machine, In Proceedings of the 1998 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP’98), volume II, pages 1241—1244, 1998.
  42. ↑ Червяков Н.И., Евдокимов А.А., Галушкин А.И., Лавриненко И.Н. и др.,Применение искусственных нейронных сетей и системы остаточных классов в криптографии Архивная копия от 6 сентября 2014 на Wayback Machine,- М.: ФИЗМАТЛИТ, 2012.- 280 c. - ISBN 978-5-9221-1386-1.