"Нейрокомпьютеры 10 лет спустя"

Дискуссия (круглый стол)

Семантические нейроподобные сети - следующий шаг нейрокомпьютинга

г В.И. Бодякин, Москва, ИПУ РАН

E-mail: BODY@IPU.RSSI.RU

Сопоставляя свою позицию с высказанными мнениями участников "круглого стола", хотелось бы сообщить и свою точку зрения.

Отсутствие ожидаемых грандиозных успехов в области нейрокомпьютинга (нейронных сетей) можно отнести к отсутствию фундаментального понимания механизмов работы мозга, а также к отсутствию дедуктивных моделей самоорганизационных процессов на нейроподобных средах.

Экспериментальная нейрофизиология на сегодня не может дать точного описания работы, как отдельного нейрона, так и их ансамблей, вследствие сложности изучаемого объекта (структуры). Но при этом, отсутствует и ранжированность моделей по критерию "адекватность - сложность" для инженерного моделирования в условиях ограниченности вычислительных ресурсов. Афишируемая и постулируемая биологами сложность, нейрона, может быть объяснена эволюционная необходимость живого пренебрегать эффективностью ради надежности. Пояснить это можно следующей метафорой. Представьте, что современные микросхемы частично сохраняют в себе предыдущие этапы эволюции: "ламповую родню", "механические элементы машины Бэббиджа" и др. Очевидно, сложность такой "микросхемы" неимоверно возрастает, и разобраться и понять в этом "вавилоне" что-либо, действительно невозможно.

Одним из основных недостатков в моделях нейрокомпьютера (НК) и нейронных сетей (НС), по-моему, является представление нейрона как порогового элемента с алгебраической суммой сигналов, приходящих по синапсам. Очевидно, что такое преобразование необратимо, что нарушает системные принципы.

Переход к векторному - пространственно-временному преобразованию снимает неоднократно упоминавшуюся сложность корреляции центральной нервной системой (ЦНС) процессов в различных пространствах (механическом, зрительном, акустическом и пр.). Сходящиеся в ЦНС сигналы, постоянно несут на себе печать предыдущих этапов преобразований, объединенные в заключительных нейронных структурах, они обратимы и взаимосвязывают в единой целевой установке все пространства признаков, в которых функционирует данная модель.

Еще одно достоинство векторной модели, это естественная простота при работе с временными рядами. Каждый образ (нейрон), включаемый в рассмотрение нейроном в иерархии следующего уровня, имеет еще и относительную временную компоненту, что позволяет его легко выстраивать по временной оси с другими образами.

Другим существенным недостатком (мифом) существующих представлений о НК и НС из нейрофизиологии, по-видимому, является наличие изначальных связей между нейронами типа каждый с каждым со случайным распределением весов с их последующей подстройкой под конкретную задачу.

Хотя известно, что в процессе поступления информации в мозг происходит прорастание дендритных связей, особенно на начальных этапах вхождения организма в окружающую среду (для человека, это первые два месяца жизни). С другой стороны, сама информация, проходящая через генетически заданную рецептивную часть ЦНС, уже создает некоторые структуры, которые вполне способны формировать новые связи, отражающие реальные процессы во внешней среде. При этом время обучения или т.н. "тренинга" сводится к минимуму, и количество связей не очень большое "N", а небольшое число в пределах, например, k=5ё 7.

Еще одной характеристикой, значимость которой пока никак не отмечается в моделях НК и НС является - "компрессия образов". Мы считаем, что реальная система, способная к эволюционной самоорганизации, должна обрабатывать информационные потоки, которые многократно, по количеству образов (процессов) превосходят конечное число отображающих их нейронов (т.е. бистабильных элементов, конечных автоматов, нейроподобных элементов и т.п.). В реальной жизни в такую систему поступает информационный поток постоянной мощности. Как с ним справиться, переработать его, учитывая, что количество нейронов ограничено и много меньше необходимого для отображения - вот задача для эволюции (которую она, кстати, достаточно успешно решила).

Одним из возможных решений этой задачи мы видим в использовании свойства присущего иерархическим структурам. Имея k входов и один выход нейрон представляет собой свертку "k" образов в один. Иерархия, содержащая m уровней нейронных элементов, порождает степенную функцию компрессии - km .

Компрессия, это не просто сжатие (экономия), как самоцель, это, прежде всего, структуризация информации (данных) при решении любой задачи.

При изложенном подходе можно не задавать априорно жесткую структуру НС, а, предоставив достаточный ресурс из конструктивных элементов (нейронов), запустить процесс ее генерации под управлением текущих информационных потоков. Они определят и число нейронов в слое, и число слоев, и количество иерархий из них. Кстати, такая модель может объяснить, почему зрительная область находится "на затылке", а слуховая в височной области мозга. Структурно более сложная информация требует большего числа как можно менее зависимых этапов переработки, а соответственно максимально удаленных (от предыдущих этапов), что и определяет их прямолинейную протяженность. Но это пока, не более чем гипотеза.

На "круглом столе" неожиданно разгорелась дискуссия, сколько же необходимо нейронов для решения задач. Одни участники утверждали, что 2-3-х десятков вполне достаточно, и они просто не могут представить задачу, когда надо большее количество. Другие же, наоборот, стояли на том, что без тысяч или миллионов нейронов они даже не могут подступится к своим задачам.

Очевидно, что здесь речь шла о задачах разных классов. В организме одни можно представить, как задачи простейшей перцепции, когда действительно десятка элементов (нейронов) достаточно, чтобы в данном пространстве признаков настроиться на нужный образ.

И второй класс задач - это задачи ЦНС. Когда становятся огромными не только сами сложные пространства, отражающие предметную область, но и сам нейрон уже не может быть простым алгебраическим сумматором. Он должен уже отражать логически сложную последовательность приходящих активностей с периферии. Нейрон как обрабатывающий элемент должен эволюционировать от простого сумматора до сложного, информационно обратимого "векторного ассоциатора". Только после этого возможна дальнейшая эволюция информационных систем как биологических видов, от условно-рефлекторных к разумным.

Очевиден и вытекающий отсюда ответ на вопрос о необходимом числе нейронов. При переходе от простейших моделей (от насекомого и до голубя, сортирующего на конвейере детали), вполне достаточно ограниченного числа нейронов и уже известных моделей НС. В попытках моделирования человеческой психики (решения сложных задач), понятно, что десятком нейронов уже не обойтись, так как число одних только понятий (образов) у человека более миллиона.

Вот и вытекает простейшая количественная классификация задач для нейронных структур. Несложная независимая перцепция - десятки нейронов, соответственно, один класс НС. Интегральная обработка перцептивной информации со всех источников - миллионы и миллиарды образов, т.е. ЦНС - другой класс НС.

Следующий вопрос: - "Конекционизм или осцилляторная модель?". Почему или ? Конекционизм эффективен в статике, как основа механизма памяти, осцилляторная модель более эффективна в динамике, например при ранжировании по ассоциативной близости образов. Совмещение этих двух моделей позволяет строить инженерно простую и понятную конструкцию, которая уже решает множество задач.

Еще одна проблема, которую должен решить нейрокомпьютинг - это возможность автоматической структуризации большого числа входных признаков, - процедура недоступная, для ее логического осмысления человеком в реальном масштабе времени. В процессе структуризации происходит некоторая взаимоувязка и отображение активированных рецептивных признаков в один конкретный образ (нейрон). Причем пространство отображений минимально по количеству образов и достаточно функционально покрывает прагматику возможных действий конкретной информационной системы.

Введение ресурсного минимума, как количества функциональных элементов (нейронов) информационной системы отображающих ее предметную область, является уже достаточным условием для построения эффективной функции самообучения.

Вообще с развитием нейрокомпьютинга принципиально изменится парадигма проведения эксперимента. Раньше исследователь, анализируя предмет исследования и проводя эксперимент, направлял все свои усилия на выделение ограниченного числа наиболее информативных параметров и на повышение их точности (избирательности) аппаратуры и инструмента. С наших позиций можно отметить, принципиальную ограниченность этого подхода. Повышение избирательности (отношения сигнал/шум) приводит к усложнению приборов и повышению их стоимости. К тому же, 5-10 параметров (а обычно, вообще 1-3) не отражают динамических характеристик исследуемых объектов.

Так вот, в будущем нейрокомпьютинг открывает возможность оперирования практически неограниченным числом параметров, с соотношением сигнал/шум чуть больше единицы. Малая стоимость датчиков и достаточно эффективное самообучение нейронных сетей, позволят автоматизировать процесс построения модели исследуемой области. При этом задача экспериментатора будет сводиться к выбору предпочтительного решения из предъявляемого системой множества. Это новый, более эффективный этап в экспериментальных исследованиях.

Сегодня мир буквально задыхается под лавиной информации, не знаний (!). Это сверхбольшие потоки данных, неподдающиеся формальной структуризации, для которых характерна неполнота, уникальность и необычайная динамичность.

Другая немаловажная характеристика сегодняшнего мира – это области, где существует запрет на экспериментирование методом "проб и ошибок", так как каждая ошибка может привести к необратимым глобальным последствиям. С другой стороны, правильные и согласованные решения позволяют многократно улучшать характеристики всех жизненно важных для человечества процессов.

Следовательно, остается только путь "опережающего моделирования". Построение классических формальных моделей таких объектов невозможно вследствие, отсутствия теорий и аппарата для этого, а также вследствие психофизиологической ограниченности, как человека, так и коллективов специалистов. Единственным инструментом, удовлетворительно разрешающим весь этот спектр характерных проблем, может стать нейрокомпьютинг и, в частности, нейросемантические структуры (НСС), разрабатываемые в ИПУ РАН [1,2].

Концепция нейросемантических структур основана на способности естественных языков к самоописанию и на свойствах однородных вычислительных сред [3]. НСС обладает возможностью самоорганизации [2], что практически позволит решить обозначенные выше проблемы, в том числе и по структуризации и автоматизации обработки ("семантизации") лавинообразно нарастающих информационных потоков данных во всех областях человеческой деятельности. Качество самоорганизации НСС характеризуется повышением удельной информационной емкости нейроподобных элементов, отображающих информационные потоки. Механизмы самоорганизации основаны на иерархически-сетевых и нейро-лингвистических преобразованиях [2]. Все технически важные характеристики такой НСС как информационной системы (компрессия, надежность, время доступа) имеют тенденцию к улучшению по мере роста охватываемых ею объемов информации.

Если направить НСС на обработку сверхбольших неструктурированных потоков информации то сразу, в 10-20 раз, можно повысить производительность научно-исследовательской деятельности (так по данным наукометристов научные исследования дублируются на 90-95%). Соответственно такой же прогресс можно получить, во всех областях человеческой деятельности, т.к. работа с информацией охватывает уже более 50-80% трудового населения в экономически развитых странах и эта тенденция роста информационного сектора экономики сохраняется.

Аппаратные средства вычислительной техники уже способны хранить и обрабатывать информацию, накопленную человечеством за всю его историю. Необходимо только организовать этот глобальнейший процесс и здесь без нейрокомпьютинга не обойтись.

Границ у нейрокомпьютинга пока не видно. Если мы уже дедуктивно угадали (или еще угадаем) математическую модель нейрона и самоорганизующихся структур из него, то, перейдя от "биологической элементной базы" (100 Гц, и миллионы образов) на Гигагерцы и Тера-образы, которые к тому же, будут непрерывно работать по 24 часа в сутки, мы получим нечто похожее на Сверхразум, или же - Сверхсознание (с сознанием собственного "Я").

Это будет новая ветвь эволюции Разума.

Человек и Сверхразум будут взаимодополняемы, решающие общую задачу - познание Вселенной.

Человек от Сверхразума может получить новые более эффективные приемы мышления (также как племена, стоящие на уровне первобытных обществ, перенимая от "европейцев" их культуру мышления мгновенно качественно поднимались до их уровня обработки информации).

Для Сверхразума же Человек - это миллиарды его глаз, миллиарды его ощущений.

Союз Человека и Сверхразума - это новые открытия, эффективность которых невозможно сегодня даже предвидеть. Это ускорение НТП в степенной функции, "каждый день - удвоение знаний" (а не количества байт). Расширится горизонт нашего познания Метагалактики (как видимой части Вселенной в 15-20 миллиардов световых лет). А далее, уже не познание, а Творение.

"Фантастика, вымысел, ... ", - скажет кто-нибудь из читателей, и ОН будет прав, если МЫ не построим самоорганизующиеся информационные структуры, те то, что природа уже нашла и построила. Мы же должны построить, руководствуясь уже тем, что ОНА нам дала - разумом.

В.И. Бодякин,

Март 199г.

Литература:

1. Бодякин В.И. Информационные иерархически-сетевые структуры для представления знаний в информационных системах, // сб. тр. Проблемно-ориентированные программы (модели, интерфейс, обучение). М., 1990 ИПУ.

  1. Бодякин В.И. Куда идешь, человек? Основы эволюциологии (информационный подход) -М., СИНТЕГ, 1998, 332с., 61 рис., 21 прил., грант РФФИ №97-06-87017.
  2. Евреинов Э.В., Прангишвили И.В. Цифровые автоматы с настраиваемой структурой (однородные среды). М., 1974

 

назад    на уровень вверх    вперед

Вернуться на главную

Hosted by uCoz