концепции

Поделиться статьей в социальных сетях:

в избранное

Коннекционизм

Ссылка на оригинал: Stanford Encyclopedia of Philosophy

Впервые опубликовано 18 мая 1997 года; содержательно переработано 19 февраля 2015 года.

Коннекционизм — это направление в когнитивной науке, которое стремится объяснить интеллектуальные способности при помощи искусственных нейронных сетей (известных также как «нейронные сети» или «нейросети»). Нейронные сети представляют собой упрощенные модели мозга, состоящие из большого числа элементов (аналогов нейронов), а также связей, существующих между элементами, сила которых измеряется за счет того, что им приписывается определенный вес. Веса связей моделируют работу синапсов, которые связывают между собой нейроны. Эксперименты с моделями такого сорта продемонстрировали, что они способны обучаться таким навыкам, как распознавание лиц, чтение, выявление простых грамматических структур.

Философы заинтересовались коннекционизмом, поскольку это направление предлагает альтернативу классической теории психики: широко распространенному представлению о том, что психика есть нечто схожее с цифровым компьютером, обрабатывающим символьный язык. В последние годы идут активные дискуссии о том, как именно и до какой степени коннекционизм бросает вызов классической парадигме.

Описание нейронных сетей

Нейронная сеть состоит из большого числа элементов, объединенных в паттерны связей. Элементы сети обычно подразделяются на три класса: входные элементы, которые получают информацию для обработки; выходные элементы, которые содержат результаты обработки; и промежуточные скрытые элементы. Если бы нейронная сеть должна была моделировать всю нервную систему человека, то входные элементы были бы аналогом сенсорных нейронов, выходные элементы — аналогом моторных нейронов, а скрытые элементы — всех прочих нейронов.

Простая иллюстрация простой нейронной сети:

входные элементы; скрытые элементы; выходные элементы

Каждый входной элемент имеет определенное значение активации, представляющее некую внешнюю для данной системы характеристику. Входной элемент посылает свое значение активации каждому скрытому элементу, с которым он соединен. Каждый их этих скрытых элементов вычисляет собственное значение активации в зависимости от тех значений, что были получены им от входных элементов. Затем этот сигнал передается выходным элементам или следующему слою скрытых элементов. Те скрытые элементы таким же образом вычисляют свои значения активации и передают их далее своим соседям. В конце концов, сигнал, возникший на входных элементах, распространяется по всей системе и определяет значения активации на всех выходных элементах.

Паттерн активации, установленный системой, определяется весами, или силой связей между элементами. Веса могут быть либо положительными, либо отрицательными. Отрицательный вес представляет запрет на получение элемента за счет отправки элемента. Значение активации для каждого принимающего элемента вычисляется в соответствии с простой функцией активации. Функции активации отличаются в деталях, но все они соответствуют одной и той же базовой схеме. Функция суммирует вклад всех отправляющих элементов, при этом вклад элемента определяется как вес связи между отправляющим и принимающим элементами, умноженный на величину активации отправляющего элемента. Эта сумма впоследствии обычно меняется, например, при соотношении суммы активации со значением от 0 до 1 и/или при выставлении активации на 0 в тех случаях, когда пороговое значение для суммы не достигнуто.

Сторонники коннекционизма полагают, что реализацию когнитивных функций можно объяснить на наборе элементов, работающих подобным образом.

Тот вид сети, который проиллюстрирован выше, называется сеть с прямым распространением. Активация протекает непосредственно от входных элементов на скрытые элементы и затем на выходные элементы. Более реалистичные модели мозга включали бы множество слоев скрытых элементов, а также рекуррентные связи, которые отправляют сигналы более высоких уровней обратно на более низкие. Подобная рекурсия необходима для того, чтобы объяснить такие когнитивные особенности, как кратковременная память. В сетях с прямым распространением повторяющееся предъявление входного элемента порождает каждый раз один и тот же выход, однако даже простейшие организмы приучаются на повторяющееся предъявление одного и того же стимула реагировать (или учатся игнорировать его). Сторонники коннекционизма склонны избегать рекуррентных связей, поскольку общая проблема обучения рекуррентных сетей мало изучена. Тем не менее Элман (Elman 1991) и другие исследователи добились некоторого успеха с простыми рекуррентными сетями, в которых рекурсия строго ограничена.

Обучение нейронных сетей и метод обратного распространения ошибки

Основная цель исследований в рамках коннекционизма — обнаружить набор весов, необходимый для выполнения определенной задачи. К счастью, были разработаны такие алгоритмы обучения, которые могут вычислять необходимые веса для выполнения многих задач. (Доступный обзор см. в работе Hinton 1992.) Они распадаются на две большие категории: обучение нейронной сети с учителем и без учителя. Обучение Хебба — наиболее известная форма обучения сети без учителя. По мере того, как каждый вход представляется в сети, повышается вес связей между теми узлами, которые активны одновременно, а вес связей между узлами, которые не активны одновременно, понижается.

Такая форма обучения особенно эффективна при построении сетей, которые могут классифицировать вход на удобные категории. Наиболее широко используется алгоритм обучения с учителем, именуемый процессом обратного распространения ошибки. Для того чтобы использовать этот метод, необходим обучающий набор, содержащий много образцов входа и их желаемых выходов для определенной задачи. Этот внешний набор образцов выступает в роли «учителя» процесса обучения. Если, например, задача заключается в том, чтобы отличить мужские лица от женских, то обучающий набор может включать изображения лиц с указанием пола изображенного человека. Сеть, которая может научиться выполнять такую задачу, могла бы иметь два выходных элемента (указывающие на категорию — мужчина или женщина) и множество входных элементов, один из которых отведен под яркость каждого пикселя (крохотного участка) изображения. Те веса сети, которые необходимо обучить, изначально получают случайные значения, а затем элементы, входящие в обучающий набор, снова и снова воздействуют на сеть.

Значения входных элементов обучающего набора регистрируются на входных элементах сети, а выход сети сопоставляется с желаемым выходом этого элемента обучающего набора. Затем все веса в сети постепенно настраиваются так, чтобы приблизить значения выхода сети к желаемому значению выхода. Например, если входным элементам представлено мужское лицо, веса настраиваются так, чтобы значение выходного элемента «мужчина» повысилось, а значение выходного элемента «женщина» понизилось.

Например, она может хорошо справиться с различением мужчин и женщин на тех изображениях, которые не были представлены ей ранее.

Обучение сетей для моделирования тех или иных аспектов человеческого интеллекта представляет собой целое искусство. Успех метода обратного распространения ошибки и других методов обучения, которые используются в рамках коннекционизма, может зависеть от достаточно тонкой настройки алгоритма и обучающего набора. Обучение обычно включает сотни тысяч циклов настройки веса. Учитывая ограничения тех компьютеров, которые сейчас доступны для исследователей, являющихся сторонниками коннекционизма, обучение сети выполнению интересной задачи может занимать нескольких дней или даже недель. Часть трудностей может быть решена, если станут широко доступны параллельные схемы, спроектированные специально для того, чтобы управлять моделями нейронных сетей. Однако даже в этом случае придется столкнуться с некоторыми ограничениями коннекционистских теорий обучения. Люди (и гораздо менее разумные животные) демонстрируют способность обучаться на основе единичных событий: например, животное, съевшее нечто, что впоследствии вызовет желудочное расстройство, больше никогда не будет пробовать это. Коннекционистские техники обучения, такие как метод обратного распространения ошибки, далеки от того, чтобы объяснить такого рода обучение «с одного раза».

Примеры того, что могут делать нейронные сети

Сторонники коннекционизма добились значительных успехов в демонстрации возможностей нейронных сетей по овладению когнитивными задачами. Вот три общеизвестных эксперимента, которые породили среди сторонников коннекционизма уверенность в том, что нейронные сети являются хорошими моделями человеческого интеллекта. Одна из наиболее впечатляющих попыток — работа Сейновски и Розенберга в 1987 года (Sejnowski & Rosenberg 1987) над сетью под названием NETtalk, способной читать английский текст. Обучающий набор для NETtalk представлял собой большую базу данных, состоящую из английского текста в сочетании с соответствующим фонетическим выходом, написанным при помощи кода, совместимого с синтезатором речи.

Записи NETtalk на разных этапах ее обучения — очень интересный материал для прослушивания. Сначала выход представляет собой случайный шум. Потом сеть звучит так, как будто она бормочет, а еще позже — все еще как будто бессвязно говорит по-английски (мы слышим речь, образованную из звуков, напоминающих английские слова).

В конце обучения NETtalk довольно хорошо справляется с произнесением заданного ей текста. Более того, эта способность достаточно хорошо обобщается и распространяется на текст, который не был представлен в обучающем наборе.

Еще одна влиятельная модель, созданная первыми сторонниками коннекционизма — сеть, которую Румельхарт и МакКлелланд (Rumelhart & McClelland 1986) обучали предсказывать прошедшее время английских глаголов. Задача интересна тем, что хотя большинство английских глаголов (правильные глаголы) образуют прошедшее время за счет добавления суффикса ‘-ed’, многие из наиболее часто встречающихся глаголов являются неправильными (‘is’ / ‘was’, ‘come’ / ‘came’, ‘go’ / ‘went’). Сначала сеть обучалась на наборе, который содержал большое количество неправильных глаголов, а затем на наборе, который содержал 460 глаголов, в основном правильных. Сеть обучилась прошедшему времени 460 глаголов приблизительно за 200 обучающих циклов, и она довольно хорошо обобщала и распространяла свой навык на глаголы, не входившие в обучающий набор. Она даже демонстрировала хорошее понимание «закономерностей», встречающихся среди неправильных глаголов (‘send’ / ‘sent’, ‘build’ / ‘built’; ‘blow’ / ‘blew’, ‘fly’ / ‘flew’). В процессе обучения, по мере того как система подвергалась воздействию обучающего набора, содержащего больше правильных глаголов, она демонстрировала склонность к установлению чрезмерных закономерностей, то есть к сочетанию неправильных и правильных форм: (‘break’ / ‘broked’ вместо ‘break’ / ‘broke’). Это было исправлено за счет бόльшего количества обучающих циклов. Интересно отметить: дети, как известно, во время обучения языку демонстрируют такую же склонность к установлению чрезмерных закономерностей. Тем не менее, ведется активная полемика по поводу того, хорошо ли эксперимент Румельхарта и МакКлелланда моделирует то, как люди на самом деле учат окончания глаголов и обрабатывают их.

Например, Пинкер и Принс (Pinker & Prince 1988) указывают на то, что данная модель плохо справляется с обобщением и распространением своих навыков на некоторые новые правильные глаголы. Они считают, что это свидетельство принципиальной неисправности коннекционистских моделей. Сети могут хорошо справляться с созданием ассоциаций и согласованных паттернов, однако они фундаментальным образом ограничены в освоении общих правил, таких как образование прошедшего времени в случае правильных глаголов.

Несмотря на возражения Пинкера и Принса, многие сторонники коннекционизма считают, что правильное обобщение по-прежнему возможно (Niklasson & van Gelder 1994).

Важные следствия для дискуссии о том, могут ли нейронные сети научиться осваивать правила, имеет работа Элмана над сетями, которые могут оценить грамматическую структуру (Elman 1991). Элман обучил простую рекуррентную сеть предсказывать следующее слово в большом массиве английских предложений. Предложения формировались из простого словаря, включающего 23 слова, на основе использования ряда параметров английской грамматики. Простая грамматика стала трудным испытанием лингвистической осведомленности. Она позволяла образовывать неограниченное количество определительных придаточных предложений, требуя при этом согласования главного существительного и глагола. Так:

Существительное в форме единственного числа ‘man’ [человек] должно согласовываться с глаголом ‘runs’ [бежит], хотя промежуточные существительные имеют форму множественного числа (‘dogs’, ‘cats’) [собаками, кошками], что могло бы привести к выбору другой формы глагола — ‘run’ (бегут). Одной из важных особенностей модели Элмана является использование рекуррентных связей. Значения скрытых элементов сохраняются в наборе так называемых контекстных элементов, которые посылаются обратно на входной уровень для следующего цикла обработки. Это закольцовывание скрытого уровня на входной уровень обеспечивает сети рудиментарную форму памяти о последовательности слов во входном предложении. Сети Элмана демонстрировали способность оценить грамматическую структуру предложений, которые не содержались в обучающем наборе. Контроль синтаксиса сети был измерен следующим образом. Задача предсказать следующее слово в английском предложении является, конечно, невыполнимой. Однако этим сетям удалось это сделать, по крайней мере, при следующих условиях. В определенном месте входного предложения выходные элементы для слов, которые являются грамматическим продолжением предложения в этом месте, должны быть активны, а входные элементы для всех остальных слов — неактивны. После интенсивного обучения Элман смог создать сети, которые демонстрировали безупречную работу при данном условии, включая работу с предложениями, не входящими в обучающий набор. Работа Кристиансена и Чатера (Christiansen & Chater 1999a), а также Морриса и др. (Morris et al. 2000) расширяет область этого исследования до более сложных грамматик. Обзоры, дающие более пространное представление об успехах в обработке естественного языка в рамках коннекционизма, см. в работах Christiansen & Chater 1999b, Rhode & Plaut 2004.

Несмотря на то, что эти результаты впечатляют, еще предстоит пройти долгий путь, чтобы обучить сети, способные обрабатывать язык, подобный английскому. Более того, были высказаны сомнения в значимости результатов Элмана. Например, Маркус (Marcus 1998, 2001) утверждает, что сети Элмана не обладают способностью обобщать и распространять свою активность на предложения, образованные на основе нового словаря. Это, заявляет он, является признаком того, что коннекционистские модели просто соединяют конкретные образцы и не способны по-настоящему овладеть абстрактными правилами. С другой стороны, Филлипс (Phillips 2002) утверждает, что классические архитектуры в данном отношении ничем не лучше. Вследствие этого предполагаемая неспособность коннекционистских моделей обобщить и распространять результаты своей деятельности стала важной темой в рамках дискуссии о системности. (См. раздел 7 ниже.)

Опасение несколько иного рода, связанное с адекватностью коннекционистского языка обработки, делает акцент на задаче имитировать процесс научения ребенка простым искусственным грамматикам. Данные, касающиеся времени реакции, подтверждают, что дети могут научиться отличать хорошо образованные предложения от плохо образованных предложений в новом языке, созданном авторами экспериментов. Шульц и Бейл (Shultz & Bale 2001) сообщают об успехах при обучении нейронных сетей той же задаче. Вилку и Хэдли (Vilcu & Hadley 2005) возражают, что эта работа не демонстрирует истинного овладения грамматикой, однако Шульц и Бейл дают подробный ответ на это (Shultz & Bale 2006).

Модели нейронных сетей: преимущества и недостатки

Философы интересуются нейронными сетями, поскольку они могут предложить новый аппарат для понимания природы психики и ее связи с мозгом (Rumelhart & McClelland 1986, гл. 1). Кажется, что коннекционистские модели особенно хорошо согласуются с тем, что мы знаем о неврологии.

При столкновении с вызовами, возникающими в реальном мире, нейронные сети демонстрируют надежную гибкость. Зашумленный вход или разрушение элементов вызывают постепенную деградацию функционирования. Реакция сети остается по-прежнему адекватной, хотя и менее точной. Напротив, шум и сбой схематики обычно приводят к полному отказу классических компьютеров. Также нейронные сети особенно хорошо приспособлены к проблемам, требующим параллельного устранения несоответствий между многими конфликтующими условиями. Исследования искусственного интеллекта содержат предостаточно свидетельств того, что подобные проблемы возникают при решении когнитивных задач, таких как распознавание объектов, планирование и даже скоординированное движение. Хотя классические системы способны удовлетворять множественным условиям, сторонники коннекционизма утверждают, что модели нейронных сетей предлагают гораздо более естественные механизмы для решения подобных проблем.

На протяжении веков философы всячески пытались понять, как определяются наши понятия. Сегодня является общепризнанным то, что любая попытка охарактеризовать обычные понятия с точки зрения необходимых и достаточных условий обречена на провал. Исключения всегда поджидают практически любое предложенное определение. Например, можно предложить определение, в соответствии с которым тигр — это крупный представитель семейства кошачьих черно-рыжей окраски. Однако что насчет тигров-альбиносов? Философы и когнитивные психологи утверждают, что категории разграничиваются более гибко, например, через понятие семейного сходства или сходства с прототипом. Кажется, что коннекционистские модели особенно хорошо подстраиваются к такого рода градуированным понятиям принадлежности категории. Сети могут научиться оценивать едва различимые статистические паттерны, которые было бы очень трудно сформулировать как раз и навсегда установленные правила. Коннекционизм обещает объяснить гибкость и проницательность, присущие человеческому интеллекту, используя такие методы, которые не выражаются в форме правил, не терпящих исключения (Horgan & Tienson 1989, 1990), и, следовательно, нивелировать уязвимость стандартных форм символьной репрезентации.

Во-первых, большинство исследований нейронных сетей абстрагируются от многих интересных и, возможно, важных особенностей мозга. Например, сторонники коннекционизма обычно не пытаются смоделировать разнообразие нейронов головного мозга, а также работу нейромедиаторов и гормонов в явном виде. Кроме того, вовсе не очевидно, что мозг содержит тот тип обратных связей, который бы требовался, если бы мозг обучался посредством такого процесса как обратное распространение ошибки; огромное количество повторений, необходимое для подобных методов обучения, также кажется мало реалистичным. Если мы хотим сконструировать убедительные коннекционистские модели процессов когнитивной обработки у человека, на эти вопросы, вероятно, следует обратить. Необходимо опровергнуть и более серьезные возражения. Зачастую создается такое впечатление — особенно среди сторонников классической теории, — что нейронные сети не особенно хорошо справляются с обработкой, основанной на правилах, которая, как считается, лежит в основе языка, рассуждения и высших форм мышления. (См. хорошо известную критику такого рода: Pinker & Prince 1988.) Мы обсудим этот вопрос далее, когда обратимся к дискуссии о системности.

Основные разногласия между сторонниками коннекционизма и классической теории

В последние сорок лет господствует классическое представление о том, что (по крайней мере высшие) познавательные способности человека аналогичны символьным вычислениям цифровых компьютеров.

Сторонники классического подхода считают, что познавательные способности имеют сходство с цифровой обработкой, в процессе которой в соответствии с инструкциями (символьной) программы последовательно порождаются строки. С точки зрения сторонников коннекционизма, ментальная обработка представляет собой динамическое и постепенное развертывание активности в нейронной сети, активация каждого элемента которой в соответствии с функцией активации зависит от силы связей и активности его соседей.

На первый взгляд эти подходы кажутся совершенно разными. Однако многие сторонники коннекционизма не рассматривают результаты своей работы как вызов классическому подходу, а некоторые из них открыто поддерживают классическую картину мира. Сторонники так называемого имплементационного коннекционизма ищут возможный компромисс между двумя парадигмами. Они считают, что сеть мозга использует символьный процессор. Действительно, психика — это нейронная сеть; но на более высоком и более абстрактном уровне описания она также является символьным процессором. Таким образом, с точки зрения имплементационных коннекционистов, исследования в рамках коннекционизма должны выяснить, как на основе нейронных сетей могут возникать структуры, необходимые для символьной обработки. Тогда классическое понимание обработки можно будет свести к трактовке нейронных сетей.

Тем не менее многие сторонники коннекционизма противятся такому подходу. Это радикальные сторонники коннекционизма, которые утверждают, что объяснять работу психики через символьную обработку некорректно. Они жалуются, что классическая теория плохо объясняет постепенную деградацию функционирования, целостное представление данных, спонтанное обобщение, оценку контекста и многие другие особенности человеческого интеллекта, которые отражают их модели. С их точки зрения, неспособность классического программирования соответствовать гибкости и эффективности познавательных способностей человека, является показателем того, что когнитивная наука нуждается в новой парадигме. Соответственно, радикальные сторонники коннекционизма навсегда исключили бы символьную обработку из когнитивной науки.

Спор между сторонниками радикального и поборниками имплементационного коннекционизма осложняется изобретением так называемых гибридных коннекционистских архитектур, в которых элементы классической символьной обработки включены в нейронные сети (Wermter & Sun 2000). Например, Мииккулайнен (Miikkulainen 1993) является апологетом сложного набора нейросетевых модулей, которые обмениваются данными, закодированными в паттернах активации. Поскольку один из модулей выполняет функции памяти, система в целом напоминает классический процессор с отдельными структурами для хранения цифровых «слов» и для операций над ними. Смоленски (Smolensky 1991) известен тем, что изобрел так называемые методы тензорного произведения для моделирования процесса связывания переменных — символьная информация хранится в известных «локациях» и извлекается из них. Относительно недавно Элиасмит (Eliasmith 2013) предложил сложные и массивные архитектуры, использующие так называемые семантические указатели, которые имеют признаки классического связывания переменных. Как только на повестке дня возникают подобные гибридные архитектуры, описать определенную коннекционистскую модель как радикальную или просто как имплементационную становится все труднее. Это открывает интересную перспективу: вопрос о том, действительно ли человеческому мозгу присуща символьная обработка, может оказаться вопросом степени.

Коннекционистские репрезентации

Коннекционистские модели предлагают новую парадигму понимания того, как информация может быть представлена в мозге. Соблазнительная, но наивная идея заключается в том, что отдельные нейроны (или крошечные нейронные пучки) могут отводиться для репрезентации каждой вещи, которую мозг должен регистрировать. Например, представим себе, что есть бабушка-нейрон, который активируется, когда мы думаем о своей бабушке. Однако такая локальная репрезентация маловероятна. Есть веские доказательства того, что мысль о своей бабушке сопряжена со сложными паттернами активности, которые распространяются по довольно обширным участкам коры головного мозга.

Интересно отметить, что естественным результатом коннекционистских методов обучения выступают распределенные, а не локальные репрезентации на скрытых элементах. Примером служат паттерны активации, которые возникают на скрытых элементах в ходе того, как NETtalk обрабатывает текст. Анализ показывает, что сеть научилась представлять такие категории, как согласные и гласные звуки, не за счет создания одного элемента, активного для согласных, и другого элемента, активного для гласных, а за счет того, что выработала два различных паттерна, характеризующих активность на всех скрытых элементах.

Учитывая ожидания, сформировавшиеся на основе нашего опыта работы с локальными репрезентациями на печатной странице, распределенная репрезентация кажется новой и трудной для понимания. Однако эта техника демонстрирует важные преимущества. Например, при разрушении или перегрузке некоторых частей модели распределенные репрезентации (в отличие от символов, хранящихся в отдельных фиксированных местах памяти) остаются в довольно хорошей сохранности. Еще более важным является то, что отношения между репрезентациями кодируются в терминах сходства и различия между паттернами, поскольку репрезентации кодируются в паттернах, а не через возбуждение отдельных элементов. Таким образом, внутренние свойства репрезентации содержат информацию, чему посвящена эта репрезентация (Clark 1993: 19). Локальные репрезентации являются, напротив, конвенциональными. Никакие внутренние свойства репрезентации (возбуждение, или активация, элемента) не определяют ее связи с другими символами. Эта особенность распределенных репрезентаций — самопредставление — обещает решить философскую головоломку, касающуюся значения. В символической репрезентативной схеме все репрезентации состоят из символических атомов (как слова в языке). Значения многосоставных строк символов можно определить исходя из того, как они выстроены из своих составляющих, однако что фиксирует значения этих атомов?

Коннекционистские репрезентативные схемы позволяет обойти эту головоломку за счет того, что просто обходятся без атомов. Каждая распределенная репрезентация является паттерном активности на всех элементах, поэтому последовательного способа различать простые и сложные репрезентации не существует.

Субсимвольная природа распределенной репрезентации обеспечивает новый способ представления информации, обрабатываемой в мозге. Если моделировать активность каждого нейрона при помощи числа, то активность всего мозга можно задать гигантским вектором (или списком) чисел, по одному для каждого нейрона. Как вход, получаемый мозгом от сенсорных систем, так и его выход на отдельные мышечные нейроны, можно также рассматривать как векторы того же вида. Таким образом, мозг представляет собой векторный процессор, а проблемы психологии трансформируются в вопрос о том, какие операции с векторами объясняют те или иные аспекты человеческого познания.

Субсимвольная репрезентация имеет интересные следствия для классической гипотезы о том, что мозг должен содержать символьные репрезентации, сходные с предложениями языка. Коннекционизм и его трактовки природы репрезентаций подвергают сомнению это представление, которое часто называют гипотезой о языке мышления (или ЯМ). Сложно сказать, что именно представляет собой гипотеза о языке мышления, однако ван Гелдер (van Gelder 1990) предлагает критерий для определения того, когда следует считать, что мозг содержит предложения, похожие на репрезентации, — и это достаточно распространенный и влиятельный критерий. Так, следует считать, если репрезентация является знаком и тем самым означает составляющие этой репрезентации. Например, если я пишу «Джон любит Мэри», то я тем самым написал составляющие этого предложения: «Джон», «любит» и «Мэри». Распределенные репрезентации для сложных выражений, таких как «Джон любит Мэри», могут быть построены так, что не будут содержать никакой эксплицитной репрезентации своих частей (Smolensky 1991). Информация о составляющих частях может быть извлечена из репрезентаций, но нейросетевые модели сами по себе не нуждаются в эксплицитном извлечении этой информации для ее корректной обработки (Chalmers 1990). Это говорит о том, что нейросетевые модели выступают в качестве контрпримера в отношении представления о том, что язык мышления является необходимым условием для человеческого познания. Тем не менее данный вопрос все еще является предметом оживленных дискуссий (Fodor 1997).

Необычность распределенного и полученного методом суперпозиции хранения информации, предлагаемого сторонниками коннекционизма, естественно заставляет задуматься о жизнеспособности классических концепций символьных вычислений при описании мозга. Рэмси (Ramsey 1997) заявляет, что хотя мы можем приписывать нейронным сетям символьные репрезентации, такие приписывания не встречаются в рамках обоснованных объяснений поведения модели. Это утверждение важно, поскольку классическая трактовка когнитивной обработки (а также расхожие повседневные представления) допускают, что репрезентации играют объясняющую роль для понимания психики. Широко распространено мнение, что когнитивная наука по своей природе требует объяснений, апеллирующих к репрезентациям (Von Eckardt 2003). Если Рэмси прав, его аргумент можно использовать двояко: как в пользу нового и неклассического понимания психики, так и в пользу несостоятельности коннекционизма, поскольку он не может объяснить то, что должен объяснять. Тем не менее Хейброн (Haybron 2000) не соглашается с Рэмси и считает, что радикальные коннекционистские архитектуры отводят достаточно места репрезентациям, играющим объясняющую ролью. Рот (Roth 2005) выдвигает интересный тезис, что, вопреки первому впечатлению, поведение сети может совершенно логично объясняться за счет указания на компьютерную программу, даже если невозможно различить последовательность шагов вычислений во времени.

Ши (Shea 2007) указывает на то, что индивидуация распределенных репрезентаций должна определяться за счет того, как группируются паттерны активации на скрытых элементах. Именно отношения между группирующими регионами в пространстве возможных паттернов активации несут в себе содержание репрезентаций, а не сами активации или набор элементов, ответственных за активацию. Такая трактовка положительно сказывается на перспективах локализации содержания репрезентаций в нейронных сетях: становится возможным сопоставлять их локализации в сетях различных архитектур, каузально участвующих в обработке, что позволяет снять некоторые возражения против холистических трактовок значения.

Хорган и Тинсон (Horgan & Tienson 1989, 1990) в серии своих публикаций отстаивают точку зрения, которая именуется «репрезентации без правил». Согласно этой точке зрения, приверженцы классической теории справедливо полагают, что человеческий мозг (и его хорошие коннекционистские модели) содержит устойчивые с точки зрения объяснения репрезентации; однако они ошибаются, когда полагают, что эти репрезентации занесены в список раз и навсегда установленных правил, подобно тому, что имеет место в случае шагов компьютерной программы. Представление о том, что коннекционистские системы могут следовать дифференцированным или приблизительным закономерностям («мягким законам», как их называют Хорган и Тинсон), интуитивно и привлекательно. Однако Айзава (Aizawa 1994) утверждает, что произвольную нейронную сеть с описанием уровня репрезентации всегда возможно снабдить раз и навсегда установленными правилами для этого уровня. Гуарини (Guarini 2001) отвечает на это, что интерпретация Айзавы потеряет свое значение, если мы обратим внимание на понятия следования правилам, использующимся в когнитивном моделировании.

Дискуссия о системности

Основные спорные моменты, представленные в философской литературе о коннекционизме, касаются вопроса о том, обеспечивает ли он новую и жизнеспособную парадигму для понимания психики. Одно из возражений заключается в том, что коннекционистские модели хороши лишь для обработки ассоциаций. Однако задачи, связанные с языком и рассуждением, не могут быть решены только за счет ассоциативных методов и потому едва ли коннекционистские модели могут достойно соперничать с классическими моделями при объяснении этих высших познавательные способностей. Тем не менее довольно просто доказать, что нейронные сети могут делать все то же, что и символьные процессоры, поскольку можно построить сети, имитирующие компьютерные микросхемы. Таким образом, возражение не может заключаться в том, что коннекционистские модели не способны объяснить высшие познавательные способностей; скорее, оно заключается в том, что они могут объяснять такие способности, только если реализуют классические инструменты символьной обработки. Имплементационный коннекционизм может здесь преуспеть, однако сторонники радикального коннекционизма никогда не смогут дать объяснение психики.

Подобные споры были инициированы часто цитируемой работой Фодора и Пылишина (Фодор, Пылишин 1995). Они указывают на особую характеристику человеческого интеллекта, которую называют системностью и которую, с их точки зрения, не может объяснить коннекционизм.

Например, никто из тех, кто владеет английским языком и понимает предложение «Джон любит Мэри», не может не понимать предложение «Мэри любит Джона». С точки зрения классической теории, связь между этими двумя способностями можно легко объяснить, предположив, что носители английского языка представляют составляющие («Джон», «любит» и «Мэри») предложения «Джон любит Мэри» и вычисляют значение предложения исходя из значений его составляющих. Если это так, то понимание нового предложения, такого как «Мэри любит Джона», можно рассматривать как еще один пример того же самого символьного процесса. Аналогичным образом, символьная обработка будет объяснять системность рассуждений, обучения и мышления. С ее помощью можно было бы объяснить, почему нет людей, способных вывести P из P & (Q & R), но не способных вывести P из P & Q; почему нет людей, способных научиться отдавать предпочтение красному кубу в сравнении с зеленым квадратом, но не способных научиться отдавать предпочтение зеленому кубу в сравнении с красным квадратом; наконец, почему нет никого, кто мог бы считать, что Джон любит Мэри и не мог бы также считать, что Мэри любит Джона.

Фодор и Маклафлин (Fodor & McLaughlin 1990) подробно рассуждают о том, что сторонники коннекционизма не объясняют системность. Коннекционистские модели можно обучить системности, однако их также можно обучить распознавать предложение «Джон любит Мэри» и при этом не распознавать предложение «Мэри любит Джона». Поскольку коннекционизм не гарантирует системности, он не объясняет, почему системность так широко распространена в человеческом познании. Системность может существовать в коннекционистских архитектурах, но там, где она существует, это просто счастливое стечение обстоятельств. Классическое решение намного лучше, поскольку в классических моделях уже есть повсеместная системность.

Обвинение в том, что коннекционистские сети не могут предоставить удачное объяснение системности, вызвало большой интерес. Чалмерс (Chalmers 1993) указывает на то, что аргумент Фодора и Пылишина доказывает слишком много, поскольку подразумевает, что все нейронные сети, даже те, что реализуют классическую архитектуру, не демонстрируют системности. С учетом бесспорного тезиса, что мозг является нейронной сетью, из их положения следовало бы, что системность человеческого мышления невозможна. Другой часто упоминаемый аспект контраргументации (Aizawa 1997, Matthews 1997, Hadley 1997b) заключается в том, что классическая архитектура объясняет системность ничуть не лучше. Существуют также классические модели, которые можно запрограммировать на распознавание предложения «Джон любит Мэри» и нераспознавание предложения «Мэри любит Джона», — это зависит от того, какие именно символьные правила управляют классической обработкой. Аргумент заключается в том, что ни использование лишь коннекционистской архитектуры, ни лишь классической архитектуры не накладывает ограничения, достаточно сильного для того, чтобы объяснить распространенную системность. Чтобы обеспечить одинаковый подход к предложениям «Мэри любит Джона» и «Джон любит Мэри», в рамках обеих архитектур необходимо сделать дальнейшие предположения, касающиеся природы обработки.

При обсуждении этой проблемы необходимо упомянуть, что Фодор и Маклафлин настаивают на том, что системность необходимо трактовать в рамках общепринятой необходимости, то есть как закон природы. Возражение против сторонников коннекционизма таково: хотя они возможно внедряют системы, демонстрирующие системность, они смогут объяснять ее только если системность следует из их моделей как общепринятая необходимость. Потребность в общепринятой необходимости очень высока, но классическая архитектура также явно не может удовлетворить ее. Таким образом, единственной тактикой сторонников коннекционизма, позволяющей им защититься от веских возражений по этим пунктам, было бы ослабление требований к объяснению системности — их снижение до того уровня, которому могли бы соответствовать классические архитектуры, а коннекционистские не могли бы. Однако еще предстоит привести убедительные доказательства такой возможности.

По мере развития дискуссии о системности, внимание оказалось сосредоточено на определении критериев, которые могли бы соответствовать требованиям Фодора и Пылишина. Хэдли (Hadley 1994a, 1994b) различает три вида системности. Сторонники коннекционизма уже наглядно продемонстрировали самый слабый из них, показав, что нейронные сети могут научиться правильно распознавать новые последовательности слов (например, «Мэри любит Джона»), которых не было в обучающем наборе. Тем не менее Хэдли утверждает, что убедительная линия контрагументации должна демонстрировать высокий уровень системности, еще лучше — высокий уровень семантической системности. Высокий уровень системности требует (по меньшей мере), чтобы предложение «Мэри любит Джона» распознавалось, даже если слово «Мэри» никогда не появлялось в качестве подлежащего ни в одном предложении из обучающего набора. Высокий уровень семантической системности требует, чтобы сеть не просто могла отличать грамматические формы от неграмматических, но также демонстрировала способность к корректной семантической обработке новых предложений.

Никлассон и ван Гелдер (Niklasson & van Gelder 1994) утверждают, что они добились успеха с высоким уровнем системности, хотя Хэдли жалуется, что речь в лучшем случае идет о пограничном случае. Хэдли и Хэйворд (Hadley & Hayward 1997) прорабатывают проблему высокого уровня семантической системности, однако, по признанию самого Хэдли, неясно, удалось ли им избежать использования классической архитектуры. Боден и Никлассон (Boden & Niklasson 2000) утверждают, что построили модель, которая по крайней мере по соответствует идее высокого уровня семантической системности, но Хэдли (Hadley 2004) говорит о том, что там не был продемонстрирован даже высокий уровень системности.

Исследования сетей, которые явным образом демонстрируют высокий уровень системности, продолжились. Дженсен и Уоттер (Jansen & Watter 2012) дают хороший обзор и предлагают интересную основу для решения проблемы. Они используют более сложную архитектуру, которая сочетает самоорганизующиеся карты, работающие без учителя, и особенности простых рекуррентных сетей.

Однако основное нововведение заключается в том, что коды обрабатываемых слов могут представлять сенсомоторные характеристики того, что представляют собой слова. После обучения их сети показывали очень высокую точность распознавания грамматических особенностей предложений, в составе которых были слова, никогда прежде не появлявшиеся в обучающем наборе. Это может показаться мошенничеством, поскольку коды слов могут тайком представлять грамматические категории или по меньшей мере они могут недобросовестно содействовать обучению этим категориям.

Дженсен и Уоттер, однако, отмечают, что сенсомоторные характеристики того, что представляет собой слово, очевидны для ребенка, только что освоившего новое слово, и потому наличие такой информации не нарушает модель языкового обучения. Они делают интересное наблюдение: возможно, что решение проблемы системности потребует учитывать источники информации об окружающей среде, которые до сих пор игнорировались в рамках теорий языкового обучения. Работа Дженсена и Уоттера осложняет дискуссию о системности, порождая новое беспокойство о том, какие источники информации оправданно использовать для решения рассматриваемой проблемы. Однако это напоминает нам о том, что архитектура сама по себе (будь то классическая или коннекционистская) в любом случае не решит проблему системности, соответственно, возникают интересные вопросы о том, какие источники дополнительной информации необходимы, чтобы изучение грамматики стало возможным.

Кент Джонсон (Johnson 2004) утверждает, что вся дискуссия о системности некорректна. Попытки дать точное определение системности языка или мышления приводят либо к банальности, либо к заблуждениям. Сторонникам коннекционизма, безусловно, предстоит объяснить ее, однако с точки зрения Джонсона бесполезно считать, что слабые стороны коннекционизма связаны лишь с проблемой системности. Айзава (Aizawa 2014) также полагает, что эта дискуссия, учитывая нынешнее положение дел в когнитивной науке, больше не релевантна. На самом деле необходимо разрабатывать нейронно правдоподобные коннекционистские модели, способные обрабатывать язык с рекурсивным синтаксисом и немедленно реагировать на появление новых элементов в словаре, не используя при этом черты классической архитектуры. Возможно, эпоха дискуссии о «системности» уже закончилась, как это и провозглашает Джонсон, поскольку требование высокого уровня семантической системности, выдвинутое Хэдли, можно рассматривать как требование того, чтобы сторонники коннекционизма преуспели в этом направлении.

С начала дискуссии о системности прошло более двадцати пяти лет, и за это время на оригинальную работу Фодора и Пылишина ссылались более 2600 раз — потому это краткое изложение по определению является неполным и безусловно предвзятым. Айзава (Aizawa 2003) дает прекрасный обзор литературы, еще один свежий источник — это Кальво и Саймонс (Calvo & Symons 2014).

Коннекционизм и семантическое сходство

Одно из преимуществ распределенных репрезентаций в коннекционистских моделях заключается в том, что они предлагают решение проблемы определения значений состояний мозга. Идея заключается в том, что сходства и различия между паттернами активации при разных аспектах нейронной активности регистрируют семантическую информацию.

Таким образом, свойства сходства нейронных активаций обеспечивают внутренние свойства, фиксирующие смысл.

Тем не менее Фодор и Лепор (Fodor & Lepore 1992: ch. 6) подвергают сомнению трактовки, основанные на сходстве, причем сразу по двум направлениям.

Первая проблема заключается в том, что человеческий мозг, по всей видимости, существенно разнится с точки зрения количества нейронов и связей между ними. Хотя определить критерии сходства двух сетей, содержащих одинаковое количество элементов, довольно просто, понять как это можно сделать, когда базовые архитектуры двух сетей отличаются друг от друга, уже сложнее.

Вторая проблема, на которую ссылаются Фодор и Лепор, заключается в том, что даже если возможно успешно создать критерии сходства для значений, они не будут соответствовать тем требованиям, которым должна удовлетворять теория значений.

Чёрчленд (Churchland 1998) демонстрирует, что первое из этих двух возражений можно снять. Ссылаясь на работу Лааксо и Коттрелла (Laakso & Cottrell 2000), он объясняет, как можно определить критерии сходства между паттернами активации в сетях с принципиально различными структурами. Кроме этого, Лааксо и Коттрелл показывают, что в сетях с различными структурами, которые прошли обучение одной и той же задаче, развиваются паттерны активации, очень похожие на предложенные ими критерии. Это дает надежду на то, что возможно выработать критерии сходства понятий и мыслей разных индивидов, которые будут иметь хорошее эмпирическое определение.

С другой стороны, развитие традиционной теории значений, которая основана на сходстве, сталкивается с существенными препятствиями (Fodor & Lepore 1999), поскольку подобная теория должна была бы приписывать предложениям такие условия истины, которые основываются на анализе значений их частей.

При этом остается неясно, достаточно ли сходства самого по себе для выполнения таких задач, как, например, фиксация денотата, причем таким образом, которого требует стандартная теория. Тем не менее большинство сторонников коннекционизма, которые поддерживают трактовки значения, основанные на сходстве, отвергают многие допущения стандартных теорий. Они надеются сконструировать рабочую альтернативу, которая либо опровергнет, либо изменит эти допущения, и при этом сохранит верность данным о языковых способностях человека.

Кальво Гарзон (Calvo Garzon 2003) сетует, что существуют основания полагать, что сторонники коннекционизма должны потерпеть неудачу. Ответ Чёрчленда не решает проблему, касающуюся дополнительных источников. Эта проблема заключается в том, что уровень критериальных сходств паттернов активации некоего понятия (скажем — «бабушка») в мозге двух людей гарантированно будет очень низким, поскольку (дополнительная) информация о бабушке (имя, внешний вид, возраст, характер), которой обладают два человека, будет очень разной.

Это действительно серьезная проблема для любой теории, которая стремится определить значение через функциональные отношения между состояниями мозга. С ней приходится бороться философам самых разных направлений. Учитывая недостаток хорошо разработанных теории понятий как в рамках традиционной парадигмы, так и в рамках коннекционизма, справедливо будет оставить этот вопрос для будущих исследований.

Коннекционизм и отказ от обыденной психологии

Статус обыденной психологии (folk psychology) — еще один важный пример того, как в философских дебатах о психике используются коннекционистские исследования. Обыденная психология — это концептуальная структура, которую мы спонтанно применяем для понимания и прогнозирования человеческого поведения. Например, знание о том, что Джон хочет пива, и о том, что по его представлению оно есть в холодильнике, позволяет нам объяснить, почему Джон только что пошел на кухню.

Подобное знание в существенной степени зависит от нашей способности воспринимать других людей, приписывая им желания и цели, планы, как их удовлетворить, а также убеждения, которыми они руководствуются при реализации планов.

Сторонники обыденной психологии будут утверждать, что она слишком хороша, чтобы быть ложной (Fodor 1988: ch. 1). Что еще можно требовать для доказательства истинности теории сверх того, что она должна обеспечивать непреложную рамку для успешных переговоров с другими людьми? Однако элиминативисты ответят на это, что успешное и широкое применение понятийной схемы не является аргументом в пользу ее истинности (Churchland 1989: ch. 1). Древние астрономы считали понятие небесных сфер пригодным (и даже необходимым) для развития своей дисциплины, однако теперь мы знаем, что небесных сфер не существует. С точки зрения элиминативистов, преданность обыденной психологии, как и преданность обыденной физике (аристотелианской), препятствует научному прогрессу. Возможно, концептуальные основы жизнеспособной психологии требуют радикального пересмотра, сопоставимого с революцией, произошедшей в квантовой механике.

Элиминативисты заинтересованы в коннекционизме, поскольку он сулит концептуальную основу, которая могла бы прийти на смену обыденной психологии. Например, Рэмси с соавторами (Ramsey et al. 1991) утверждают, что определенные сети с прямым распространением демонстрируют: простые когнитивные задачи могут осуществляться без использования тех характеристик, которые могли бы соответствовать убеждениям, желаниям и планам. Учитывая то, что такие сети сохраняют верность тому, как работает мозг, понятия обыденной психологии справедливы не больше, чем понятие небесных сфер.

Вопрос о том, подрывают ли этим коннекционистские модели обыденную психологию, остается спорным. Существуют две основные реакции на утверждение, что коннекционистские модели обосновывают выводы элиминативистов. Первое возражение заключается в том, что модели, используемые Рэмси и др. — это сети с прямым распространением, и они не могут убедительно объяснить некоторые самые основные признаки познавательной способности (например, кратковременную память). Рэмси и др. не заявляли, что в классе сетей, соответствующих человеческому познанию, убеждения и желания должны отсутствовать. Вторая линия контраргументации оспаривает утверждение о том, что признаки, соответствующие убеждениям и желаниям, должны непременно отсутствовать даже в рассматриваемых сетях с прямым распространением (Von Eckardt 2005).

Вопрос еще больше усложняется из-за разногласий, касающихся природы обыденной психологии. Многие философы рассматривают убеждения и желания, существование которых постулирует обыденная психология, как состояния мозга с символьным содержанием. Например, убеждение, что в холодильнике есть пиво, считается состоянием мозга, которое содержит символы, соответствующие пиву и холодильнику. В рамках такой перспективы судьба обыденной психологии тесно связана с гипотезой о символьной обработке.

Соответственно, если сторонники коннекционизма смогут установить, что сущность обработки, осуществляемой в мозге, несимвольная, то в этом случае будут иметь место элиминативистские выводы. С другой стороны, не все философы считают, что обыденная психология является символьной по своему существу, а некоторые в первую очередь оспорили бы то, что обыденную психологию можно рассматривать как теорию. При таком подходе оказывается гораздо труднее установить связь между результатами коннекционистских исследований и отказом от обыденной психологии.

Модели познания, использующие кодирование с предсказанием

Кодирование с предсказанием — это хорошо отлаженный инструмент обработки информации с широким спектром применения. Оно полезно, например, для сжатия массивов данных. Предположим, вы хотите передать изображение пейзажа с синим небом. Поскольку большинство пикселей в верхней части изображения имеют приблизительно одинаковый оттенок, каждый раз записывать значение цвета (скажем, красный: 46, зеленый: 78, синий: FF — в шестнадцатеричной системе) для каждого из них крайне неэффективно. Поскольку значение одного пикселя предсказывает значение его соседа с очень высокой вероятностью, эффективно будет записывать для местоположения каждого пикселя разницу между предсказанным значением (среднее значение соседей) и фактическим значением. (Даже в случае, если небо затененное, нам нужно будет лишь один раз записать синее значение, за ним последует много нулей.) Таким образом, основные ресурсы кодирования нужны только для того, чтобы отслеживать те точки изображения, где есть существенные изменения (например, края), то есть точки «неожиданности» или «непредвиденного» изменения.

Хорошо известно, что первичная визуальная обработка в головном мозге включает обнаружение различий между близкими значениями (например, чтобы определить зрительные границы). Следовательно, вполне естественно исследовать, как мозг мог бы использовать преимущества кодирования с предсказанием при восприятии, умозаключении или даже в действиях. (См. Clark 2013, где приводится отличный обзор и дается отправная точка для изучения литературы.)

Предположим, что мы имеем нейронную сеть с входным уровнем, скрытым уровнем и выходным уровнем, которая была обучена некой задаче (скажем, распознавать лица), и поэтому предположительно в весах, соединяющих узлы скрытого уровня, хранится информация о лицах. Эту сеть можно будет классифицировать как модель кодирования с предсказанием (КП), если у нее обнаружатся три характеристики.

Во-первых, если у модели будут нисходящие связи от более высоких уровней, которые способны прогнозировать следующий вход для этой задачи. (Прогноз может представлять собой репрезентацию общего лица.)

Во-вторых, данные, посылаемые на более высокие уровни при определенном входе — это не значение, записанное на входных узлах, а разница между предсказанными значениями и реально существующими. (Соответственно, в нашем примере представленные данные отслеживают различия между распознаваемым лицом и общим лицом).

Таким образом, получаемые сетью данные уже прошли предварительную обработку, что повышает эффективность кодирования.

В-третьих, модель обучается за счет корректировки весов так, чтобы ошибка на входах минимизировалась. Иными словами, обученная сеть максимально уменьшает «неожиданность», записанную в качестве разницы между необработанными входными данными и соответствующим предсказанием. Тем самым она обучается предсказывать лицо человека, которое необходимо будет распознать, чтобы устранить ошибку. Некоторые сторонники моделей кодирования с предсказанием полагают, что подобная схема обеспечивает единообразную трактовку всех когнитивных явлений, включая восприятие, рассуждение, планирование и регуляцию движения.

Минимизируя ошибку прогнозирования при взаимодействии с окружающей средой, сеть вынуждена развивать концептуальные ресурсы для моделирования каузальной структуры внешнего мира и, соответственно, более эффективно ориентироваться в этом мире.

Парадигма кодирования с предсказанием (КП) привлекла к себе большое внимание. Существуют многочисленные свидетельства того, что модели КП запечатлевают существенные детали зрительной функции мозга млекопитающих (Rao & Ballard 1999; Huang & Rao 2011). Например, при обучении на стандартном визуальном входе модели КП спонтанно формируют функциональные зоны для края, ориентации и обнаружения движения, которые, как известно, существуют в зрительной коре головного мозга. Это исследование также поднимает интересный вопрос о том, что визуальная архитектура может развиваться как реакция на статистику встреченных сцен, соответственно организмы в различных средах имеют визуальные системы, специально настроенные в соответствии с их потребностями.

Следует признать, что убедительных доказательств того, что существенные характеристики моделей КП работают так же, как анатомические структуры мозга, до сих пор не существует. Существуют догадки, что пирамидальные клетки поверхностных слоев могут передавать ошибку предсказания, а пирамидальные клетки глубоких слоев — предсказания, однако действительно ли они функционируют подобным образом, нам неизвестно. С другой стороны, модели КП действительно более убедительно описывают работу нейронов, чем архитектуры обратного распространения ошибки, поскольку не нуждаются в отдельном процессе обучения на предложенном извне наборе образцов. Вместо этого роль обучающего набора выполняют предсказания, соответственно, обучение и взаимодействие с окружающей средой являются двумя сторонами единого процесса без учителя.

Модели КП также сулят возможность объяснения когнитивных феноменов более высокого уровня. Часто ссылаются на пример бинокулярного соперничества. Если каждому глазу представлено два совершенно разных изображения, люди видят колебания, которые возникают из-за того, что каждое изображение попеременно попадает в «фокус». Объяснение КП таково: за счет предсказания сцены системе удается устранить ошибку для одного глаза, однако это увеличивает ошибку для другого глаза. В итоге система оказывается нестабильной, «блуждая» от одного предсказания к другому. Кодирование с предсказанием также дает очевидное объяснение того, почему мы не осведомлены о собственной слепой зоне — отсутствие входа в этой зоне равносильно сообщению об отсутствии ошибки, в результате чего человек воспринимает «то же самое, но в большем объеме».

Также КП объясняет внимание. Например, Хоуай (Hohwy 2012) замечает, что реалистичные модели КП, которые должны выдерживать зашумленные входы, также должны включать параметры, отслеживающие желаемую точность сообщения об ошибке. Следовательно, модели КП должны делать прогнозы точности ошибок, релевантные конкретной ситуации. Хоуай исследует представление о том, что механизмы оптимизации точности ожидания связаны с механизмами, объясняющими внимание, и утверждает, что в рамках парадигмы КП можно объяснить такие феномены внимания, как, например, слепоту к изменению.

Сам процесс сбора данных о мире не может обойтись без развертывания его концептуальной категоризации, которая воплощается на более высоких уровнях сети. Это также подчеркивает тесную связь между убеждениями, способностью воображения и восприятием (Grush 2004). Парадигма КП также скорее подкрепляет концепции ситуативного или воплощенного познания, поскольку она рассматривает действие как динамическое взаимодействие между воздействием организма на окружающую среду, его предсказаниями относительно этих воздействий (его планами) и постоянным мониторингом ошибок, обеспечивающим обратную связь для достижения успехов.

Пока еще слишком рано оценивать важность КП моделей и их возможности объяснения тех или иных аспектов познания. В конце концов, требование обеспечить единообразную теорию функционирования мозга в целом ставит невероятно сложную задачу. Соответствующая статья Кларка (Clark 2013) дает полезный обзор возникающих нареканий, касающихся моделей КП, а также приводит некоторые возможные ответы на них. Одно из частых возражений заключается в том, что организм, мозг которого работает при помощи КП, оказавшись в темной комнате, ужаснется и умрет, поскольку это лучший способ свести к минимуму ошибки на сенсорных входах. Однако такое представление дел слишком узко трактует доступную организму степень сложности предсказаний. Если организм в принципе хочет выжить, то сочетание его генетического фонда и того, чему он научился на своем пути, вполне могут привести к тому, что он выйдет и будет искать необходимые ресурсы в окружающей среде. Стремление свести к минимуму ошибку этого предсказания его поведения выведет его из темной комнаты. Тем не менее еще предстоит выяснить, насколько практично теория биологических побуждений преобразовывается в терминологии КП — или же теорию КП лучше рассматривать только как часть объяснения. Еще одно возражение таково: нисходящее влияние на наше восприятие в сочетании с ограничением, заданным тем, что мозг вместо необработанных данных получает сигналы об ошибке, заставляет ввести нереалистичное различение, а именно — с одной стороны, представленный мир фантазии, с другой — такой мир, каким он является на самом деле. Трудно оценить, может ли это возражение считаться серьезным. Если бы модели КП действительно объясняли наш феноменологический опыт и описывали связи между этим опытом и тем, что мы считаем реальным, то скептические выводы считались бы особенностями этой позиции, а не возражениями против нее. Некоторые респонденты, откликнувшиеся на соответствующую статью Кларка, также обеспокоены тем, что модели КП считаются слишком общими: стремясь объяснить все, они не объясняют ничего. Не накладывая на архитектуру достаточного количества ограничений, слишком легко притвориться, что мы объясняем когнитивные феномены, просто переописывая их в терминах прогнозирования, сравнения, минимизации ошибок и оптимизированной точности. Реальное доказательство появится лишь по мере разработки более сложных и подробных компьютерных моделей в рамках КП, которые будут правдоподобны с биологической точки зрения и смогут продемонстрировать ключевые характеристики способности познания.

Библиография

• Фодор, Дж., Пылишин, З., 1995, «Коннекционизм и когнитивная структура: критический обзор» в Язык и интеллект (сост. и вступ. ст. В.В. Петрова; пер. с англ. и нем. яз. под общ. ред. В.И. Герасимова, В.П. Нерознака), Москва: Прогресс; Универс.

• Aizawa, K., 1994, “Representations without Rules, Connectionism and the Syntactic Argument,” Synthese, 101: 465–492.

• –––, 1997, “Explaining Systematicity,” Mind and Language, 12: 115–136.

• –––, 1997a, “Exhibiting versus Explaining Systematicity: A Reply to Hadley and Hayward,” Minds and Machines, 7: 39–55.

• –––, 2014, “A Tough Time to be Talking Systematicity,” in Calvo and Symons 2014, 77-101.

• Bechtel, W., 1987, “Connectionism and the Philosophy of Mind: an Overview,” The Southern Journal of Philosophy, 26 (Supplement): 17–41.

• –––, 1988, “Connectionism and Rules and Representation Systems: Are They Compatible?,” Philosophical Psychology, 1: 5–15.

• Bechtel, W., and Abrahamsen, A., 1990, Connectionism and the Mind: An Introduction to Parallel Processing in Networks, Cambridge, Mass.: Blackwell.

• Boden, M. and Niklasson, L., 2000, “Semantic Systematicity and Context in Connectionist Networks,” Connection Science, 12: 111–142.

• Butler, K., 1991, “Towards a Connectionist Cognitive Architecture,” Mind and Language, 6: 252–272.

• Calvo Garzon, F., 2003, “Connectionist Semantics and the Collateral Information Challenge,” Mind and Language, 18: 77–94.

• Calvo, P. and Symons, J., 2014, The Architecture of Cognition: Rethinking Fodor and Pylyshyn’s Systematicity Challenge, Cambridge: MIT Press 2014.

• Chalmers, D., 1990, “Syntactic Transformations on Distributed Representations,” Connection Science, 2: 53–62.

• –––, 1993, “Why Fodor and Pylyshyn Were Wrong: The Simplest Refutation,” Philosophical Psychology, 6(3): 305–319.

• Christiansen, M., and Chater, N., 1994, “Generalization and Connectionist Language Learning,” Mind and Language, 9: 273–287.

• –––, 1999a, “Toward a Connectionist Model of Recursion in Human Linguistic Performance,” Cognitive Science, 23: 157-205.

• –––, 1999b, “Connectionist Natural Language Processing: The State of the Art,” Cognitive Science, 23: 417-437.

• Churchland, P.M., 1995, The Engine of Reason, the Seat of the Soul : a Philosophical Journey into the Brain, Cambridge, Mass.: MIT Press.

• –––, 1998, “Conceptual Similarity across Sensory and Neural Diversity: The Fodor/Lepore Challenge Answered,” Journal of Philosophy, 95: 5–32.

• –––, 1989, A Neurocomputational Perspective: The Nature of Mind and the Structure of Science, Cambridge, Mass.: MIT Press.

• Clark, A., 1989, Microcognition, Cambridge, Mass.: MIT Press.

• –––, 1993, Associative Engines, Cambridge, Mass.: MIT Press.

• –––, 1995, “Connectionist Minds,” in McDonald (1995), 339–356.

• –––, 2013, “Whatever Next? Predictive Brains, Situated Agents, and the Future of Cognitive Science,” Behavioral and Brain Sciences, 36(3): 1–73, doi: 10.1017?S0140525X12000477.

• Clark, A., and Lutz, R. (eds.), 1992, Connectionism in Context, Springer.

• Cotrell G., and Small, S., 1983, “A Connectionist Scheme for Modeling Word Sense Disambiguation,” Cognition and Brain Theory, 6: 89–120.

• Cummins, R., 1991, “The Role of Representation in Connectionist Explanations of Cognitive Capacities,” in Ramsey, Stich and Rumelhart (1991), 91–114.

• –––, 1996, “Systematicity,” Journal of Philosophy, 93(22): 561–614.

• Cummins, R., and Schwarz, G., 1991, “Connectionism, Computation, and Cognition,” in T. Horgan and J. Tienson (1991), 60–73.

• Davies, M., 1989, “Connectionism, Modularity and Tacit Knowledge,” British Journal for the Philosophy of Science, 40: 541–555.

• –––, 1991, “Concepts, Connectionism and the Language of Thought,” in Ramsey et al. (1991), 229–257.

• Dinsmore, J. (ed.), 1992, The Symbolic and Connectionist Paradigms: Closing the Gap, Hillsdale, NJ: Erlbaum.

• Eliasmith, C., 2007, “How to Build a Brain: From Function to Implementation,” Synthese, 159(3): 373-388.

• –––, 2013, How to Build a Brain: a Neural Architecture for Biological Cognition, New York: Oxford University Press.

• Elman, J. L., 1991, “Distributed Representations, Simple Recurrent Networks, and Grammatical Structure,” in Touretzky (1991), 91–122.

• Fodor, J., 1988, Psychosemantics, Cambridge, Mass.: MIT Press.

• –––, 1997, “Connectionism and the Problem of Systematicity: Why Smolensky's Solution Still Doesn't Work,” Cognition, 62: 109–119.

• Fodor, J., and Lepore, E., 1992, Holism: A Shopper's Guide, Cambridge: Blackwell.

• –––, 1999, “All at Sea in Semantic Space: Churchland on Meaning Similarity,” Journal of Philosophy, 96: 381–403.

• Fodor, J., and McLaughlin, B., 1990, “Connectionism and the Problem of Systematicity: Why Smolensky's Solution Doesn't Work,” Cognition, 35: 183–204.

• Friston, K., 2005, “A Theory of Cortical Responses,” Philosophical Transactions of the Royal Society of London B: Biological Sciences, 360(1456): 815–836.

• Friston, K. and Stephan, K., 2007, “Free Energy and the Brain,” Synthese, 159(3): 417–458.

• Garfield, J., 1997, “Mentalese Not Spoken Here: Computation Cognition and Causation,” Philosophical Psychology, 10: 413–435.

• Garson, J., 1991, “What Connectionists Cannot Do: The Threat to Classical AI,” in T. Horgan and J. Tienson (1991), 113–142.

• –––, 1994, “Cognition without Classical Architecture,” Synthese, 100: 291–305.

• –––, 1997, “Syntax in a Dynamic Brain,” Synthese, 110: 343–355.

• Grush, R., 2004, “The Emulation Theory of Representation: Motor Control, Imagery, and Perception,” Behavioral and Brain Sciences, 27: 377–442.

• Guarini, M., 2001, “A Defence of Connectionism Against the Syntactic Argument,” Synthese, 128: 287–317.

• Hadley, R., 1994a, “Systematicity in Connectionist Language Learning,” Mind and Language, 9: 247–271.

• –––, 1994b, “Systematicity Revisited,” Mind and Language, 9: 431–444.

• –––, 1997a, “Explaining Systematicity: A Reply to Kenneth Aizawa,” Minds and Machines, 7: 571–579.

• –––, 1997b, “Cognition, Systematicity and Nomic Necessity,” Mind and Language, 12: 137–153.

• –––, 2004, “On the Proper Treatment of Semantic Systematicity,” Minds and Machines, 14: 145–172.

• Hadley, R., and Hayward, M., 1997, “Strong Semantic Systematicity from Hebbian Connectionist Learning,” Minds and Machines, 7: 1–37.

• Hanson, J., and Kegl, J., 1987, “PARSNIP: A Connectionist Network that Learns Natural Language Grammar from Exposure to Natural Language Sentences,” Ninth Annual Conference of the Cognitive Science Society, Hillsdale, NJ: Erlbaum, pp. 106–119.

• Hatfield, G., 1991, “Representation in Perception and Cognition: Connectionist Affordances,” in Ramsey et al. (1991), 163–195.

• –––, 1991, “Representation and Rule-Instantiation in Connectionist Systems,” in T. Horgan and J. Tienson (1991), 90–112.

• Hawthorne, J., 1989, “On the Compatibility of Connectionist and Classical Models,” Philosophical Psychology, 2: 5–15.

• Haybron, D., 2000, “The Causal and Explanatory Role of Information Stored in Connectionist Networks,” Minds and Machines, 10: 361–380.

• Hinton, G., 1992, “How Neural Networks Learn from Experience,” Scientific American, 267(3): 145–151.

• –––, 1991, “Mapping Part-Whole Hierarchies into Connectionist Networks,” in Hinton (ed.) 1991, 47–76.

• –––, 2010, “Learning to Represent Visual Input,” Philosophical Transactions of the Royal Society, B, 365: 177–184.

• Hinton, G. (ed.), 1991, Connectionist Symbol Processing, Cambridge, Mass.: MIT Press.

• Hinton, G., McClelland, J., and Rumelhart, D., 1986, “Distributed Representations,” Chapter 3 of Rumelhart, McClelland, et al. (1986).

• Hohwy, J., 2012, “Attention and Conscious Perception in the Hypothesis Testing Brain,” Frontiers in Psychology, 3(96): 1–14.

• Horgan, T., and Tienson, J., 1989, “Representations without Rules,” Philosophical Topics, 17: 147–174.

• –––, 1990, “Soft Laws,” Midwest Studies in Philosophy, 15: 256–279.

• –––, 1996, Connectionism and the Philosophy of Psychology, Cambridge, Mass.: MIT Press.

• Horgan, T., and Tienson, J. (eds.), 1991, Connectionism and the Philosophy of Mind, Dordrecht: Kluwer.

• Hosoya, T., Baccus, S. A., and Meister, M., 2005, “Dynamic Predictive Coding by the Retina,” Nature, 436(7): 71–77.

• Huang, Y. and Rao, R., “Predictive Coding,” Wiley Interdisciplinary Reviews: Cognitive Science, 2: 580–593.

• Jansen, P. and Watter, S., 2012, “Strong Systematicity Through Sensorimotor Conceptual Grounding: an Unsupervised, Developmental Approach to Connectionist Sentence Processing,” Connection Science, 24(1): 25–55.

• Johnson, K., 2004, “On the Systematicity of Language and Thought,” Journal of Philosophy, 101: 111–139.

• Jones, M., and Love, B. C., 2011, “Bayesian Fundamentalism or Enlightenment? On the Explanatory Status and Theoretical Contributions of Bayesian Models of Cognition.” Behavioral and Brain Sciences, 34(4): 169–188.

• Laakso, A., and Cotrell, G., 2000, “Content and Cluster Analysis: Assessing Representational Similarity in Neural Systems,” Philosophical Psychology, 13: 47–76.

• Macdonald, C. (ed.), 1995, Connectionism: Debates on Psychological Explanation, Oxford: Blackwell.

• Matthews, R., 1997, “Can Connectionists Explain Systematicity?” Mind and Language, 12: 154–177.

• Marcus, G., 1998, “Rethinking Eliminative Connectionism,” Cognitive Psychology, 37: 243–282.

• –––, 2001, The Algebraic Mind, Cambridge, Mass.: MIT Press.

• McClelland, J., and Elman, J., 1986, “The TRACE Model of Speech Perception,” Cognitive Psychology, 18: 1–86.

• McClelland, J., Rumelhart, D., et al., 1986, Parallel Distributed Processing, Volume II, Cambridge, Mass.: MIT Press.

• McLaughlin, B., 1993, “The Connectionism/Classicism Battle to Win Souls,” Philosophical Studies, 71: 163–190.

• Miikkulainen, R., 1993, Subsymbolic Natural Language Processing: An Integrated Model of Scripts, Lexicon and Memory, Cambridge, Mass.: MIT Press.

• Miikkulainen, R. and Dyer, M., 1991, “Natural Language Processing With Modular PDP Networks and Distributed Lexicon,” Cognitive Science, 15: 343–399.

• Morris, W. C., Cottrell, G. W., and Elman, J., 2000, “A Connectionist Simulation of the Empirical Acquisition of Grammatical Relations,” in Wermter and Sun (2000), 175–193.

• Niklasson, L., and van Gelder, T., 1994, “On Being Systematically Connectionist,” Mind and Language, 9: 288–302.

• Phillips, S., 2002, “Does Classicism Explain Universality?” Minds and Machines, 12: 423–434.

• Pinker, S., and Mehler, J. (eds.), 1988, Connections and Symbols, Cambridge, Mass.: MIT Press.

• Pinker, S., and Prince, A., 1988, “On Language and Connectionism: Analysis of a Parallel Distributed Processing Model of Language Acquisition,” Cognition, 23: 73–193.

• Pollack, J., 1989, “Implications of Recursive Distributed Representations,” in Touretzky (1989), 527–535.

• –––, 1991a, “Induction of Dynamical Recognizers,” in Touretzky (1991), 123–148.

• –––, 1991b, “Recursive Distributed Representation,” in Hinton (1991), 77–106.

• Port, R., 1990, “Representation and Recognition of Temporal Patterns,” Connection Science, 2: 151–176.

• Port, R., and van Gelder, T., 1991, “Representing Aspects of Language,” Proceedings of the Thirteenth Annual Conference of the Cognitive Science Society, Hillsdale, N.J.: Erlbaum.

• Ramsey, W., 1997, “Do Connectionist Representations Earn their Explanatory Keep?” Mind and Language, 12: 34–66.

• Ramsey, W., Stich, S., and Rumelhart, D., 1991, Philosophy and Connectionist Theory, Hillsdale, N.J.: Erlbaum.

• Ramsey, W., Stich, S., and Garon, J., 1991, “Connectionism, Eliminativism, and the Future of Folk Psychology,” in Ramsey, Rumelhart and Stich (1991), 199–228.

• Rao, R., and Ballard, D., 1999, “Predictive Coding in the Visual Cortex: A Functional Interpretation of Some Extra-Classical Receptive-Field Effects,” Nature Neuroscience, 2(1): 79–87.

• Rhode, D., and Plaut, D., 2004, “Connectionist Models of Language Processing,” Cognitive Studies (Japan), 120(1): 10–28.

• Roth, M., 2005, “Program Execution in Connectionist Networks,” Mind and Language, 20: 448–467.

• Rumelhart, D., and McClelland, J., 1986, “On Learning the Past Tenses of English Verbs,” in McClelland and Rumelhart et al. (1986), 216–271.

• –––, et al., 1986, Parallel Distributed Processing, vol. I, Cambridge, Mass.: MIT Press.

• Schwarz, G., 1992, “Connectionism, Processing, Memory,” Connection Science, 4: 207–225.

• Sejnowski, T., and Rosenberg, C., 1987, “Parallel networks that Learn to Pronounce English Text,” Complex Systems, 1: 145–168.

• Servan-Schreiber, D., Cleeremans, A., and McClelland, J., 1991, “Graded State Machines: The Representation of Temporal Contingencies in Simple Recurrent Networks,” in Touretzky (1991), 57–89.

• Shastri, L., and Ajjanagadde, V., 1993, “From Simple Associations to Systematic Reasoning: A Connectionist Representation of Rules, Variables, and Dynamic Bindings Using Temporal Synchrony” Behavioral and Brain Sciences, 16: 417–494.

• Shea, N., 2007, “Content and Its Vehicles in Connectionist Systems,” Mind and Language, 22: 246–269.

• Shultz, T. and Bale, A., 2001, “Neural Network Simulation of Infant Familiarization to Artificial Sentences,” Infancy, 2: 501–536.

• –––, 2006, “Neural Nets Discover a Near-Identity Relation to Distinguish Simple Syntactic Forms,” Minds and Machines, 16: 107–139.

• Smolensky, P., 1987, “The Constituent Structure of Connectionist Mental States: A Reply to Fodor and Pylyshyn,” The Southern Journal of Philosophy, 26 (Supplement): 137–161.

• –––, 1988, “On the Proper Treatment of Connectionism,” Behavioral and Brain Sciences, 11: 1–74.

• –––, 1991, “Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems,” in Hinton (1991), 159–216.

• –––, 1995, “Constituent Structure and Explanation in an Integrated Connectionist/Symbolic Cognitive Architecture,” in MacDonald (1995).

• St. John, M., and McClelland, J., 1991, “Learning and Applying Contextual Constraints in Sentence Comprehension,” in Hinton (1991), 217–257.

• Tomberlin, J. (ed.), 1995, Philosophical Perspectives 9: AI, Connectionism and Philosophical Psychology, Atascadero: Ridgeview Press.

• Touretzky, D., 1989, Advances in Neural Information Processing Systems I, San Mateo, CA: Kaufmann.

• –––, 1990, Advances in Neural Information Processing Systems II, San Mateo, CA: Kaufmann.

• –––, 1991, Connectionist Approaches to Language Learning, Dordrecht: Kluwer.

• Touretzky, D., Hinton, G., and Sejnowski, T., 1988, Proceedings of the 1988 Connectionist Models Summer School, San Mateo: Kaufmann.

• van Gelder, T., 1990, “Compositionality: A Connectionist Variation on a Classical Theme,” Cognitive Science, 14: 355–384.

• –––, 1991, “What is the ‘D’ in PDP?” in Ramsey et al. (1991), 33–59.

• van Gelder, T and Port, R., 1993, “Beyond Symbolic: Prolegomena to a Kama-Sutra of Compositionality,” in V. Honavar and L. Uhr (Eds.), Symbol Processing and Connectionist Models in AI and Cognition: Steps Towards Integration, Boston: Academic Press.

• Vilcu, M., and Hadley, R., 2005, “Two Apparent Counterexamples' to Marcus: A Closer Look,” Minds and Machines, 15: 359–382.

• Von Eckardt, B., 2003, “The Explanatory Need for Mental Representations in Cognitive Science,” Mind and Language, 18: 427–439.

• –––, 2005, “Connectionism and the Propositional Attitudes,” in C. Erneling and D. Johnson (eds.), The Mind as a Scientific Object: Between Brain and Culture, New York: Oxford University Press.

• Waltz, D., and Pollack, J., 1985, “Massively Parallel Parsing: A Strongly Interactive Model of Natural Language Interpretation,” Cognitive Science, 9: 51–74.

• Wermter, S. and Sun, R. eds., 2000, Hybrid Neural Symbolic Integration, Berlin, Springer Verlag.