Вначале это было GPT-3, с его 175 миллиардами параметров. Потом они пришли ПаЛМ, Мегатрон-Тьюринг, шиншилла и так далее, и параметры преодолели порог в 1000 миллиардов. Это LLM, модель большого языка, модели, обученные на огромных объемах текста для имитации человеческого языка. И они стали бесспорными поборниками гонки за искусственным интеллектом. Но есть проблема.
Чем больше и сложнее становятся эти модели, тем больше энергии они поглощают. И улучшения, которых они достигают, похоже, следуют только линейному росту, а не экспоненциальному, как затраты. Это сигнал о том, что, возможно, для достижения желанного AGI потребуется общий искусственный интеллект. способен думать как (или больше) как люди необходима смена парадигмы. Ответ заключается не только в больших данных, но и в более эффективных и «рациональных» архитектурах.
Парадокс LLM
Давайте внесем ясность: большие языковые модели — это чудо человеческой изобретательности. Они научились владеть тонкостями языка с невероятным мастерством. Они способны писать статьи, отвечать на вопросы, обобщать сложные концепции, переводить на десятки языков, а теперь даже умеют генерировать код. Иногда, не думаю, что я преувеличиваю, кажется, что они улавливают глубокий смысл текстов и имеют почти человеческое понимание мира.
Уже. Почти.
Но чем больше мы подвергаем их стрессу, тем очевиднее становятся их ограничения: они очень хорошо распознают закономерности и подражают стилям, но не способны мыслить независимо. За блестящим фасадом их лингвистических выступлений не скрывается ни настоящий интеллект, ни способность делать выводы и решать проблемы, не связанные с данными, на которых они обучались. Ничего.
И чтобы получить даже эти частичные результаты, LLM требует чрезмерное количество энергии. Достаточно сказать, что на энергетическом уровне обучение ГПТ-3 было «затратным». эквивалентно 700 полетам на самолете между Нью-Йорком и Сан-Франциско. Огромные экологические и экономические издержки, которые растут в геометрической прогрессии с каждым скачком масштаба моделей. Это как если бы для того, чтобы работник стал немного более продуктивным, нам пришлось каждый месяц удваивать его зарплату. Неустойчивая динамика в долгосрочной перспективе.
Искры не было
Но это не просто вопрос соотношения затрат и выгод. Существует более глубокая проблема, с которой сталкиваются LLM, которая подрывает их амбиции стать основой общего искусственного интеллекта. И это отсутствие абстрактных рассуждений, истинной «мысли» за пределами поверхностных аналогий.
Некоторые исследователи надеялись, что этот тип возможностей может «появиться» спонтанно из LLM, как только будут достигнуты достаточно большие параметры и наборы данных. Идея заключалась в том, что чем больше информации и вычислительной мощности вы вложите в модель, тем больше она начнет развивать собственный интеллект, не только имитируя человеческий язык, но и лежащие в его основе когнитивные процессы.
Однако пока признаков этой «чрезвычайной ситуации» нет. Даже самые продвинутые студенты, сталкиваясь с задачами, требующими логических рассуждений, планирования и нестандартного творчества, теряются в бессмысленных догадках и галлюцинациях. Похоже, что интеллект, настоящий интеллект, — это не просто вопрос чудовищно грубой статистики, он требует другой архитектуры и процессов обучения, которые еще предстоит открыть.
Новые пути для общего искусственного интеллекта
Трудности, возникающие при получении степени LLM, являются основой того, что многие исследователи изучают альтернативные пути достижения конечной цели AGI. Одним из них является Теория категорий, раздел абстрактной математики, изучающий отношения между алгебраическими структурами. Некоторые стартапы, например Символический, полагают, что это может обеспечить теоретическую основу для создания систем искусственного интеллекта, способных разрабатывать символические представления мира, а не просто статистические ассоциации между словами.
Еще одной многообещающей тенденцией является «Целевой» ИИ, то есть предназначенный для достижения конкретных целей в сложных трехмерных средах, взаимодействующих с объектами и агентами как физически, так и лингвистически. Идея в том, что интеллект не рождается в вакууме, а развивается через него. воплощение, действие, воплощенное в мире, точно так же, как это происходит с детьми. Неудивительно, что, по оценкам, 4-летний ребенок уже обработал посредством мультисенсорного исследования окружающей среды примерно в 50 раз больше данных, чем самый крупный современный LLM.
Это лишь два из новых рубежей, которые открываются в области искусственного интеллекта в попытке преодолеть ограничения LLM и по-настоящему приблизиться к AGI. Границы, которые требуют не только технологических достижений, но и, прежде всего, глубокого переосмысления того, что такое интеллект и как он может возникнуть в искусственных системах.
LLM, (искусственный) интеллект здесь больше не живет
Я перейду к делу. На протяжении десятилетий искусственный интеллект был «пойман в ловушку» парадигмы чистых символических манипуляций, основанной на идее о том, что мышление — это, по сути, обработка строк абстрактных символов в соответствии с синтаксическими правилами. Это парадигма, которая породила экспертные системы и семантические поисковые системы и которая в конечном итоге лежит в основе нынешних LLM, хотя и дополнена наборами данных и нейронными архитектурами.
Но, возможно, именно эта «бестелесная» и редукционистская парадигма представляет собой настоящее узкое место на пути к ОИИ. Возможно, интеллект — это не просто алгоритм, запускаемый на компьютере, а возникающее свойство сложных систем, которые динамически взаимодействуют с окружающей средой, изменяя ее и позволяя изменяться в непрерывном цикле восприятия, действия и обучения.
Возможно, чтобы создать по-настоящему универсальный искусственный интеллект, мы должны черпать больше вдохновения из единственного известного нам общего интеллекта, то есть биологического интеллекта с его распределенной архитектурой, его нейронной пластичностью, его сенсомоторной привязанностью к миру. И, возможно, нам также следует признать, что интеллект — это не цель, которую необходимо достичь, а непрерывно развивающийся процесс, не имеющий заранее определенной конечной формы.
Это не означает, что LLM бесполезны или их следует выбросить.
Это далеко не так: они представляют собой важный этап в эволюции ИИ, и им еще предстоит изучить множество практических применений. Но, возможно, пришло время уменьшить мессианские ожидания, которые многие выражали, и признать присущие им ограничения как кандидатов на роль всеобщего искусственного интеллекта.
Если он когда-нибудь появится, то AGI, вероятно, будет не бестелесным супермозгом, бормочущим на 1000 языках, а интегрированным и воплощенным агентом, который учится у мира и трансформирует его, примерно так же, как это делаем мы, люди. И чтобы достичь этого, потребуется не только гораздо больше энергии, но, прежде всего, гораздо больше воображения.
Граница возможного
Я думаю, дело даже не в том, чтобы добраться до AGI. Цель состоит в том, чтобы постоянно расширять границы того, что может сделать интеллект, человеческий сегодня и искусственный завтра. Это означает раздвигать границы мыслимого и возможного через гибридное сотрудничество между нашим биологическим и синтетическим разумом.
Ведь именно этим мы занимались всегда, с тех пор, как вырезали первые символы на камне или нажали первые клавиши на компьютере. Используйте технологии укрепить наш интеллект, приумножить наши познавательные и творческие способности, решать все более обширные и сложные проблемы.
LLM, несмотря на все свои ограничения, представляет собой шаг вперед на этом пути. Они показывают нам, насколько гибким и мощным является язык, который сам по себе является технологией, которая пронизывает все аспекты нашей жизни. И они бросают нам вызов изобретать новые, новые грамматики мысли, выражать невыразимое и представлять себе невообразимое.
Настоящая цель состоит не в том, чтобы создать искусственный интеллект, который заменит нас, а в том, чтобы эволюционировать с ним в симбиозе, создавая формы интеллекта, которые мы пока даже не знаем, как придумать.
LLM и будущее разведки
LLM здесь, чтобы остаться. Как и велосипеды в мире транспорта, им суждено оказать нам большую помощь, но потребуется больше.
Возможно, будущее интеллекта — это не технологическая сингулярность, а множество взаимосвязанных видов интеллекта, человеческого и нечеловеческого, биологического и синтетического. Взрыв когнитивного разнообразия, который выведет нас за пределы нынешних границ мышления, к новым границам смысла и возможностей.
Но чтобы достичь этого, мы должны сначала освободиться от предубеждений и узких представлений, которые все еще сковывают нас. Мы должны перестать гоняться за вычислительными иллюзиями, которые неуклюже и частично воспроизводят внешние проявления нашего интеллекта, не понимая их глубинной сути.
Мы должны иметь смелость радикально переосмыслить, что значит быть разумным в постоянно меняющейся вселенной. И мы должны делать это с любопытством, открытостью, энтузиазмом. Со знанием того, что интеллект — это не алгоритм, который нужно открыть, а процесс, который нужно создавать и расширять день за днём, ошибка за ошибкой, интуиция за интуицией.
Дорога к AGI или к тому, каким будет интеллект будущего, не проходит (только) через LLM. Он проходит через неожиданные связи, которые мы сможем вообразить, через неизведанные пространства, которые мы сможем заселить, через дерзкие вопросы, которые мы сможем задать.
Оно проходит через нашу способность удивляться и мечтать, совершать ошибки и учиться, деконструировать и реконструировать себя и мир вокруг нас. Потому что интеллект – это не что иное, как смелость всегда идти немного дальше, немного выше, немного глубже. К следующему пределу, который нужно преодолеть, к следующему рубежу, который нужно исследовать. К неизвестному, которое нас ждёт и которое, возможно, благодаря ИИ нас больше не напугает.
