Поскольку (еще в 1941 году) компьютеры обрели форму, они сначала заполняли целые комнаты, затем офисные столы, а затем карманы. Но всех их объединяло одно: они были созданы человеческим разумом. На протяжении многих лет многие люди задавались вопросом: что, если компьютеры конструируют сами?
В один прекрасный день умный компьютер сможет создать машину гораздо более мощную, чем он сам. Этот новый компьютер, вероятно, сделает другой еще более мощным, и так далее. Искусственный интеллект движется по экспоненциальной восходящей кривой, достигая высот познания, невообразимых для человека. Одним словом, технологическая особенность.
Технологическая особенность
Термин «технологическая сингулярность» появился более 50 лет назад, когда ученые только начинали возиться с двоичным кодом и схемами, которые делали возможными базовые вычисления. Уже тогда технологическая сингулярность была ошеломляющей и грозной концепцией.
Новое поколение сверхразумных компьютеров может революционизировать все. От нанотехнологий до иммерсивной виртуальной реальности и сверхсветовых космических путешествий.
С технологической сингулярностью вместо того, чтобы использовать только наш биологический мозг, мы могли бы использовать искусственный интеллект, взаимодействовать с ним. Улучшить или повысить производительность нашего мозга с имплантатами, или даже загрузить наш разум в цифровой выжить в наших телах.
Результатом технологической сингулярности станет сверхзаряженное человечество, способное мыслить со скоростью света и свободное от биологических забот.

Совершенно новый мир
Философ Ник Бостром он думает, что этот динамичный мир может принести целую новую эру.
В этом мире мы все были бы больше похожи на детей в гигантском Диснейленде, которым управляют не люди, а машины, которые мы создали или которые они создали сами.
Ник Бостром, философ, писатель и директор Института будущего человечества Оксфордского университета.

Звездное небо надо мной, моральный закон внутри моего процессора
Технологическая сингулярность может привести нас в утопическую фантазию или антиутопический кошмар. И этот Бостром это хорошо знает. Он десятилетиями думал о появлении сверхразумного ИИ и хорошо знает риски, которые влекут за собой такие создания.
Конечно, есть классический научно-фантастический кошмар роботизированной революции, когда машины решают, что им лучше управлять Землей.
Однако еще более вероятно, что моральный кодекс сверхразумного ИИ, каким бы он ни был, просто не совпадает с нашим.
ИИ, отвечающий за парки беспилотных автомобилей или распределение медикаментов, может нанести ущерб, если он перестанет ценить человеческую жизнь так, как мы.
Проблема выравнивания ИИ, как это называется, приобрела новую актуальность в последние годы, частично благодаря к творчеству таких мыслителей, как Бостром.

Технологическая особенность и различие мышления
Если мы не сможем контролировать сверхразумный искусственный интеллект, наша судьба может зависеть от того, будет ли будущий искусственный интеллект думать так же, как мы. На этом фронте Бостром напоминает нам, что предпринимаются усилия по «разработке ИИ таким образом, чтобы он действительно выбирал вещи, полезные для людей, и запрашивал у нас разъяснения, когда неясно, что мы имеем в виду. "
Есть способы научить человеческой морали зарождающийся сверхразум. Алгоритмы машинного обучения можно научить распознавать систему человеческих ценностей, как сегодня ГАН они обучаются на базе данных изображений и текстов. Или несколько ИИ могут спорить друг с другом под наблюдением человека-модератора, чтобы построить лучшие модели человеческих предпочтений.
Вопрос уважения
Если бы технологическая сингулярность создавала уже не простые машины, а настоящие искусственные мыслящие умы, мы должны были бы учитывать и этический аспект. По словам Бострома, возникнет необходимость спросить себя, правильно ли влиять на них и в какой степени.
Короче говоря, в эту эру сознательных машин технологическая сингулярность может наложить на людей новое моральное обязательство: уважительно относиться к цифровым существам.