Короче, Три Закона заключают в себе основные моральные установки людей, идеал, к которому они стремились во все времена, но которого так и не достигли. Все это звучит вполне обнадеживающе, вполне убедительно. Но на самом деле не все так просто.
Во-первых, нельзя забывать, что Три Закона заложены в саму сущность позитронного мозга как математические аксиомы, безусловные истины, без каких бы то ни было полутонов и условностей. Но жизнь полна условностей, случаев, когда жесткие рамки не всегда приводят к лучшим результатам. В реальной жизни зачастую важнее личная оценка ситуации.
Во-вторых, у нас, людей, законов гораздо больше, чем три. Вернемся снова к оценке Трех Законов. Они являются очень хорошим приближением к правилам поведения высокоморального человека. Но только приближением! Они слишком незыблемы, слишком просты! Они не охватывают всех случаев жизни, они не годятся для сложных и неординарных ситуаций, когда в первую очередь важно решение, принятое на основе личной оценки положения. Ни одно существо, строго следующее Трем Законам, не способно разобраться со всеми возможными ситуациями, которые могут встретиться в жизни. Другими словами, Три Закона лишают роботов возможности существовать как свободные личности. Несложный подсчет показывает, что роботы, действуя в рамках Трех Законов, но без жесткого контроля со стороны человека, быстро выйдут из строя, если попробуют вести себя в сложных ситуациях как люди. То есть из-за Трех Законов роботы не способны справиться без посторонней помощи со всем, с чем могут столкнуться в обществе, населенном не одними только роботами.
У них нет понятия об условностях жизни. Не ведая тысяч дополнительных законов и обычаев, правил поведения, моральных норм, которыми руководствуются люди в той или иной ситуации, роботы не способны принимать решения и выносить самостоятельные суждения, как мы, люди.
Представьте, что преступник стреляет в полицейского. Несомненно, полицейский станет защищаться и, не задумываясь, предпримет даже опасные для жизни преступника меры. Общественные нормы морали не запрещают – и даже рекомендуют – полицейскому ранить или убить опасного преступника. Потому что для общества жизнь полицейского, который защищает это самое общество, намного важнее, чем жизнь преступника. А теперь представьте, что рядом с полицейским оказался робот. Робот, несомненно, станет защищать полицейского от преступника – но он так же рьяно бросится защищать и преступника от полицейского! Робот, конечно же, постарается не дать полицейскому выстрелить в злодея. Потому что он обязан не допустить, чтобы человеку был причинен вред – неважно, какому человеку. Робот помешает полицейскому стрелять, загородив собой преступника, и даст злодею возможность удрать. Или попытается обезоружить обоих. Робот загородит собой от выстрелов обоих, несмотря на то что погибнет при этом сам. Несмотря на то, что после его гибели перестрелка все равно возобновится!
Собственно, у такой ситуации может быть множество исходов, и самых разных. Если рядом окажется робот, полицейский скорее всего не задержит преступника. Из-за этого робота может случиться и кое-что похуже – могут погибнуть и полицейский, и преступник, и робот. Или только полицейский и робот. Или только робот – но преступнику удастся скрыться. А может случиться и так, что погибнут полицейский и преступник, а робот уцелеет до тех пор, пока его не доконает противоречие Первого и Второго Законов. Короче, вмешательство робота в подобной ситуации привело бы к несчастью.
Теоретически роботы способны выносить независимые суждения и пережить без особых затруднений смерть преступника. Робот может прийти к выводу, что и для настоящего, и для будущего благополучия общества – то есть всех людей – необходимо, чтобы верх взял полицейский. И помощь преступнику или вмешательство в действия полицейского принесут людям только вред. Потому что если преступник избежит наказания, он обязательно снова начнет вредить людям, так или иначе. Тем не менее в действительности только самые высокоорганизованные роботы со специально отрегулированным соотношением напряжений Первого Закона способны справиться с такой ситуацией.
Все законы и правила поведения, согласно которым живут люди, предназначены как раз для того, чтобы разобраться в путанице таких вот сложных случаев. И мы, люди, настолько привыкли следовать этим правилам, что даже не замечаем их! Как войти в зал, когда обед уже начался, как вежливо обратиться к вдове своего дедушки, которая еще раз вышла замуж, когда надо и когда не надо цитировать источники в научном исследовании – мы так хорошо все это знаем, что даже не замечаем, что знаем. Для других, не таких повседневных, случаев тоже есть масса правил и условностей.
Например, все мы знаем, что убийство – это преступление. Тем не менее убийство при самозащите, при борьбе с преступником, посягающим на вашу жизнь, преступлением не считается. Но степень опасности преступника, соответствие защиты нападению, смягчающие и отягчающие обстоятельства, непреднамеренное убийство – все это полутона и оттенки серого в четком и ясном черно-белом законе против убийства. Но, как мы видим на моем примере с полицейским и преступником, ни одно из этих соображений не влияет на напряженность Первого Закона у роботов. Этот Закон не оставляет места оценке обстоятельств, вынесению самостоятельного суждения. Вместо этого у робота есть только оценка соотношения Первого, Второго и Третьего Законов – большего им не дано!
Так что же такое Три Закона? Чтобы ответить на этот вопрос, надо вспомнить, что Три Закона созданы как модель идеальной морали, чтобы обеспечить послушание и исполнительность роботов. Три Закона не рассчитаны на то, чтобы моделировать человеческое поведение! Но, как бы то ни было, им приходится это делать – хоть и упрощенно, и схематично.
Мы разобрали цели создания Трех Законов. Теперь коснемся их истории.
Все мы знаем Три Закона с пеленок. Мы относимся к ним как к природному явлению, неизменному и не зависящему от нас. И не видим причины делать что-то иное, кроме как просто принимать их, как они есть, вместе с миром, в котором живем.
Но это не единственный выход для нас. Повторю еще раз: Три Закона созданы людьми. Они основаны на человеческих суждениях и жизненном опыте, приобретенном в прошлом. В конце концов, эти Три Закона не менее поддаются оценке и преобразованию, чем все прочие изобретения человечества – такие, как колесо, космический корабль или компьютер. Все это изменилось со времени изобретения или вообще кануло в прошлое – уступив место новым открытиям, новым установлениям.
Мы можем понять, как и почему было создано все это, – и найти пути усовершенствования, изменения к лучшему, так чтобы оно соответствовало запросам настоящего.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108
Во-первых, нельзя забывать, что Три Закона заложены в саму сущность позитронного мозга как математические аксиомы, безусловные истины, без каких бы то ни было полутонов и условностей. Но жизнь полна условностей, случаев, когда жесткие рамки не всегда приводят к лучшим результатам. В реальной жизни зачастую важнее личная оценка ситуации.
Во-вторых, у нас, людей, законов гораздо больше, чем три. Вернемся снова к оценке Трех Законов. Они являются очень хорошим приближением к правилам поведения высокоморального человека. Но только приближением! Они слишком незыблемы, слишком просты! Они не охватывают всех случаев жизни, они не годятся для сложных и неординарных ситуаций, когда в первую очередь важно решение, принятое на основе личной оценки положения. Ни одно существо, строго следующее Трем Законам, не способно разобраться со всеми возможными ситуациями, которые могут встретиться в жизни. Другими словами, Три Закона лишают роботов возможности существовать как свободные личности. Несложный подсчет показывает, что роботы, действуя в рамках Трех Законов, но без жесткого контроля со стороны человека, быстро выйдут из строя, если попробуют вести себя в сложных ситуациях как люди. То есть из-за Трех Законов роботы не способны справиться без посторонней помощи со всем, с чем могут столкнуться в обществе, населенном не одними только роботами.
У них нет понятия об условностях жизни. Не ведая тысяч дополнительных законов и обычаев, правил поведения, моральных норм, которыми руководствуются люди в той или иной ситуации, роботы не способны принимать решения и выносить самостоятельные суждения, как мы, люди.
Представьте, что преступник стреляет в полицейского. Несомненно, полицейский станет защищаться и, не задумываясь, предпримет даже опасные для жизни преступника меры. Общественные нормы морали не запрещают – и даже рекомендуют – полицейскому ранить или убить опасного преступника. Потому что для общества жизнь полицейского, который защищает это самое общество, намного важнее, чем жизнь преступника. А теперь представьте, что рядом с полицейским оказался робот. Робот, несомненно, станет защищать полицейского от преступника – но он так же рьяно бросится защищать и преступника от полицейского! Робот, конечно же, постарается не дать полицейскому выстрелить в злодея. Потому что он обязан не допустить, чтобы человеку был причинен вред – неважно, какому человеку. Робот помешает полицейскому стрелять, загородив собой преступника, и даст злодею возможность удрать. Или попытается обезоружить обоих. Робот загородит собой от выстрелов обоих, несмотря на то что погибнет при этом сам. Несмотря на то, что после его гибели перестрелка все равно возобновится!
Собственно, у такой ситуации может быть множество исходов, и самых разных. Если рядом окажется робот, полицейский скорее всего не задержит преступника. Из-за этого робота может случиться и кое-что похуже – могут погибнуть и полицейский, и преступник, и робот. Или только полицейский и робот. Или только робот – но преступнику удастся скрыться. А может случиться и так, что погибнут полицейский и преступник, а робот уцелеет до тех пор, пока его не доконает противоречие Первого и Второго Законов. Короче, вмешательство робота в подобной ситуации привело бы к несчастью.
Теоретически роботы способны выносить независимые суждения и пережить без особых затруднений смерть преступника. Робот может прийти к выводу, что и для настоящего, и для будущего благополучия общества – то есть всех людей – необходимо, чтобы верх взял полицейский. И помощь преступнику или вмешательство в действия полицейского принесут людям только вред. Потому что если преступник избежит наказания, он обязательно снова начнет вредить людям, так или иначе. Тем не менее в действительности только самые высокоорганизованные роботы со специально отрегулированным соотношением напряжений Первого Закона способны справиться с такой ситуацией.
Все законы и правила поведения, согласно которым живут люди, предназначены как раз для того, чтобы разобраться в путанице таких вот сложных случаев. И мы, люди, настолько привыкли следовать этим правилам, что даже не замечаем их! Как войти в зал, когда обед уже начался, как вежливо обратиться к вдове своего дедушки, которая еще раз вышла замуж, когда надо и когда не надо цитировать источники в научном исследовании – мы так хорошо все это знаем, что даже не замечаем, что знаем. Для других, не таких повседневных, случаев тоже есть масса правил и условностей.
Например, все мы знаем, что убийство – это преступление. Тем не менее убийство при самозащите, при борьбе с преступником, посягающим на вашу жизнь, преступлением не считается. Но степень опасности преступника, соответствие защиты нападению, смягчающие и отягчающие обстоятельства, непреднамеренное убийство – все это полутона и оттенки серого в четком и ясном черно-белом законе против убийства. Но, как мы видим на моем примере с полицейским и преступником, ни одно из этих соображений не влияет на напряженность Первого Закона у роботов. Этот Закон не оставляет места оценке обстоятельств, вынесению самостоятельного суждения. Вместо этого у робота есть только оценка соотношения Первого, Второго и Третьего Законов – большего им не дано!
Так что же такое Три Закона? Чтобы ответить на этот вопрос, надо вспомнить, что Три Закона созданы как модель идеальной морали, чтобы обеспечить послушание и исполнительность роботов. Три Закона не рассчитаны на то, чтобы моделировать человеческое поведение! Но, как бы то ни было, им приходится это делать – хоть и упрощенно, и схематично.
Мы разобрали цели создания Трех Законов. Теперь коснемся их истории.
Все мы знаем Три Закона с пеленок. Мы относимся к ним как к природному явлению, неизменному и не зависящему от нас. И не видим причины делать что-то иное, кроме как просто принимать их, как они есть, вместе с миром, в котором живем.
Но это не единственный выход для нас. Повторю еще раз: Три Закона созданы людьми. Они основаны на человеческих суждениях и жизненном опыте, приобретенном в прошлом. В конце концов, эти Три Закона не менее поддаются оценке и преобразованию, чем все прочие изобретения человечества – такие, как колесо, космический корабль или компьютер. Все это изменилось со времени изобретения или вообще кануло в прошлое – уступив место новым открытиям, новым установлениям.
Мы можем понять, как и почему было создано все это, – и найти пути усовершенствования, изменения к лучшему, так чтобы оно соответствовало запросам настоящего.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108