Она была очень спокойна в отношении их реакции. Я думал, что они поселят фаги в какое-нибудь водохранилище, но Мае сказала, что хлорирование воды убьет фаги. Наверное, будет разработана специальная программа вакцинации. Насколько мы сейчас знаем, фаги убивают рои.
Время от времени у меня начинает звенеть в ушах. Это плохой признак. А иногда я ощущаю вибрацию в груди и в животе. Не знаю, может быть, у меня просто паранойя. А может, со мной действительно что-то происходит. Я стараюсь держаться молодцом перед детьми. Но, конечно, детей обмануть невозможно. Они знают, что я испуган.
Последняя загадка, которую осталось объяснить, – почему рои постоянно возвращались к лаборатории. Для меня это никогда не имело никакого смысла. И меня это беспокоило, потому что цель была выбрана совершенно нерационально. Такая цель не соответствовала формулировкам программы «Хи-Доб». Ну зачем хищнику постоянно возвращаться к какому-то определенному месту?
Конечно, в ретроспективе возможно только одно нормальное объяснение. Рои специально запрограммировали так, чтобы они возвращались. Программисты сами, намеренно, определили эту цель.
Но зачем кому-то понадобилось программировать такую цель?
Я узнал это несколько часов назад.
Рики показывал мне совсем не тот код, который они на самом деле использовали в наночастицах. Рики не мог показать мне настоящий код, потому что я бы сразу догадался, что они там натворили. Рики так и не сказал мне правду. Никто не сказал мне правду.
Больше всего меня беспокоило письмо, которое я сегодня днем нашел в электронной переписке, сохранившейся на диске у Джулии. Письмо было от Джулии Рики Морсу, копия отослана Ларри Хэндлеру, главе компании «Ксимос». В письме Джулия описывала процедуры, направленные на обучение роя-камеры работе при сильном ветре. Джулия планировала специально выпустить рой в окружающую среду.
Именно это они и сделали.
Они подали дело так, как будто утечка роя произошла случайно – из-за отсутствия воздушного фильтра на одном из вентиляторов. Ради этого Рики и устроил мне длительную экскурсию по всей фабрике, с песнями и плясками про негодников-подрядчиков и вентиляционную систему. Но все, что рассказывал мне Рики, было неправдой.
Они выпустили рой специально.
Так было задумано с самого начала.
Когда им не удалось заставить рой-камеру работать при сильном ветре, они попытались отыскать какое-нибудь инженерное решение. Из этого ничего не получилось. Частицы были слишком маленькие и легкие, а возможно, и недостаточно умные. В них с самого начала имелись дефекты конструкции, и «Ксимос» не мог их исправить. Весь многомиллионный оборонный проект улетал коту под хвост – потому что «Ксимос» не мог решить проблемы с роем.
И тогда в «Ксимосе» додумались заставить рой решать эти проблемы самостоятельно.
Они поменяли конфигурацию наночастиц, снабдили их микрочипом памяти и солнечным электроэлементом. Они переписали базовую программу для частиц, добавив туда генетический алгоритм. И выпустили рой, чтобы он размножался и эволюционировал. Они собирались проверить, сможет ли рой самостоятельно выжить в окружающей среде.
На этот раз эксперимент удался.
Это было так глупо, потрясающе глупо. Я не понимал, как могли они взяться за такое, даже не подумав о возможных последствиях. Как и все остальное, что я видел в «Ксимосе», этот план слепили на скорую руку, кое-как, по-быстрому – только для того, чтобы как-то уладить насущную проблему, и совершенно не учитывая отдаленные последствия, не думая о будущем. Наверное, это очень типично для корпоративного мышления, когда приходится все время бежать наперегонки с конкурентами. Но когда имеешь дело с подобными технологиями, это чертовски опасно.
Но, конечно, на самом деле все происходило гораздо сложнее. Эта технология сама подталкивает к определенной модели поведения. Распределенные системы агентов работают самостоятельно и сами собой управляют. Так они устроены. В этом-то весь смысл – ты их программируешь, настраиваешь и отпускаешь – дальше все происходит само собой. Если ты занимаешься этим постоянно, то постепенно привыкаешь так делать. Привыкаешь обращаться с системами агентов именно таким образом. Ведь главное их достоинство – автономность.
Но одно дело – выпустить в память компьютера популяцию виртуальных агентов, чтобы они решили какие-то проблемы. И совсем другое – выпустить реальные агенты в реальный мир.
Они в «Ксимосе» просто не поняли разницы. Или не позаботились о том, чтобы эту разницу поискать.
И выпустили рой на волю.
«Самооптимизация» – технический термин, которым это обозначается. Рой эволюционировал самостоятельно, менее успешные агенты погибали, более успешные воспроизводились в следующих поколениях. Через десять или сто поколений эволюционирующий рой приблизился к наилучшему решению. К оптимальному решению.
Такое постоянно происходит внутри компьютеров. Эта закономерность даже специально используется для разработки новых компьютерных алгоритмов. Дэнни Хиллз сделал это одним из первых, уже много лет назад – для оптимизации алгоритма отбора. Он хотел узнать, сможет ли компьютер сам придумать способ, который позволит ему лучше работать. И программа нашла новый способ. Вслед за Дэнни Хиллзом методику сразу же подхватили и другие.
Но еще никто не делал такого с автономными роботами в реальном мире. Насколько мне известно, этот случай – первый. А может быть, такое уже случалось, но мы просто об этом не знали. Как бы то ни было, я уверен, что нечто подобное обязательно случится снова.
И, наверное, довольно скоро.
Уже два часа ночи. Детей наконец перестало тошнить. Они пошли спать. Похоже, с ними пока все в порядке. Малышка тоже спит. Эллен до сих пор сильно тошнит. Я, наверное, снова задремал. Не знаю, что меня разбудило. Я увидел Мае, которая поднималась по склону холма позади моего дома. Вместе с Мае шли люди в серебристых комбинезонах – команда «ССВТ». Мае шла ко мне. Я видел, что она улыбается. Надеюсь, у нее хорошие новости.
Сейчас мне очень не помешали бы хорошие новости.
Джулия писала в своих письмах: «Нам больше нечего терять». Но в конце концов они потеряли все – и свою компанию, и свои жизни, все. И что забавно – ведь на самом деле план Джулии сработал. Рой действительно решил проблему, которую перед ним поставили.
Но на этом рой не остановился. Он продолжал эволюционировать.
И они это допустили. Они не ведали, что творят.
Боюсь, такая надпись будет на надгробии всей человеческой расы.
Но я очень надеюсь, что до этого не дойдет.
Может быть, нам повезет.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105
Время от времени у меня начинает звенеть в ушах. Это плохой признак. А иногда я ощущаю вибрацию в груди и в животе. Не знаю, может быть, у меня просто паранойя. А может, со мной действительно что-то происходит. Я стараюсь держаться молодцом перед детьми. Но, конечно, детей обмануть невозможно. Они знают, что я испуган.
Последняя загадка, которую осталось объяснить, – почему рои постоянно возвращались к лаборатории. Для меня это никогда не имело никакого смысла. И меня это беспокоило, потому что цель была выбрана совершенно нерационально. Такая цель не соответствовала формулировкам программы «Хи-Доб». Ну зачем хищнику постоянно возвращаться к какому-то определенному месту?
Конечно, в ретроспективе возможно только одно нормальное объяснение. Рои специально запрограммировали так, чтобы они возвращались. Программисты сами, намеренно, определили эту цель.
Но зачем кому-то понадобилось программировать такую цель?
Я узнал это несколько часов назад.
Рики показывал мне совсем не тот код, который они на самом деле использовали в наночастицах. Рики не мог показать мне настоящий код, потому что я бы сразу догадался, что они там натворили. Рики так и не сказал мне правду. Никто не сказал мне правду.
Больше всего меня беспокоило письмо, которое я сегодня днем нашел в электронной переписке, сохранившейся на диске у Джулии. Письмо было от Джулии Рики Морсу, копия отослана Ларри Хэндлеру, главе компании «Ксимос». В письме Джулия описывала процедуры, направленные на обучение роя-камеры работе при сильном ветре. Джулия планировала специально выпустить рой в окружающую среду.
Именно это они и сделали.
Они подали дело так, как будто утечка роя произошла случайно – из-за отсутствия воздушного фильтра на одном из вентиляторов. Ради этого Рики и устроил мне длительную экскурсию по всей фабрике, с песнями и плясками про негодников-подрядчиков и вентиляционную систему. Но все, что рассказывал мне Рики, было неправдой.
Они выпустили рой специально.
Так было задумано с самого начала.
Когда им не удалось заставить рой-камеру работать при сильном ветре, они попытались отыскать какое-нибудь инженерное решение. Из этого ничего не получилось. Частицы были слишком маленькие и легкие, а возможно, и недостаточно умные. В них с самого начала имелись дефекты конструкции, и «Ксимос» не мог их исправить. Весь многомиллионный оборонный проект улетал коту под хвост – потому что «Ксимос» не мог решить проблемы с роем.
И тогда в «Ксимосе» додумались заставить рой решать эти проблемы самостоятельно.
Они поменяли конфигурацию наночастиц, снабдили их микрочипом памяти и солнечным электроэлементом. Они переписали базовую программу для частиц, добавив туда генетический алгоритм. И выпустили рой, чтобы он размножался и эволюционировал. Они собирались проверить, сможет ли рой самостоятельно выжить в окружающей среде.
На этот раз эксперимент удался.
Это было так глупо, потрясающе глупо. Я не понимал, как могли они взяться за такое, даже не подумав о возможных последствиях. Как и все остальное, что я видел в «Ксимосе», этот план слепили на скорую руку, кое-как, по-быстрому – только для того, чтобы как-то уладить насущную проблему, и совершенно не учитывая отдаленные последствия, не думая о будущем. Наверное, это очень типично для корпоративного мышления, когда приходится все время бежать наперегонки с конкурентами. Но когда имеешь дело с подобными технологиями, это чертовски опасно.
Но, конечно, на самом деле все происходило гораздо сложнее. Эта технология сама подталкивает к определенной модели поведения. Распределенные системы агентов работают самостоятельно и сами собой управляют. Так они устроены. В этом-то весь смысл – ты их программируешь, настраиваешь и отпускаешь – дальше все происходит само собой. Если ты занимаешься этим постоянно, то постепенно привыкаешь так делать. Привыкаешь обращаться с системами агентов именно таким образом. Ведь главное их достоинство – автономность.
Но одно дело – выпустить в память компьютера популяцию виртуальных агентов, чтобы они решили какие-то проблемы. И совсем другое – выпустить реальные агенты в реальный мир.
Они в «Ксимосе» просто не поняли разницы. Или не позаботились о том, чтобы эту разницу поискать.
И выпустили рой на волю.
«Самооптимизация» – технический термин, которым это обозначается. Рой эволюционировал самостоятельно, менее успешные агенты погибали, более успешные воспроизводились в следующих поколениях. Через десять или сто поколений эволюционирующий рой приблизился к наилучшему решению. К оптимальному решению.
Такое постоянно происходит внутри компьютеров. Эта закономерность даже специально используется для разработки новых компьютерных алгоритмов. Дэнни Хиллз сделал это одним из первых, уже много лет назад – для оптимизации алгоритма отбора. Он хотел узнать, сможет ли компьютер сам придумать способ, который позволит ему лучше работать. И программа нашла новый способ. Вслед за Дэнни Хиллзом методику сразу же подхватили и другие.
Но еще никто не делал такого с автономными роботами в реальном мире. Насколько мне известно, этот случай – первый. А может быть, такое уже случалось, но мы просто об этом не знали. Как бы то ни было, я уверен, что нечто подобное обязательно случится снова.
И, наверное, довольно скоро.
Уже два часа ночи. Детей наконец перестало тошнить. Они пошли спать. Похоже, с ними пока все в порядке. Малышка тоже спит. Эллен до сих пор сильно тошнит. Я, наверное, снова задремал. Не знаю, что меня разбудило. Я увидел Мае, которая поднималась по склону холма позади моего дома. Вместе с Мае шли люди в серебристых комбинезонах – команда «ССВТ». Мае шла ко мне. Я видел, что она улыбается. Надеюсь, у нее хорошие новости.
Сейчас мне очень не помешали бы хорошие новости.
Джулия писала в своих письмах: «Нам больше нечего терять». Но в конце концов они потеряли все – и свою компанию, и свои жизни, все. И что забавно – ведь на самом деле план Джулии сработал. Рой действительно решил проблему, которую перед ним поставили.
Но на этом рой не остановился. Он продолжал эволюционировать.
И они это допустили. Они не ведали, что творят.
Боюсь, такая надпись будет на надгробии всей человеческой расы.
Но я очень надеюсь, что до этого не дойдет.
Может быть, нам повезет.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105