公開: 2019年7月13日
更新: 2024年10月25日
よく切れる刃物は、物を切るときには大変便利な道具です。しかし、その刃物を、悪意を持った人が使うと、他人を殺したりできる危険な武器になります。コンピュータシステムも正しく動作し、それを利用する人が「正しい心」を持っていれば、多少、誤動作をすることがあっても、社会的に大きな問題を発生することはありません。しかし、コンピュータシステムを動かしているプログラムに誤りが潜んでいたり、誤りがわざと組み込まれていたら、そのコンピュータシステムは、人間に対して危害を起こす機械になるかも知れません。つまり、コンピュータシステムを作る人たちは、「正しい心」を持った人々でなければ、人間の社会は成り立たないのです。しかし、人間がコンピュータを作ったり、プログラムを作ったりするわけですから、コンピュータにも、プログラムにも、間違いは入り込まざるをえないのです。その「間違いの入り込み」をどう防ぐかは、人間にとって重大な問題ですが、まだ、その方法は分かっていません。
大企業でも、数十億円、数百億円の借金は、短時間には手当てできないので、その大企業の経営陣は、そのために忙しく動き回らなければなりません。その間、本来やるべきだった仕事はできなくなるので、後回しにせざるをえません。このように、銀行システムの停止は、社会に大きな経済的悪影響を与えます。当然、そのような事故を起こしてしまった銀行は、そのようにして発生した顧客の損害を弁償しなければならなくなります。さらに、顧客の大企業が、商売で得たお金の一部を使って、株式投資を行っている場合には、その株式売買にも支障が出るので、システムの停止がなければ得られていたはずの利益が得られらくなる可能性もあります。そのような「もしかしたら得られていたかもしれない利益が得られない」時の「損」を、「機会損失(きかいそんしつ)」と言います。
現代の多くの企業は、一時的でも手元にあるお金を遊ばせずに、株式投資などに回し、お金を有効に使って、経営を効率的に行おうとしています。コンピュータシステムの停止は、そのような問題にも影響しますが、その損失は、損失額を明確に計算することができないので、損害補償を要求する裁判をしても、十分な補償を得られるとは限りません。ですから、大銀行のコンピュータシステムが止まると、その国の経済に多大な悪影響が出る場合があります。そのような銀行のコンピュータシステムの事故が起こる頻度が高い国の場合、その国全体の信用が国際的に低下し、その国のお金の価値は下がってしまいます。そうなると、国民全体に悪影響が及ぶことになるのです。
これからの社会では、特に先進諸国ではコンピュータの利用が多くなるため、コンピュータシステムの誤動作や故障の発生は、社会的に大問題を生じさせるでしょう。例えば、信号機を動かしているコンピュータが止まったり、電車の運行を指示しているコンピュータが止まったり、電力の供給を管理しているコンピュータシステムが誤動作をすると、交通がマヒしたり、電車が動かなくなったり、電気が来なくなったりします。特に、大都会になると、そのようなコンピュータの事故は、その地域で大バニックを起こす原因になります。これまでの社会であれば、大地震や強大な台風の直撃など、自然災害がなければ起こらなかったことが、コンピュータの誤動作や故障が原因で発生する可能性があります。
自動車の自動運転を行うコンピュータの誤動作や故障が起こる場合も、もともとはたった1台の車に乗っているコンピュータの故障が原因だったとしても、その故障が原因で、他の自動車に乗っているコンピュータのプログラムに誤動作を起こさせ、東京中の自動車の自動運転システムを正常に動かすことができない状態に陥れるかもしれません。普段は、便利で安全な道具でも、状況が変われば、救急車が急病人を運んだりすることを不可能にしたり、消防車が火事の現場に行くことをできなくするような、人命に関わる問題を発生させるかも知れません。
さらにコンピュータシステムでは、その性質を利用して、正しいプログラムに少しの変更を加え、それを「密かに」元のコンピュータに戻して動くようにして、わざと大事故を発生させようとするテロが起きる可能性もあります。これは、プログラムが変われば、それを動かしているコンピュータの動きが変わり、コンピュータの動作の変化が、それを搭載した自動車の動きを変えてしまうからです。飛行機の場合と同じように、運転手が思う動きを自動車はしなくなる可能性があります。プログラムを変えてしまえば、ブレーキを踏んだら車が加速するようにすることも可能なのです。さらに、事故が起きた後、コンピュータのプログラムを変える前のプログラムに戻して、原因を分からないようにすることも可能です。普通、コンピュータウイルスと呼ばれているものです。
理性的な判断だけが重要だとすれば、普通は人間よりもコンピュータがそれを行った方が間違いは少なく、速いことは確かです。しかし、だからと言って人間がそのようなことを全てコンピュータに任せてしまうと、ある日、人間が何もできない状態に陥るかも知れません。つまり、何か問題が起こった時には、人間がコンピュータに代わって、その作業をすることができるようにしておかなければ、人類は滅びてしまいます。自動ロボット兵器は、正常に動いていれば、敵を殺してくれるのかも知れません。しかし、敵と味方を区別する能力がなくなったり、その部品が誤動作をすれば、味方も皆殺しにされるかも知れません。万能な道具は、もはや道具ではなく、人間と同じようなものであり、人間の意志に従うかどうかは分からなくなります。