「ブラックボックス」という言葉を聞くと、考えられないことが起こった場合の事後分析に役立つ飛行機内の記録装置を思い出す人もいます。あるいは、最小限の設備を備えた小さな劇場を思い起こさせる人もいます。しかし、ブラック ボックスは人工知能の世界でも重要な用語です。
AI とは、ユーザーには目に見えない内部動作を備えた AI システムを指します。入力を与えて出力を取得することはできますが、システムのコードや出力を生成したロジックを調べることはできません。
機械学習は人工知能の主要なサブセットです。これは、ChatGPT のような生成 AI システムの基礎となっており、機械学習には、アルゴリズムまたはアルゴリズムのセット、トレーニング データ、モデルの 3 つのコンポーネントがあります。アルゴリズムは一連の手順です。機械学習では、アルゴリズムは、大規模な例 (トレーニング データ) でトレーニングされた後、パターンを識別する方法を学習します。機械学習アルゴリズムがトレーニングされると、その結果が機械学習モデルになります。モデルは人々が使用するものです。
たとえば、画像内のパターンを識別するように機械学習アルゴリズムを設計でき、トレーニング データとして犬の画像を使用できます。結果として得られる機械学習モデルは、ドッグスポッターになります。画像を入力として入力し、画像内のピクセルのセットが犬を表しているかどうか、またその場所がどこにあるかを出力として取得します。
機械学習システムの 3 つのコンポーネントはどれも、隠蔽することも、ブラック ボックスに入れることもできます。よくあることですが、アルゴリズムは公に知られているため、ブラック ボックスに入れると効果が低くなります。そのため、知的財産を保護するために、AI 開発者はモデルをブラック ボックスに入れることがよくあります。ソフトウェア開発者が採用するもう 1 つのアプローチは、モデルのトレーニングに使用されるデータを不明瞭にすることです。つまり、トレーニング データをブラック ボックスに入れることです。
ブラック ボックスの反対は、 と呼ばれることもあります。 AI ガラス ボックスは、アルゴリズム、トレーニング データ、モデルをすべて誰でも見ることができるシステムです。しかし研究者は、これらの側面さえもブラックボックスとして特徴づけることがあります。
それは、研究者が機械学習アルゴリズム、特にアルゴリズムがどのように動作するかを研究しているためです。この分野では、必ずしもガラスの箱ではないものの、人間がよりよく理解できるアルゴリズムの開発に取り組んでいます。
AI ブラックボックスが重要な理由
多くの場合、ブラックボックスの機械学習アルゴリズムとモデルを警戒するのには十分な理由があります。機械学習モデルがあなたの健康状態を診断したとします。モデルをブラック ボックスまたはガラス ボックスのどちらにしますか?あなたの治療方針を処方する医師はどうですか?おそらく彼女は、モデルがどのようにしてその決定に至ったのか知りたいと思っているでしょう。
銀行からのビジネスローンを受ける資格があるかどうかを判断する機械学習モデルがあなたを断った場合はどうなりますか?その理由を知りたくありませんか？そうした場合、より効果的に決定に対して異議を申し立てたり、状況を変えて次回融資を受ける可能性を高めることができます。
ブラック ボックスは、ソフトウェア システムのセキュリティにも重要な影響を及ぼします。何年もの間、コンピューティング分野の多くの人々は、ソフトウェアをブラックボックスに保管しておけば、ハッカーによる検査を防ぐことができ、したがってソフトウェアは安全になると考えていました。ハッカーはソフトウェアを作成し、つまり、ソフトウェアの動作を注意深く観察してファクシミリを構築し、悪用できる脆弱性を発見できるため、この仮定は大部分が間違っていることが証明されています。
ソフトウェアがガラスの箱に入っていれば、ソフトウェアのテスターや善意のハッカーがソフトウェアを調べて弱点を作成者に知らせることができるため、サイバー攻撃を最小限に抑えることができます。
パデュー大学の電気工学およびコンピュータ工学の教授です。彼は連邦政府、州政府、民間企業など多くの資金源から研究資金を受けています。
この記事はクリエイティブ コモンズ ライセンスに基づいて再公開されています。ここで見つけることができます。
