非構造化データ: AI テクノロジーの導入におけるハードル

Kaushik はテクニカル アーキテクトおよびソフトウェア コンサルタントであり、ソフトウェア分析、開発、アーキテクチャ、設計、テスト、トレーニング業界で 20 年以上の経験があります。 彼…

Eddie Wrenn は、イギリスとオーストラリアの国内外のニュース編集室で働いてきた記者兼ニュース編集者で、主に…

人工知能は、傾向分析や医療診断サポートなどの業務ですでにその価値を証明しています。 ただし、その有効性は構造化データにかかっており、データ不足により弱点となる可能性があります。 AI は構造化データに依存しているため、非構造化データや解析が難しいデータに直面した場合に障害が生じ、AI の能力が制限されます。 心強いことに、非構造化データを処理する AI の能力を強化する取り組みが進行中です。

人工知能 (AI) は、以前は想像もできなかったようなことを行うことができます。

歩行者と道路標識を区別して自動運転車を誘導したり、記事の論調をレビューしてフィードバックを提供したり、役立つ患者データを医師に提供したり、その他の何千もの時間を節約し思慮深い仕事を実行したりできます。

ただし、AI が機能するためには構造化データに依存することが多く、その依存関係がアキレス腱になる可能性があります。

AI は、構造化または非構造化を問わず、さまざまなソースからのあらゆる種類のデータを処理できます。 例としては次のものが挙げられます。

AI システムには、少なくとも大規模なタスクでは一貫したデータ形式が必要ですが、さまざまなソースからのデータが頑固に変化しており、構造に適合させることが難しい場合、統一性を適用することは困難です。

データを整形するための前処理プロセス (エラー、不要なスペース、外れ値の除去など) は時間のかかるプロセスです。

データは API、JSON ファイル、またはスプレッドシートによって供給されるさまざまな形式でもあり、時間の経過とともに新しいデータ形式が出現するため、問題がさらに複雑になる可能性があります。

データの機密性も複雑さを増す可能性があるため、プロバイダーはデータ漏洩を防ぐために細心の注意を払う必要があります。

X 線、CT スキャン、MRI をテスト ケースとして、AI と医療画像を使用して、非構造化データが AI の導入をどのように妨げているかを理解してみましょう。

理想的には、AI が画像レポートを分析し、放射線技師や医師が病気を正確かつ迅速に診断できるようにする必要があります。 ただし、次の要因により、画像出力を正しく解釈する AI の能力が大幅に制限されます。

品質、角度、照明、患者の位置のばらつきにより、AI が画像を理解することが難しくなり、エラーや誤った出力が返される可能性があります。

さまざまな患者の解剖学的構造の多様性は、AI システムが理解するのが課題です。 AI は均一性を好みますが、人間の解剖学的構造における多様性をまだ受け入れようとしています。

アノテーションにより、AI はイメージングをより深く理解できるようになります。アノテーションがないと、AI が独自にイメージング プレートを理解することになりますが、有用なリソースがなければ、これは困難です。

AI にはデータの均一性と一貫性が必要ですが、まれな病状での画像処理ではデータ処理能力が大幅に制限されます。 このような状況を理解するには、AI システムが進行しながら学習する必要があります。

画像処理には、機械の問題、画像処理プロトコルの不遵守、患者の体の位置の変化などのさまざまな要因により、ノイズ、アーティファクト、歪みが含まれる場合があります。 非構造化データはこのような問題から生じ、AI の理解を困難にします。

構造化データに依存しているため、AI が複数のユースケースを解決するまでの道のりは長いです。 一方、組織にとって、構造化データの提供は依然としてコストと時間がかかる作業です。

AI の可能性を最大限に引き出すには、データのプロビジョニングと解析を改善する必要があり、同時に非構造化データを処理できるように AI システムを装備するには多くの作業を行う必要があります。

Kaushik はテクニカル アーキテクト兼ソフトウェア コンサルタントであり、ソフトウェア分析、開発、アーキテクチャ、設計、テスト、トレーニング業界で 23 年以上の経験があります。 新しいテクノロジーとイノベーション分野に興味を持っています。 Web アーキテクチャ、Web テクノロジー、Java/J2EE、オープンソース、WebRTC、ビッグデータ、セマンティック テクノロジーに焦点を当てています。 彼は、要件分析、アーキテクチャ設計と実装、技術的ユースケースの準備、およびソフトウェア開発における専門知識を実証してきました。 彼の経験は、保険、銀行、航空会社、海運、文書管理、製品開発などのさまざまな領域に及びます。彼は、メインフレーム (IBM S/390) から始まるさまざまなテクノロジーを扱ってきました。