深層学習モデルの作成|ユーザーインターフェース

深層学習モデルの作成

はじめに

ディープラーニングエディタは、DeepModel オブジェクト (トレーニング結果を表す) 専用のグラフィカルユーザーインターフェイスです。ユーザーはこのようなエディターを開くたびに、画像の追加または削除、パラメータの調整、新しいトレーニングの実行を行うことができます。

バージョン 4.10 以降、ディープラーニングエディターをスタンドアロンアプリケーションとして開くオプションもあり、実稼働環境で新しいイメージを使用してモデルを再トレーニングする場合に特に便利です。

Requirements:

ディープラーニングエディタとフィルタを使用するには、ディープラーニングライセンスが必要です。
モデルトレーニングを実行するには、ディープラーニングサービスが稼働している必要があります。

現在利用可能な深層学習ツールは次のとおりです:

異常検出 – 予期せぬ物体の変化を検出するため。単純に良いか悪いかをマークしたサンプル画像を使用してトレーニングする
特徴検出 – 欠陥領域（表面の傷など）または特徴（医療画像上の血管など）の検出用。正確にマークされたグラウンドトゥルース領域を伴うサンプル画像を使用してトレーニングされる
オブジェクトの分類 – 入力画像上で最も目立つオブジェクトの名前またはクラスを識別するため。予想されるクラスラベルを伴うサンプル画像を使用してトレーニングされます。
インスタンスのセグメント化 – シーン内の複数のオブジェクトの位置、セグメンテーション、および分類を同時に実行します。個々のオブジェクトの正確にマークされた領域を伴うサンプル画像を使用してトレーニングする
ポイントの位置 – 複数のキーポイントの位置と分類。予想されるクラスのマークされたポイントを伴うサンプル画像を使用してトレーニングする
文字を読み取る – 複数の文字の位置と分類用。このツールは事前トレーニング済みモデルを使用しており、トレーニングできないため、この記事では説明しません
オブジェクトの場所 – 複数のオブジェクトの位置と分類。予想されるクラスのマークされた境界四角形を伴うサンプル画像を使用してトレーニングされます。

これらのツールの技術的な詳細については、マシンビジョンガイド: ディープラーニングを参照してください。この記事ではトレーニングのグラフィカルユーザーインターフェイスに焦点を当てています。

ワークフロー

次の方法でディープラーニングエディタを開くことができます。

Aurora Vision Studio のフィルター:
1. プログラムエディターで関連するDLフィルタ (例: DL_DetectFeature または DL_DetectFeature_Deploy) を配置します。
2. プロパティに移動します。
3. inModelDirectory または inModelId.ModelDirectory パラメータの横にあるボタンをクリックします。
スタンドアロンのDeep Learning Editor アプリケーション:
1. スタンドアロンのDeep Learning Editorアプリケーションを開きます (Aurora Vision Studio インストールフォルダに「DeepLearningEditor.exe」としてあり、[スタート] メニューの Aurora Vision フォルダー、または [ツール] メニューの Aurora Vision Studio アプリケーションにあります)。
2. 新しいモデルを作成するか、既存のモデルを使用するかを選択します:

深層学習モデルの準備プロセスは、通常、次のステップに分かれています。

画像を読み込み中 – トレーニング画像をディスクからロードする
画像にラベルを付ける – 各トレーニング画像に特徴をマークするかラベルを付ける
関心領域の設定 (オプション) – 分析する画像の領域を選択します
トレーニングパラメータの調整 – 対象のアプリケーションに固有のトレーニングパラメータ、前処理ステップ、拡張機能を選択する
モデルのトレーニングと結果の分析

ディープラーニングエディターの概要。

重要事項:

前処理ボタン – 上部のツールバーにあります。トレーニング画像に適用された変更を確認できます。グレースケールまたはダウンサンプリング。
現在のモデルディレクトリ – 下部のツールバーにあります。別のディレクトリにあるモデルを切り替えたり、実際に作業しているモデルを単に確認したりできます。
「モデルの詳細を表示」ボタン – 前のコントロールの隣にあります。現在のモデルに関する情報を表示し、ファイルに保存できます。
トレーニングとトレーニング再開ボタン – トレーニングパラメータの一部を変更した場合に備えて、トレーニングを開始または再開できます。
保存ボタン:
- 保存 – 現在のモデルを選択した場所に保存します。
- 保存して終了 – モデルを保存し、ディープラーニングエディタを終了します。
- 保存せずに終了 – エディタは終了しますが、モデルは保存されません。

自動トレーニングウィンドウを開くボタン – さまざまなパラメータのトレーニングシリーズを準備できます。
どのパラメータ設定が最良の結果をもたらすかわからない場合は、各値の組み合わせを準備して結果を比較できます。
テストパラメータは新しいグリッドの生成を使用して自動的に準備することも、手動で入力することもできます。パラメータを設定したら、テストを開始する必要があります。
設定と結果はグリッドに 1 つのモデルにつき 1 行で表示されます。

列を表示 – テストで使用するモデルパラメータを表示または非表示にします。
このビューはすべての深層学習ツールに共通です。適切なグリッド検索を作成するには、使用するツールに適したこれらのパラメーター (トレーニングパラメーターで確認できるパラメーター) を選択します。 DL_DetectAnomalies2 の場合は、最初にネットワークタイプを選択して、適切なパラメータを表示します。

新しいグリッドを生成 – 指定されたパラメータの検索グリッドを準備します。 [列の表示] で選択したパラメータのみが使用可能です。値は ; 記号で区切る必要があります。

行が重複しています – トレーニングパラメータ設定を複製します。行内のパラメータが変更されない場合、このモデルは 2 回トレーニングされます。

エディタからインポート – トレーニングパラメータをエディタウィンドウから検索グリッドの最後の行にコピーします。

レポートを表示 – は、選択したモデル (選択した行) のレポートを示します。このオプションは、トレーニングセッションを開始する前にレポートの保存を選択した場合にのみ使用できます。

追加オプション

グリッドを CSV ファイルにエクスポート – トレーニングパラメータのグリッドを CSV ファイルにエクスポートします。
CSV ファイルからグリッドをインポートします – CSV ファイルからトレーニングパラメータのグリッドをインポートします。

削除 – 選択したトレーニング構成を削除します。

クリア – 検索グリッド全体をクリアします。

単一トレーニングの停止条件 – 単一のトレーニングがいつ停止されるかを決定します。

反復回数
時間
改善のない反復
検証の精度

オプション

モデルを保存 – トレーニングされた各モデルを定義されたフォルダーに保存します。
レポートを保存 – モデルの保存用に定義されたフォルダーに、トレーニング済みモデルごとのレポートを保存します。

統計 – すべてのトレーニングの統計を示します。

平均スコア – すべての画像のすべてのトレーニング済みモデルの平均スコアを示します。
平均テストスコア – テスト画像のトレーニングされたすべてのモデルの平均スコアを示します。
合計時間 – 各トレーニングの時間を合計します。

しきい値セレクター – どの画像グループに対して最適なしきい値が検索されるかを選択します。

すべての画像
テスト画像

開始 – 最初に定義された構成でトレーニングシリーズを開始します。

停止 – トレーニングシリーズを停止します。

続行 – 停止したトレーニングシリーズをパラメータの次の構成で継続します。

異常の検出 1

このツールでは、ユーザーはどの画像に正しいケース (良い) が含まれるか、または間違ったケース (悪い) が含まれるかをマークするだけで済みます。

1. 良いサンプルと悪いサンプルをマークし、それらをテストデータとトレーニングデータに分割します。

疑問符記号をクリックすると、トレーニングセット内の各画像に良いまたは悪いというラベルが付けられます。トレーニング画像の右側にある緑と赤のアイコンは、画像がどのセットに属しているかを示します。
または、画像とマークを追加... を使用することもできます。次に、画像の左側のラベルをクリックして、画像をトレーニングまたはテストに分割します。不良サンプルはすべてテストとしてマークする必要があることに注意してください。

Deep Learning Editor でのラベル付き画像

2. オーグメンテーションの構成

通常、特にトレーニングセットが小さい場合は、サンプルの拡張をいくつか追加することをお勧めします。たとえば、ユーザーはピクセル強度のバリエーションを追加して、生産ラインのさまざまな照明条件に合わせてモデルを準備できます。深層学習 - 拡張パラメータの詳細な説明については、「拡張」セクションを参照してください。

3. 関心領域の縮小

対象領域を縮小して、画像の重要な部分のみに焦点を当てます。関心領域を減らすと、トレーニングと推論の両方が高速化されます。

このツールの関心領域はトレーニングセット内の各画像で同じであり、個別に調整できないことに注意してください。その結果、この関心領域はモデルの実行中に自動的に適用されるため、ユーザーはプログラムエディターでのサイズや形状に影響を与えません。

デフォルトでは、対象領域には画像全体が含まれます。

4. トレーニングパラメータの設定

サンプリング密度 (DL_DetectAnomalies1 および DL_DetectAnomalies2 のみ) の Featurewise アプローチの場合 – 低、中、高から選択します。
特徴サイズ (ローカルタイプのみ) – 検査ウィンドウの幅。エディタの左上隅にある小さな四角形で、選択したフィーチャのサイズが視覚化されます。
停止条件 – トレーニングプロセスをいつ停止するかを定義します。

詳細については Deep Learning – Setting parametersをご覧ください。

5. トレーニングの実施

トレーニング中、トレーニングエラーと検証エラーの 2 つの数値が連続して表示されます。両方のグラフに同様のパターンがあるはずです。

より詳細な情報は、以下のグラフに表示されます。

現在のトレーニング統計 (トレーニングと検証)、
処理されたサンプルの数 (画像の数と特徴のサイズによって異なります)、
経過時間。

トレーニングプロセスは、トレーニングエラーと検証エラーの計算で構成されます

選択した停止基準と利用可能なハードウェアによっては、トレーニングプロセスに時間がかかる場合があります。この間、「停止」ボタンをクリックすることで、いつでもトレーニングを手動で終了できます。モデルが存在しない場合 (最初のトレーニング試行)、検証精度が最も高いモデルが保存されます。トレーニングを継続的に試行すると、ユーザーに古いモデルの交換についてのメッセージが表示されます。

6. 結果の分析

ウィンドウには、サンプルスコアのヒストグラムと見つかった欠陥のヒートマップが表示されます。左側の列には、トレーニングセット内の各画像に対して計算されたスコアのヒストグラムが含まれています。追加の統計はヒストグラムの下に表示されます。

トレーニングされたモデルを評価するには、評価: この画像 または 評価: すべての画像 ボタンを使用できます。新しい画像をデータセットに追加した後、または対象領域を変更した後に役立ちます。

ヒートマップには、欠陥の可能性がある領域が表示されます

トレーニング後、2 つの境界値が計算されます。

最大良好サンプルスコア (T1) – 0 から T1 までのすべての値が Good としてマークされます。
最小不良サンプルスコア (T2) – T2 より大きい値はすべて Bad としてマークされます。

T1 と T2 の間のすべてのスコアは「低品質」としてマークされます。この範囲での結果は不確実であり、正しくない可能性があります。フィルタには、T1 ～ T2 の範囲にない値を決定する追加の出力 outIsConfident が含まれています。

評価後、トレーニング画像のリストで追加のフィルタリングオプションを使用できます。

トレーニングセット内の画像をフィルタリングします。

インタラクティブなヒストグラムツール

DetectAnomalies フィルターは、トレーニング段階で学習した通常の画像の外観からのサンプルの偏差を測定します。偏差が所定のしきい値を超える場合、画像は異常としてマークされます。推奨されるしきい値はトレーニングフェーズ後に自動的に計算されますが、ユーザーがディープラーニングエディターで後述の対話型ヒストグラムツールを使用して調整することもできます。

トレーニングフェーズの後、トレーニングサンプルごとにスコアが計算され、ヒストグラムの形式で表示されます。良好なサンプルは緑色のバーでマークされ、不良サンプルは赤色のバーでマークされます。完璧なケースでは、良好なサンプルのスコアは不良サンプルのスコアよりもすべて低くなり、モデルの精度が最適になるようにしきい値が自動的に計算されるはずです。ただし、次の理由により、グループが重複する場合があります。

サンプルのラベルが間違っている
不正な特徴サイズ
予想される欠陥の定義があいまい
サンプルの外観や環境条件のばらつきが大きい

より堅牢なしきい値を達成するには、両方のグループからの多数のサンプルを使用してトレーニングを実行することをお勧めします。サンプル数が制限されている場合、当社のソフトウェアを使用すると、追加のしきい値を使用して不確実性領域を手動で設定できます (モデルの信頼性に関する情報は、非表示の outIsConfident フィルター出力から取得できます)。

ヒストグラムツール。緑色のバーは正しいサンプルを表し、赤色のバーは異常なサンプルを表します。 T は主なしきい値を示し、T1、T2 は不確実性の領域を定義します。

左: モデルの精度が良好であることを示す、十分に分離されたグループを示すヒストグラム。右: モデルの精度が低い。

異常の検出 2 (分類的アプローチ)

DL_DetectAnomalies2 は、異常の検出に使用できる別のフィルターです。これは同じ問題を別の方法で解決するように設計されています。画像再構成技術を使用する代わりに、Anomaly Detection 2 は入力画像の各部分の 1 クラス分類を実行します。

どちらのツールも非常に似ているため、モデルを作成する手順は同じです。モデルパラメーターセクションのこれらのフィルター間の違いはわずかです。 DL_DetectAnomalies2 の場合、ユーザーは反復回数とネットワークタイプを変更する必要はありません。代わりに、検査ウィンドウを使用して分析のステップを定義するサンプリング密度を設定することができます。サンプリング密度が高いほど、ヒートマップはより正確になりますが、トレーニングと推論にかかる時間は長くなります。

結果は、緑 (良好として分類) または赤 (不良として分類) の 2 色の長方形としてマークされます。

結果として得られるヒートマップは、通常、再構成的異常検出を使用した場合ほど空間的には正確ではありませんが、スコアの精度とヒストグラム上のグループ分離ははるかに優れている可能性があります。

ヒートマップは、欠陥の可能性が最も高い位置を示します

特徴の検出 (セグメンテーション)

このツールでは、ユーザーは各フィーチャクラスを定義し、トレーニングセット内の各画像上のフィーチャをマークする必要があります。この技術は、傷や色の変化などのオブジェクトの欠陥を見つけたり、選択したパターンでトレーニングされた画像部分を検出したりするために使用されます。

1. フィーチャクラスの定義 (マーキングクラス)

まず、ユーザーは欠陥のクラスを定義する必要があります。一般に、それらはユーザーが画像上で検出したい特徴である必要があります。複数の異なるクラスを定義できますが、複数のクラスを使用することはお勧めできません。

クラスエディタは、上部バーのスプロケットホイールアイコンの下で利用できます。

クラスを管理するには、Add, Remove or Rename を使うことができます。外観をカスタマイズするには、色の変更ボタンを使用して各クラスの色を変更できます。

このツールでは、より多くのクラスの欠陥を定義できます。

編集対象の現在のクラスが左側に表示され、ユーザーはクリック後に別のクラスを選択できます。

描画ツールを使用して、入力画像上の特徴をマークします。 ブラシや長方形などのツールは、フィーチャの選択に使用できます。

さらに、クラスマスクを外部ファイルからインポートできます。作成されたクラスの インポート と エクスポート のボタンがあるため、ユーザーは深層学習モデルの前にマスクのイメージを自動的に作成できます。

画像マスクは、入力セットで選択された画像と同じサイズである必要があります。画像マスクをインポートすると、黒以外のピクセルがすべて現在のマスクに含まれます。

ツールの最も重要な機能。

ユーザーは、[画像とマスクを追加] ボタンを使用して、複数の画像とマスクを同時に読み込むこともできます。

画像とマスクへのパスを選択

入力画像を含むディレクトリを最初に選択する必要があります。次に、各フィーチャクラスのディレクトリを以下で選択できます。画像とマスクは、ファイル名を使用して自動的に照合されます。たとえば、「images」ディレクトリに画像 001.png、002.png、003.png が含まれているとします。「mask_class1」ディレクトリには 001.png、002.png、003.png が含まれています。「mask_class2」ディレクトリには 001.png、002.png、003.png が含まれます。次に、「images\001.png」イメージが「mask_class1\001.png」および「mask_class2\001.png」マスクとともにロードされます。

2. 関心領域の縮小

ユーザーは入力画像のサイズを小さくして、トレーニングプロセスを高速化できます。多くの場合、画像上の特徴の数は非常に多く、そのほとんどは同じです。このような場合、対象領域を縮小することもできます。

上部のバーには、現在の ROI をすべての画像に適用したり、ROI をリセットしたりするためのツールがあります。

ROIの設定

3. トレーニングパラメータの設定

ネットワークの深さ – 複雑さの異なるいくつかの事前定義されたネットワークアーキテクチャの 1 つを選択します。より大きく複雑な画像パターンの場合は、より深い深度が必要になる場合があります。
パッチサイズ – ニューラルネットワークの 1 回のパスで分析される画像部分のサイズ。これは対象となるどの特徴よりも大幅に大きい必要がありますが、大きすぎないように注意してください。パッチのサイズが大きくなるほど、トレーニングプロセスは難しくなり、時間がかかります。
停止条件 – トレーニングプロセスをいつ停止するかを定義します。

詳細については、 Deep Learning – Setting parameters and Deep Learning – Augmentationを参照してください。

4. モデルのトレーニング

グラフには、トレーニングスコアと検証スコアという 2 つのシリーズが含まれています。スコア値が高いほど、より良い結果が得られます。

この場合、トレーニングプロセスは、トレーニングと検証の精度を計算することで構成されます。

5. 結果分析

画像スコア (ヒートマップ) は、モデルを使用して画像を評価した後、青、黄、赤のカラーパレットで表示されます。色は、現在選択されているフィーチャクラスに要素が属する確率を表します。

評価: この画像 ボタンと評価: すべての画像 ボタンを使用して画像を分類できます。新しい画像をデータセットに追加した後、または対象領域を変更した後に役立ちます。

分類後の画像

エディタの左上隅にある緑色の四角形は、選択したパッチサイズを視覚化します。

オブジェクトの分類

この場合も、ユーザーは必要な数のクラスに関して画像にラベルを付けるだけで済みます。理論的には、ユーザーが作成できるクラスの数は無限ですが、GPU が処理できるデータ量によって制限されることに注意してください。ラベル付き画像を使用すると、モデルをトレーニングし、新しいサンプルを評価して適切なクラスに割り当てるために使用される特徴を決定できます。

1. クラス数の編集

デフォルトでは 2 つのクラスが定義されています。問題がそれよりも複雑な場合は、ユーザーはクラスを編集し、必要に応じてさらに定義することができます。ユーザーがクラスを定義する準備ができたら、画像にラベルを付けることができます。

クラスエディターの使用

2. ラベルサンプル

トレーニング画像を追加した後、サンプルのラベル付けが可能です。各イメージには、特定のクラスを割り当てることができる対応するドロップダウンリストがあります。 Deep Learning Editor で目的の画像を選択することで、1 つのクラスを複数の画像に割り当てることができます。

クラスを使用した画像のラベル付け