AIインポート

AIインポートは制御パネルレイアウトの画面イメージを取り込み、AIが自動的に部品を検出してページに配置する機能です。 既存の制御パネルの画面キャプチャや写真から、ラベル、ボタン、値フィールド、メーターなどの部品を自動認識し、レイアウトを再現します。

はじめに

AIインポート機能を使用するには、Anthropic APIキーが必要です。 APIキーはAIインポート画面の「ヘルプ&設定」から登録できます。

  • APIキーの取得
    Anthropic Consoleにアクセスし、アカウントを作成してAPIキーを取得します。
  • APIキーの登録
    AIインポート画面上部の「ヘルプ&設定」ボタンをタップし、「Anthropic API Key」にAPIキーを入力します。

練習用モード: AIインポートの動作をお試しできる練習用モードが利用できます。 サンプルデータを使って部品検出の結果を確認できます。


使い方

1. AIインポートを開く

編集画面のツールバーにあるアイテム追加ボタン(「+」)をタップし、メニューから「AIインポート」を選択します。

2. 画像を選択

AIインポート画面で以下のいずれかの方法で画面イメージを取り込みます:

  • 画像を選択
    「画像を選択」ボタンをタップして写真ライブラリから画像を選択します。
  • 練習用
    練習用セクションからサンプルをタイトルで選択してAIインポートの動作を試せます:
    • コントロールパネル (31アイテム) — 通常の部品(ラベル、ボタン、値フィールド、メーター)
    • マトリックス表 (9アイテム) — マトリックス(表形式のデータ)

3. 検出モードを選択

画像の内容に応じて検出モードを選択します:

  • マトリックスなし
    通常の部品(ラベル、ボタン、値フィールド、メーターなど)を検出します。 表形式のレイアウトが含まれない画面に適しています。
  • マトリックスのみ
    マトリックス(表形式のレイアウト)のみを検出します。 表形式のレイアウトが含まれる画面に適しています。

4. 解析実行

「解析」ボタンをタップすると、AIが画像を分析して部品を検出します。 検出が完了すると、検出された部品のリストが表示されます。

5. 検出結果の確認と編集

検出された部品のリストで、各部品の情報を確認・編集できます:

  • 部品タイプ
    部品の種類(ラベル/ボタン/値/メーター/マトリックス)をPickerで変更できます。
  • タイトル
    部品に表示されるテキストを編集できます。
  • 単位(値/メーターのみ)
    AIが自動検出した単位をタップでON/OFF切り替えできます。 例: "°C"、"kg"、"個"、"%"など
  • 編集可(値のみ)
    鉛筆アイコンをタップして、値フィールドの編集可/不可を切り替えます。
  • 背景色とテキスト色
    色丸で部品の背景色とテキスト色を確認できます。
  • 罫線(マトリックスのみ)
    AIが判定した罫線の有無を確認・変更できます。
  • ヘッダー背景色(マトリックスのみ)
    "H"ラベル付き色丸でヘッダー背景色を確認できます。

6. ページに配置

「選択を配置」ボタンをタップすると、検出された部品が編集中のページに配置されます。 部品は画像内での位置とサイズに基づいて配置されます。

7. 再解析

検出結果が期待通りでない場合、「再解析」ボタンで再解析できます。


検出の詳細

検出可能な部品

  • ラベル — テキスト表示
  • ボタン — ボタン
  • — 数値表示・入力フィールド
  • メーター — メーター(ゲージ)
  • マトリックス — データ表(行・列のグリッド)

自動検出される情報

  • 位置とサイズ
    画像内での部品の位置とサイズをパーセンテージで検出します。
  • テキスト内容
    日本語・英語のテキストを認識します。
  • 背景色とテキスト色
    部品の色を色名(Red / Blue / Green など)で検出します。
  • 数値の単位
    値フィールドやメーターのタイトルから単位を自動抽出します。 例: "85.23 °C" → 単位:"°C"、小数点以下:2桁
  • 小数点桁数
    表示されている数値から小数点以下の桁数を自動判定します。
  • マトリックスの構造
    行数・列数、ヘッダーの有無、罫線の有無を検出します。

検出精度を高めるコツ

  • 画質
    鮮明でピントの合った画像を使用します。
  • 画像サイズ
    大きめの画像の方が精度が高くなります。
  • 余白
    不要な部分を含まず、必要な部品のみが写るようにトリミングします。
  • 検出モード
    画像の内容に応じて適切な検出モード(マトリックスなし / マトリックスのみ)を選択します。

キャッシュ

解析結果はデバイスにキャッシュされます。 同じ画像と指示(追加の指示)の組み合わせで解析する場合、APIを呼び出さずにキャッシュから即座に結果を読み込みます。

  • キャッシュの確認
    キャッシュからの結果の場合、検出結果のヘッダーに「(キャッシュ)」と表示されます。
  • 新しい結果の取得
    キャッシュを使用せずに新しい解析結果を取得したい場合は、「再解析」ボタンをタップします。

キャッシュにより、同じ画像を繰り返し解析する際のAPI呼び出しコストと時間を節約できます。


ヒント

  • デバイスの割り当て
    AIインポートで配置された部品には自動的にデバイス名は割り当てられません。 配置後にインスペクターで各部品のデバイス名を設定してください。
  • 微調整
    配置された部品の位置やサイズは、配置後に手動で調整できます。
  • 部品の削除
    不要な部品は選択して削除できます。 配置した全アイテムを一括削除したい場合は、Undoを使用してください。
  • 色のカスタマイズ
    配置後にインスペクターで色を変更できます。
  • マトリックスの編集
    配置されたマトリックスは、 マトリックスドキュメント を参照してテンプレートやデバイスオフセットを設定してください。
  • コストについて
    AIインポートはClaude Haiku 4.5を使用しており、低コストです。

プライバシー

AIインポート機能を使用する際、選択した画像はAnthropicのClaude APIに送信されて処理されます。 画像に機密情報が含まれる場合はご注意ください。

練習用モードでは画像がサーバーに送信されることはありません。 サンプルデータはアプリ内に保存されており、オフラインで動作します。