AI Page Discovery — 概要

ホームページ、サイトマップ、HTMLリンクから公開ページを探索します。ユーザーがURLを確認・選択した後、別のPage Importバッチを作成します。

スコープ

• 1回の探索につきホームページ1件、最大200ページ。
• 同一オリジンのHTTP(S)、robots.txt、重複排除、深さとパスの制限。
• SQSとチェックポイントによる継続処理。プラグインを閉じても探索は継続します。
• JavaScriptナビゲーション、アセット取得、認証、Figma生成は対象外です。

セキュリティ境界

非公開IP、非対応ポート、認証情報付きURL、外部リダイレクト、既知の操作用リンクを拒否します。検証済みIPに接続し、レスポンスを2 MBに制限して間隔を空けて取得します。robots.txtの取得失敗時は探索を停止します。

役割

レイヤー	責務
バックエンド	プロジェクト認可、共有バッチ、FIFO送信、認証済みプレビュー
Page Discoveryワーカー	探索、S3進捗・結果保存、継続メッセージ
Figmaプラグイン	プレビュー、URL選択、別操作でのインポート

AWSへのデプロイには専用FIFO SQSとLambdaの追加が必要です。