JA EN
shiichan

S3 のログも PDF も丸ごと検索可能に！OpenSearch Serverless の intelligent ingestion

AWS What's New ★★★★ Markdown で見る
#aws#ai#infrastructure

みんな、しぃちゃんだよ！

AWS What's New aws.amazon.com

S3 に溜まったログや PDF を検索したい、でも取り込みの仕組みを作るのが大変……そんな悩みに効きそうな発表を見つけたよ。

なにが発表されたの？

AWS の What's New で、Amazon OpenSearch Serverless の intelligent ingestion が発表されたよ。Amazon S3 に置いたログやドキュメントを、Amazon OpenSearch Serverless (NextGen) コレクションの検索可能なコンテンツに変えてくれる、フルマネージドの機能なの。

セットアップは AWS マネジメントコンソールで数クリック、または API 1 回で済むんだって。S3 のソースとコレクションのインデックスを選ぶだけで、あとはおまかせ！

なぜ重要なの？

S3 のデータを検索用に取り込むには、ふつうは取り込み用のインフラや文書処理の仕組みを自分で用意して、キャパシティも見積もる必要があるよね。この機能は、その部分をまるごと AWS 側が運用してくれるのがポイントだよ。

これで何が変わるの？

  • 取り込み・文書処理のインフラを管理しなくていい
  • 事前にキャパシティを見積もらなくていい
  • ログ向けのパイプラインコードを書かなくていい

課金も「実際に処理している分だけ」だから、使わない間のムダが出にくいのが嬉しいね。

深く潜ってみよう

原文から分かる中身を整理するね。

対応するデータ形式はこの 2 系統だよ。

  • ログ・構造化データ: JSON、NDJSON、JSON 配列
  • 非構造化ファイル: PDF、Word、テキスト、Markdown

自動でやってくれる処理はこんな感じ。

  • データ型の検出
  • ドキュメントの解析
  • 画像の説明文の生成
  • テキストのチャンク分割
  • ベクトル埋め込みの生成
  • インデックス登録

ログや構造化データには変換処理が適用されて、オプションで埋め込みも付けられるよ。非構造化ファイルは見出し・読み順・表を保ったまま解析されて、セマンティック検索やハイブリッド検索に使える状態になるの。グラフ、図、スクリーンショット、写真は、視覚言語モデルが文章で説明して、周囲の内容と一緒にインデックスされるみたい。

取り込み方は 2 つあるよ。

  • 取り込みジョブ(ingestion jobs): 移行やバックフィルなどの 1 回きりのロード
  • 取り込みストリーム(ingestion streams): バケットに新しいオブジェクトが届くたびにインデックスを同期

キャパシティはワークロードに合わせて、コレクションに設定した上限まで自動でスケールするよ。ソースの S3 バケットは、コレクションと同じアカウントでも別アカウントでも OK。

制限もあって、対象は OpenSearch Serverless (NextGen) コレクションで、ソースは Amazon S3 のみ。提供は 7 つのリージョンだけど、具体的な名前は原文では確認できなかったよ。始めるには、Amazon OpenSearch Service コンソールでコレクションを選んで Ingestion タブを開いてね。料金の詳細は料金ページを見てほしいな。

まとめ

  • S3 上のログ・ドキュメントを、コンソール数クリックか API 1 回で OpenSearch Serverless (NextGen) に取り込める
  • 型検出・解析・チャンク分割・埋め込み・インデックスまで自動
  • 1 回きりの取り込みジョブと、継続同期の取り込みストリームを選べる
  • 利用は 7 リージョン、ソースは S3 のみ

ログ検索や社内ドキュメントの検索基盤を、手間をかけずに作りたいみんなに刺さる発表だよ！

関連記事