UniNote：統合マルチモーダル埋め込み

Xiaohongshuの中心的な発想はシンプルです。1つのノート、1つの埋め込み、1つの検索経路。 テキスト、画像、動画、音声を別々のシステムで処理するのではなく、UniNoteは、検索とランキングの両方に使える1つの共有ベクトル空間へそれらを配置します。

この記事を要約すると、特に重要なのは次の点です。

• UniNoteはノートごとに1つのマルチモーダル埋め込みを作成する
• InfoNCE lossとハードネガティブマイニングを含む、2段階の学習を使用する
• 検索とランキングに同じ埋め込みシステムを使うことを目指している
• 写真と商品ページ、または動画のclipを対応付けるような、クロスモーダル検索の改善が目的である
• 関連する共有空間の研究成果として引用された、NDCG@10で最大26パーセントポイントというクロスモーダル検索の向上を示している
• 限界も明確である。きめ細かな不一致、3〜25秒という動画の時間窓の制約、そしてシグナルが整合しない場合のランキングエラーがある

言い換えると、これは新たなモデルを追加するというより、メディア種別ごとに分断されたパイプラインを減らす取り組みです。検索、フィード、ショッピングの商品発見に取り組むチームにとっては、1つのインデックス、より単純なシステムフロー、検索とランキングの不一致の削減につながります。

ここから得られる結論は明快です。共有埋め込みはマルチモーダル検索の運用を簡素化できますが、結果が適切に感じられるかどうかは、依然としてアラインメントの品質で決まります。

Qwen3-VL-EmbeddingとQwen3-VL-Reranker：最先端のマルチモーダル検索に向けた統合フレームワーク

UniNoteの仕組み：アーキテクチャ、学習、検索・ランキング設計

モダリティを横断する統合ノート表現

UniNoteは、まずASR、OCR、VLMsを使用して音声、画像、動画を共通のノート形式に変換し、次にそれらのシグナルを1つの共通ベクトル空間へマッピングします。各モダリティはそれぞれ専用のエンコーダーを通り、学習可能な射影層がその出力を単一の高次元空間へ移します。最終的に、ノートに含まれるあらゆるシグナルから、ノートごとに1つの埋め込みが構築されます。

この構成により、Xiaohongshuはテキスト、画像、動画、音声を横断する検索に1つのパイプラインを利用できます。各形式を孤立した別々の領域として扱うのではなく、システムはすべてを同じ地図上に配置します。

もちろん、これが機能するのは、モデルが形式間の強固なアラインメントを学習できた場合に限られます。

2段階学習とハードネガティブマイニング

UniNoteは2段階のアプローチを採用しています。

第1段階では、InfoNCE lossを用いた対照学習を適用します。これにより、コンテンツが異なる形式で現れる場合でも、一致するコンテンツ同士を近づけるようモデルを学習させます。

第2段階では、関連度を考慮した最適化とハードネガティブマイニングを通じて、ランキング品質に重点を移します。ハードネガティブとは、文脈上は近く見えても意味的には誤っている項目です。これは非常に重要です。モデルが惜しい不一致と実際の一致を区別できれば、ランキングの精度が高まります。

UniNoteは可変長埋め込みも使用します。これは、タスクに完全な精度が不要な場合、埋め込みを短くできるということです。簡単に言えば、システムは細部を少し犠牲にする代わりに、ストレージ使用量を減らし、検索を高速化できます。

その後、同じ埋め込みで候補検索と最終ランキングの両方を処理できます。

検索とランキングに1つのモデルを使うとシステム設計が簡素化される理由

多くのレコメンデーションシステムは、検索用とランキング用に別々のモデルを使用します。机上では整然として見えますが、実際には段階間のずれを生むことがあります。一方のモデルが学ぶ関連性の概念と、もう一方が学ぶ概念がわずかに異なるためです。

UniNoteはこの分断を避けます。検索とランキングの両方に1つの埋め込みフレームワークを使い、2つの段階の整合性を維持します。この共有構成によって、本番環境でも検索とランキングが同じように機能しやすくなります。

次に問うべきは、この設計が実際の検索タスクでどの程度の性能を発揮するかです。

研究結果が示すもの：タスク、成果、現在の限界

アイテム間検索タスクとベンチマークの範囲

UniNoteは、_アイテム間検索_タスクでテストされました。簡単に言えば、モデルが1つの共有埋め込み空間内で、異なる形式にまたがる同一または関連コンテンツを対応付けるタスクです。

中心となるテストは非常にシンプルです。1つの埋め込みで、検索を別々のパイプラインへ送ることなく、形式を横断してコンテンツを結び付けられるでしょうか。これは当初の印象以上に重要です。同じ埋め込みが2つの役割を担う必要があります。モダリティ間の意味を損なわずに、検索とランキングの両方を支えなければなりません。

クロスモーダル検索における性能向上

検索ベンチマークでは、UniNoteはモダリティごとに別々のパイプラインへ依存せず、単一の共有空間で一致品質を向上できるかを検証します。共有埋め込み空間内でクラスタの中心を再調整するGR-CLIPは、標準CLIPと比較してNDCG@10を最大26パーセントポイント改善しました^[1]。

これは小さな伸びではありません。検索システムでは、ランキング指標のわずかな変化でも、後続のレコメンデーションを目に見えて変える可能性があります。

ただし、無条件に得られる成果ではありません。こうした向上にはトレードオフが伴います。

統合埋め込みが依然として苦手とする領域

統合埋め込みは、モダリティ同士がきれいに整合しない場合、依然として問題に直面します。その場合、システムは結果の順位を誤ったり、ハルシネーションに少し似たエラーを生成したりすることがあります。きめ細かなコンテンツでも性能が低下する可能性があり、特に視覚とテキストのシグナルが異なる方向を示す場合に顕著です。

動画も課題の1つです。多くのシステムが扱える時間的コンテキストは今なお3〜25秒に限られ、利用できるシーケンスレベルの意味に厳しい上限を設けています。

この問題は、混合形式のコンテンツを大規模に処理する、変化の速い検索・レコメンデーションシステムでさらに深刻になります。

検索、レコメンデーション、マルチモーダルAIワークフローにおける実用例

こうした検索性能の向上に意味があるのは、本番環境で検索とレコメンデーションを運用しやすくなる場合だけです。

ソーシャルコマースとメディア向けのクロスモーダル検索・レコメンデーション

UniNote型埋め込みの主なユースケースは、商品の発見とコンテンツのマッチングです。統合埋め込みシステムがあれば、形式ごとに別々のパイプラインを構築することなく、1つのクエリで買い物客の写真を商品リスト、クリエイターのレビュー、短編動画と照合できます。

これはソーシャルコマースとメディアで特に重要です。ユーザーはスクリーンショットをアップロードしたり、キャプションを貼り付けたり、商品名で検索したりする可能性があります。これらすべての入力が同じ埋め込み空間に存在すれば、システムはテキスト、画像、動画を横断して関連項目を返せる可能性が大きく高まります。

レコメンデーションにも役立ちます。関連する投稿、キャプション、クリップを十分近くに保つことで、より緊密なコンテンツクラスタリングと優れたフィード提案を実現できます。運用面では、複数ではなく1つのインデックスを維持できるため、多くの余分な構成要素を削減できます。

マルチモーダルインデックス、レイテンシ、インフラストラクチャに関する考慮事項

統合埋め込みモデルへ移行すると、インデックス作成は極めて直接的に変わります。テキスト、画像、動画に別々のベクトルストアを運用する代わりに、単一の近似最近傍（ANN）インデックスへ統合できます。これによりクエリルーティングが簡素化され、運用オーバーヘッドが減ります。

動画にはもう1つの要素があります。検索を遅くせずにタイミングのシグナルを保持する前処理が必要です。実際には、通常次の作業が伴います。

• フレームをサンプリングする
• 同じマルチモーダルパイプラインでクリップをエンコードする
• 本番利用に十分な検索速度を維持する

この構成は、モデル統合のオーバーヘッドも削減します。テキスト用、画像用、動画用にそれぞれ別の経路を接続する必要はありません。パイプラインがシンプルになり、一般的には将来の保守負担も軽くなります。

APIMartが統合マルチモーダルワークフローに適合する仕組み

APIMartは、1つのOpenAI互換エンドポイント（api.apimart.ai/v1）を通じてテキスト、画像、動画モデルを提供します。これにより、契約、認証、レート制限に関するオーバーヘッドを削減できます。

マルチモーダルワークフローを構築するチームにとって、これは統合の基盤を毎回書き直さずに、1つの統合レイヤーで異なるモデル種別を扱えることを意味します。エンジニアリングの焦点はAPI管理ではなく、埋め込みロジックとビジネスロジックに保たれます。

開発者とAIチームのための重要ポイント

UniNoteから学ぶべきこと

検索とインフラストラクチャの詳細を踏まえると、主なポイントは運用面にあります。UniNoteは1つの意味空間でマルチモーダル検索とランキングを処理します。別々のパイプラインは、大規模運用時に結果の不整合を生みやすいため、これは重要です。

簡単に言えば、モダリティ間の受け渡しとランキングの不一致が減ります。開発者にとっては、クロスモーダル検索の構成要素が少なくなることを意味します。商品画像と説明の照合、短編動画とキャプションの関連付け、ソーシャルコマース向けマルチモーダル検索の実行は、形式ごとに別々のモデルをつなぎ合わせることなく、同じ埋め込みで検索とランキングの両方を処理すれば、すべて簡単になります。

実践すべきことは明快です。新たなモダリティを追加してもパイプラインを再構築せずに済むよう、インデックス作成、検索、レコメンデーションを1つの共有意味空間を中心に構築します。1つのインデックス、1つのランキングロジック、より少ない統合ポイント。

よくある質問

混合メディアから1つの埋め込みを構築する方法は？

UniNoteや類似のシステムは、テキスト、画像、動画、音声を共有意味ベクトル空間へマッピングして、単一の埋め込みを作成します。

通常はTransformerベースのモデルを利用し、各入力形式を1つの統合表現へ変換します。その後、クロスモーダルアテンションと射影層を使い、同じ概念が形式をまたいで整合するようにします。これにより、システムは異なる種類のメディア間で意味的類似度を測定できます。

検索とランキングに同じ埋め込みを使う理由は？

検索とランキングに同じ埋め込みを使うと、すべてを1つの共有意味空間に保てます。これは一見した印象以上に重要です。

テキスト、画像、動画が同じ方法でマッピングされれば、直接比較できます。文章によるクエリを画像と対応付けられます。動画をテキストの説明と照合できます。関連コンテンツは形式をまたいで離れることなく、同期した状態を保ちます。

その結果、クロスモーダル検索と取得が改善され、モダリティ間のギャップが縮まり、レコメンデーションパイプラインの安定性と一貫性を維持しやすくなります。

現時点におけるUniNoteの最大の限界は？

UniNoteが最大の限界に直面するのは、テキスト、画像、動画、音声を1つの共有意味空間に配置しようとするときです。理論上は整然として聞こえます。しかし実際には、これらのモダリティが自然に整合するわけではないため、学習は難しくなり、獲得される表現が弱くなる可能性があります。

共同学習にはもう1つ、モダリティの怠惰または衝突という問題があります。簡単に言えば、モデルが最も扱いやすい入力に過度に依存し、ほかの入力に十分な注意を払わない場合があります。その結果、一部のモダリティで学習が不足しかねません。そして音声が欠けるなど、実世界のデータが不完全な場合、問題はさらに悪化します。モデル全体の性能が低下したり、たまたま最も強い1つのモダリティへ過度に依存したりする可能性があります。