テキストデータ抽出テクニック

ベクトル埋め込みを活用したテキストからの意味的関連情報抽出手法：Python実践

Tags: NLP, Python, ベクトル埋め込み, 類似度計算, 情報抽出

はじめに

テキストデータから特定の情報を抽出するタスクは、顧客レビューの分析、ログデータの監視、契約書の自動チェックなど、様々な業務領域で発生します。従来、こうしたタスクでは正規表現によるパターンマッチングや、特定のキーワードリストに基づく手法が用いられることが一般的でした。しかし、これらの手法だけでは、「意味的に似ているが、使われている単語や表現が異なる」テキストを捉えることが難しい場合があります。例えば、「PCが起動しない」と「コンピューターが立ち上がらない」は異なる単語を使っていますが、同じ事象を指しています。

本稿では、このような語彙の壁を超え、テキストの意味的な類似性に基づいた情報抽出を可能にする埋め込みベクトルを活用した手法に焦点を当てます。埋め込みベクトルとは、単語や文章といったテキストデータを数値ベクトル空間上の点として表現する技術です。意味的に似たテキストは、このベクトル空間上で互いに近くに配置される性質を持ちます。この性質を利用することで、単語レベルではなく、より広い文脈や意図に基づいた関連情報の抽出が可能となります。

Pythonを用いた埋め込みベクトルの基本的な利用方法から、具体的なコード例、実務への応用例、そしてパフォーマンスに関する考慮事項までを解説し、読者の皆様がご自身のテキストデータ分析に役立てられる実践的な知識を提供することを目指します。

埋め込みベクトルとは

埋め込みベクトル（Embedding Vector）は、単語や文、あるいはより長い文章といった離散的なテキスト要素を、実数からなる固定長または可変長のベクトルとして表現する技術です。このベクトルの空間（埋め込み空間）においては、テキスト要素間の意味的・文法的な関係性が、ベクトル間の距離や方向によって捉えられるようになります。

例として、単語埋め込み（Word Embedding）であるWord2VecやGloVeでは、「王様」と「女王様」、「男性」と「女性」といった単語がベクトル空間上で特定の方向性（性別を表す軸のようなもの）を持つことが示されています。「王様 - 男性 + 女性 ≒ 女王様」のような演算が可能なことが、その代表的な例として挙げられます。

単語だけでなく、文や文章全体を一つのベクトルとして表現する文章埋め込み（Sentence Embedding / Document Embedding）も近年発展しており、Sentence-BERTなどのモデルが広く利用されています。文章埋め込みは、単語の単純な集まりではなく、文章全体の意味合いを捉えるため、テキスト間の意味的な類似度計算において特に有効です。

テキストをベクトル化することで、ユークリッド距離やコサイン類似度といったベクトル間の距離・類似度を計算することが可能になります。特にコサイン類似度は、ベクトルが指す方向の類似度を示すため、ベクトルの絶対的な長さ（テキストの長さなどに影響されることがある）に依らず、意味的な類似性を測る尺度として頻繁に用いられます。コサイン類似度は -1 から 1 の値を取り、1 に近いほど意味的に類似していると判断されます。

Pythonでの埋め込みベクトル利用と類似度計算

Pythonエコシステムには、埋め込みベクトルを扱うための優れたライブラリが多数存在します。ここでは、広く使われているライブラリを用いた基本的な手順を示します。

一般的な流れは以下のようになります。 1. 利用したい埋め込みモデルを選択する（単語レベルか文章レベルか、特定のドメインに特化しているかなど）。 2. 選択したモデルをロードまたは訓練する。 3. 対象のテキストデータをモデルに入力し、ベクトル表現（埋め込みベクトル）を取得する。 4. 取得したベクトル間で類似度（コサイン類似度など）を計算する。

文章埋め込みを用いた類似度計算の基本例

文章全体の意味的な類似度を測る場合、Sentence-BERTなどの文章埋め込みモデルが強力です。sentence-transformers ライブラリを使用すると、事前学習済みの様々なモデルを簡単に利用できます。

まず、ライブラリをインストールします。

pip install sentence-transformers

次に、Pythonコードでモデルをロードし、テキストをベクトル化して類似度を計算します。

from sentence_transformers import SentenceTransformer, util

# 事前学習済みモデルをロード
# multilingual-e5-small は多言語対応の比較的小さなモデル
model = SentenceTransformer('intfloat/multilingual-e5-small')

# 類似度を計算したい2つの文章
text1 = "PCが起動しません。電源を入れても何も表示されない状態です。"
text2 = "コンピューターが立ち上がらない問題が発生しています。"
text3 = "インターネット接続が不安定です。"

# 文章をベクトル化
embeddings1 = model.encode(text1, convert_to_tensor=True)
embeddings2 = model.encode(text2, convert_to_tensor=True)
embeddings3 = model.encode(text3, convert_to_tensor=True)

# ベクトル間のコサイン類似度を計算
# util.cos_sim 関数が便利です
similarity_score_1_2 = util.cos_sim(embeddings1, embeddings2)
similarity_score_1_3 = util.cos_sim(embeddings1, embeddings3)

print(f"'{text1}' と '{text2}' の類似度: {similarity_score_1_2.item():.4f}")
print(f"'{text1}' と '{text3}' の類似度: {similarity_score_1_3.item():.4f}")

このコードを実行すると、text1とtext2は意味的に似ているため高い類似度を示し、text1とtext3はあまり似ていないため低い類似度を示すことが確認できるでしょう。

model.encode メソッドは、デフォルトでGPUが利用可能であればGPUを使用します。大量のテキストを処理する場合は、GPUの利用を検討してください。convert_to_tensor=True とすることで、結果がPyTorchのテンソルとして返されます。

複数のテキストからの類似テキスト検索

特定のテキスト（クエリ）に類似するテキスト群を、既存のテキストデータの中から検索するシナリオはよくあります。例えば、過去のFAQデータベースから、ユーザーの新しい問い合わせに類似するFAQを探す場合などです。

この場合、まず既存の全テキストデータをベクトル化しておきます。次に、検索したいクエリテキストをベクトル化し、そのクエリベクトルと既存の全テキストベクトルとのコサイン類似度を計算します。類似度が高い順にランキングして表示することで、類似テキストを検索できます。

from sentence_transformers import SentenceTransformer, util
import numpy as np

# 事前学習済みモデルをロード
model = SentenceTransformer('intfloat/multilingual-e5-small')

# 既存のテキストデータリスト（FAQを想定）
corpus = [
    "PCの電源が入らない場合のトラブルシューティング方法。",
    "インターネットに接続できません。ネットワーク設定を確認してください。",
    "ログインパスワードを忘れてしまいました。",
    "パソコンが起動しない原因と対処法。",
    "Wi-Fiの接続が不安定です。",
    "アカウントロックを解除したい。",
    "スリープモードから復帰しない。",
    "PCの立ち上げに関する問題。",
]

# コーパス（既存テキストデータ）をベクトル化
# 大量データの場合、encodeメソッドに batch_size を指定すると効率的です。
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)

# 検索クエリ
query = "コンピューターが起動しないんだけど、どうすればいい？"

# クエリをベクトル化
query_embedding = model.encode(query, convert_to_tensor=True)

# クエリベクトルとコーパス内の全ベクトルとのコサイン類似度を計算
# util.cos_sim は行列間の類似度も計算できます
# query_embeddingは(1, hidden_size)のテンソル、corpus_embeddingsは(num_corpus, hidden_size)のテンソル
# 結果は (1, num_corpus) のテンソルとして返されます
cosine_scores = util.cos_sim(query_embedding, corpus_embeddings)[0]

# 類似度スコアとインデックス（元のcorpusリストでの位置）をペアにする
score_index_pairs = list(zip(cosine_scores, range(len(corpus))))

# 類似度スコアで降順にソート
score_index_pairs = sorted(score_index_pairs, key=lambda x: x[0], reverse=True)

# 上位N件を表示
top_n = 3
print(f"クエリ: '{query}'")
print(f"類似度の高い上位{top_n}件:")
for score, index in score_index_pairs[:top_n]:
    print(f"- 類似度: {score:.4f}, テキスト: '{corpus[index]}'")

# 類似度が特定の閾値以上のものだけを抽出する場合
threshold = 0.5 # 閾値は適切な値をチューニングして設定
print(f"\n類似度が閾値 {threshold} 以上のもの:")
for score, index in score_index_pairs:
    if score >= threshold:
        print(f"- 類似度: {score:.4f}, テキスト: '{corpus[index]}'")
    else:
        # ソート済みなので、閾値を下回ったら以降も下回る
        break

この例では、検索クエリ「コンピューターが起動しないんだけど、どうすればいい？」に対して、意味的に関連性の高い「PCの電源が入らない場合のトラブルシューティング方法。」や「パソコンが起動しない原因と対処法。」、「PCの立ち上げに関する問題。」といったテキストが上位に表示されることが期待できます。閾値を設けることで、関連性の低い結果を除外することも可能です。

実務への応用と考慮事項

埋め込みベクトルを用いた意味的類似度計算は、多岐にわたる実務タスクに応用可能です。

応用例

パフォーマンスと考慮事項

大量のテキストデータを扱う場合、パフォーマンスは重要な考慮事項となります。

まとめ

本稿では、テキストからの情報抽出において、単語のマッチングや統計的手法だけでは捉えきれない意味的な関連性を抽出するための強力な手法として、埋め込みベクトルの活用方法を解説しました。Sentence-BERTのような文章埋め込みモデルとコサイン類似度を用いることで、Pythonによる比較的シンプルなコードで、テキスト間の意味的な類似度を効果的に測定できることを示しました。

具体的なPythonコード例を通じて、2つの文章の類似度計算や、既存のテキストデータからの類似テキスト検索といった基本的なタスクの実装方法を紹介しました。これらの基本パターンは、FAQ検索、コンテンツ推薦、重複検出など、様々な実務課題への応用が考えられます。

大量データを扱う際のパフォーマンス上の課題にも触れ、近傍探索ライブラリやベクトルデータベースといった、スケーラブルなシステム構築のための重要な考慮事項にも言及しました。

埋め込みベクトル技術はNLP分野で急速に進化しており、今後も様々なテキスト分析タスクにおいてその重要性を増していくと考えられます。本稿で紹介した内容が、読者の皆様のテキストデータ活用の一助となれば幸いです。