多言語自然言語処理の救世主！Python「Polyglot」徹底実践ガイド

                    +----------------------------------+
                    |             Polyglot             |
                    +----------------------------------+
                                     |
      +-----------------+------------+------------+-----------------+
      |                 |                         |                 |
[言語検出]         [トークン化]               [品詞タグ付け]       [固有名詞抽出]
(196言語)          (165言語)                  (16言語)             (40言語)

sudo apt-get update
sudo apt-get install -y python3-dev libicu-dev build-essential

brew install icu4c

# 環境変数の設定（インストール完了時の指示に従ってください。以下は一例です）
export LDFLAGS="-L/opt/homebrew/opt/icu4c/lib"
export CPPFLAGS="-I/opt/homebrew/opt/icu4c/include"
export PKG_CONFIG_PATH="/opt/homebrew/opt/icu4c/lib/pkgconfig"

# 依存するPythonバインディングを個別にインストール
pip install pycld2
pip install pyicu
pip install morfessor

# Polyglot本体のインストール
pip install polyglot

# 基本的な言語検出・トークン化に必要なパッケージ
polyglot download embeddings2.ja embeddings2.en
polyglot download pos2.ja pos2.en
polyglot download ner2.ja ner2.en
polyglot download sentiment2.ja sentiment2.en

# コレクション単位でのダウンロード（例: 日本語関連リソース）
polyglot download task:embeddings language:ja
polyglot download task:ner language:ja

from polyglot.detect import Detector
from polyglot.detect.base import logger as detect_logger

# 不要な警告ログを抑制
detect_logger.setLevel("ERROR")

def analyze_languages(text):
    print(f"--- 解析対象テキスト ---\n{text}\n")

    # Detectorオブジェクトの生成
    detector = Detector(text)

    # 最も確率の高い言語
    primary_lang = detector.language
    print(f"主要言語: {primary_lang.name} (言語コード: {primary_lang.code})")
    print(f"信頼度: {primary_lang.confidence:.2f}%\n")

    # 検出されたすべての言語候補
    print("検出された言語の内訳:")
    for lang in detector.languages:
        print(f"  - {lang.name:<12} ({lang.code}): 一致度 {lang.readbytes/detector.bytes * 100:.1f}%")
    print("=" * 50)

# サンプルデータ1: 日本語と英語の混在
sample_1 = "今日のミーティングは14:00からです。Please make sure to bring your progress report."
analyze_languages(sample_1)

# サンプルデータ2: スペイン語
sample_2 = "Hola, ¿cómo estás? Espero que tengas un excelente día de trabajo."
analyze_languages(sample_2)

--- 解析対象テキスト ---
今日のミーティングは14:00からです。Please make sure to bring your progress report.

主要言語: Japanese (言語コード: ja)
信頼度: 98.00%

検出された言語の内訳:

  - Japanese     (ja): 一致度 64.0%
  - English      (en): 一致度 36.0%
==================================================
--- 解析対象テキスト ---
Hola, ¿cómo estás? Espero que tengas un excelente día de trabajo.

主要言語: Spanish (言語コード: es)
信頼度: 99.00%

検出された言語の内訳:

  - Spanish      (es): 一致度 100.0%
==================================================

from polyglot.text import Text

def tokenize_demonstration():
    # 日本語のサンプル
    ja_text = Text("Polyglotは多言語対応のライブラリです。日本語の解析も簡単に行えます。")

    print("【日本語の文割（Sentences）】")
    for i, sentence in enumerate(ja_text.sentences, 1):
        print(f"文 {i}: {sentence}")

    print("\n【日本語の単語分割（Words/Tokens）】")
    # 最初の文の単語を展開
    first_sentence = ja_text.sentences[0]
    print(" | ".join(first_sentence.words))

    print("\n" + "="*50 + "\n")

    # 英語と多言語が交じるケース
    en_text = Text("Dr. Smith arrived at 9:30 a.m. in Tokyo, Japan. He was very excited.")
    print("【英語の文割とトークン化】")
    for i, sentence in enumerate(en_text.sentences, 1):
        print(f"文 {i}: {sentence}")
        print(f"  単語数: {len(sentence.words)}")
        print(f"  単語リスト: {list(sentence.words[:8])}...") # 先頭8単語を表示

if __name__ == "__main__":
    tokenize_demonstration()

【日本語の文割（Sentences）】
文 1: Polyglotは多言語対応のライブラリです。
文 2: 日本語の解析も簡単に行えます。

【日本語の単語分割（Words/Tokens）】
Polyglot | は | 多 | 言語 | 対応 | の | ライブラリ | です | 。

==================================================

【英語の文割とトークン化】
文 1: Dr. Smith arrived at 9:30 a.m. in Tokyo, Japan.
  単語数: 12
  単語リスト: ['Dr.', 'Smith', 'arrived', 'at', '9:30', 'a.m.', 'in', 'Tokyo']...
文 2: He was very excited.
  単語数: 5
  単語リスト: ['He', 'was', 'very', 'excited', '.']...

from polyglot.text import Text

def extract_entities():
    # 英語のテキスト
    raw_text = (
        "Apple Inc. was founded by Steve Jobs, Steve Wozniak, and Ronald Wayne in Cupertino, California. "
        "The current CEO is Tim Cook, who spoke at the United Nations yesterday."
    )

    text = Text(raw_text)

    print("--- 検出された固有名詞 (NER) ---")
    # text.entities からエンティティ情報を取得
    for entity in text.entities:
        # entity.tag: エンティティの種類 (I-PER, I-ORG, I-LOC)
        # entity: 単語リスト
        entity_name = " ".join(entity)
        entity_type = entity.tag

        # わかりやすい表現にマッピング
        type_mapping = {
            "I-PER": "人物 (PERSON)",
            "I-ORG": "組織 (ORGANIZATION)",
            "I-LOC": "場所・地理 (LOCATION)"
        }
        readable_type = type_mapping.get(entity_type, entity_type)

        print(f"- {entity_name:<30} | 種別: {readable_type}")

if __name__ == "__main__":
    extract_entities()

--- 検出された固有名詞 (NER) ---

- Apple Inc.                    | 種別: 組織 (ORGANIZATION)
- Steve Jobs                    | 種別: 人物 (PERSON)
- Steve Wozniak                 | 種別: 人物 (PERSON)
- Ronald Wayne                  | 種別: 人物 (PERSON)
- Cupertino                     | 種別: 場所・地理 (LOCATION)
- California                    | 種別: 場所・地理 (LOCATION)
- Tim Cook                      | 種別: 人物 (PERSON)
- United Nations                | 種別: 組織 (ORGANIZATION)

from polyglot.text import Text

def pos_tagging_comparison():
    # 英語と日本語の比較
    english_text = Text("We are buildling the future of AI technology.")
    japanese_text = Text("私たちは人工知能技術の未来を創っています。")

    print("【英語の品詞タグ】")
    for word, tag in english_text.pos_tags:
        print(f"  {word:<12} -> {tag}")

    print("\n【日本語の品詞タグ】")
    for word, tag in japanese_text.pos_tags:
        print(f"  {word:<12} -> {tag}")

if __name__ == "__main__":
    pos_tagging_comparison()

【英語の品詞タグ】
  We           -> PRON
  are          -> AUX
  buildling    -> VERB
  the          -> DET
  future       -> NOUN
  of           -> ADP
  AI           -> PROPN
  technology   -> NOUN
  .            -> PUNCT

【日本語の品詞タグ】
  私           -> PRON
  たち         -> NOUN
  は           -> ADP
  人工         -> NOUN
  知能         -> NOUN
  技術         -> NOUN
  の           -> ADP
  未来         -> NOUN
  を           -> ADP
  創っ         -> VERB
  て           -> ADP
  い           -> AUX
  ます         -> AUX
  。           -> PUNCT

from polyglot.text import Text

def analyze_sentiment():
    comments = [
        "This product is absolutely amazing and helpful! I love it.",
        "The customer service was terrible and very slow. Extremely disappointed.",
        "It was an ordinary experience. Not bad, but not great either."
    ]

    for i, comment in enumerate(comments, 1):
        print(f"コメント {i}: \"{comment}\"")
        text = Text(comment)

        # 感情極性スコアを単語ごとに評価
        total_score = 0
        sentiment_words = []

        for word in text.words:
            # word.polarity はポジティブなら +1, ネガティブなら -1, ニュートラルなら 0 を返します
            pol = word.polarity
            if pol != 0:
                sentiment_words.append(f"{word}({pol:+d})")
                total_score += pol

        # 全体としての評価
        overall = "ニュートラル"
        if total_score > 0:
            overall = "ポジティブ (Positive)"
        elif total_score < 0:
            overall = "ネガティブ (Negative)"

        print(f"  感情判定: {overall} (総合スコア: {total_score:+d})")
        print(f"  影響を与えた単語: {', '.join(sentiment_words) if sentiment_words else 'なし'}")
        print("-" * 60)

if __name__ == "__main__":
    analyze_sentiment()

コメント 1: "This product is absolutely amazing and helpful! I love it."
  感情判定: ポジティブ (Positive) (総合スコア: +3)
  影響を与えた単語: amazing(+1), helpful(+1), love(+1)
------------------------------------------------------------
コメント 2: "The customer service was terrible and very slow. Extremely disappointed."
  感情判定: ネガティブ (Negative) (総合スコア: -2)
  影響を与えた単語: terrible(-1), disappointed(-1)
------------------------------------------------------------
コメント 3: "It was an ordinary experience. Not bad, but not great either."
  感情判定: ニュートラル (総合スコア: +0)
  影響を与えた単語: bad(-1), great(+1)
------------------------------------------------------------

from polyglot.text import Text

def morpheme_and_transliteration():
    # Morfessorによる形態素分解（特に英語などの複合語の分解に有効）
    word_text = Text("unbelievable internationalization sub-component")
    print("【形態素分解結果】")
    for word in word_text.words:
        # word.morphemes で形態素リストが取得できます
        print(f"  {word:<25} -> {' + '.join(word.morphemes)}")

    print("\n" + "="*50 + "\n")

    # 翻字（アラビア語やギリシャ語をローマ字表記に変換）
    # ※別途、対象言語の音素変換モデル (transliteration.code) が必要です
    try:
        greek_text = Text("Καλημέρα κόσμε") # ギリシャ語で "Good morning world"
        print("【翻字 (Transliteration) 】")
        print(f"原文: {greek_text}")

        # 各単語を翻字
        transliterated_words = [word.transliterate("en") for word in greek_text.words]
        print(f"翻字（ローマ字化）: {' '.join(transliterated_words)}")
    except Exception as e:
        print(f"翻字エラー (モデル未ダウンロードの可能性): {e}")

if __name__ == "__main__":
    morpheme_and_transliteration()

【形態素分解結果】
  unbelievable              -> un + believe + able
  internationalization      -> inter + nation + al + ization
  sub-component             -> sub + - + component

==================================================

【翻字 (Transliteration) 】
原文: Καλημέρα κόσμε
翻字（ローマ字化）: kalimera kosme

FROM python:3.10-slim-bullseye

# システム依存パッケージのインストール
RUN apt-get update && apt-get install -y --no-install-recommends \
    build-essential \
    libicu-dev \
    python3-dev \
    && rm -rf /var/lib/apt/lists/*

WORKDIR /app
COPY requirements.txt .

# PyICU等のビルドとパッケージのインストール
RUN pip install --no-cache-dir -r requirements.txt

# 事前に言語モデルをダウンロード
RUN python -c "import polyglot.downloader; \
    polyglot.downloader.downloader.download('embeddings2.en'); \
    polyglot.downloader.downloader.download('embeddings2.ja')"

COPY . .
CMD ["python", "main.py"]

# macOSの例:
export LDFLAGS="-L/opt/homebrew/opt/icu4c/lib"
export CPPFLAGS="-I/opt/homebrew/opt/icu4c/include"
pip install --no-cache-dir pyicu

from polyglot.downloader import downloader
# ミラーサイトや特定のパスを指定してダウンロードすることも可能です
downloader.download("embeddings2.en", download_dir="/path/to/your/custom/dir")

export POLYGLOT_DATA_PATH="/opt/app/resources/polyglot_data"