"""IDF가 높은 (희귀) 키워드 계산 — MDX03 쿼리와 Top-3 프레임의 실제 매칭 희귀 단어 추출"""
import sys
import math
from collections import Counter
from pathlib import Path

sys.path.insert(0, str(Path(__file__).parent))

from common import load_figma_texts, tokenize_simple
from extract_units import extract_units


def main():
    figma = load_figma_texts()
    units = extract_units()

    # 전체 corpus: 모든 MDX 유닛 + 모든 Figma 프레임
    all_docs = {}
    for uid, text in units.items():
        all_docs[f"MDX:{uid}"] = tokenize_simple(text)
    for fid, text in figma.items():
        all_docs[f"FIG:{fid}"] = tokenize_simple(text)

    # IDF 계산
    df = Counter()
    for toks in all_docs.values():
        for w in set(toks):
            df[w] += 1
    N = len(all_docs)
    idf = {w: math.log(N / c) for w, c in df.items()}

    # IDF 내림차순 정렬 (희귀할수록 위)
    sorted_idf = sorted(idf.items(), key=lambda x: -x[1])

    print(f"전체 문서 수: {N}")
    print(f"전체 유니크 토큰: {len(idf)}")
    print()
    print("=== 흔한 단어 TOP 20 (IDF 낮음 = 거의 모든 문서에 등장) ===")
    for w, sc in sorted(idf.items(), key=lambda x: x[1])[:20]:
        print(f"  {w:20s}  IDF={sc:.2f}  (등장 문서 수={df[w]}/{N})")

    print()
    print("=== 희귀 단어 TOP 30 (IDF 높음) ===")
    for w, sc in sorted_idf[:30]:
        print(f"  {w:20s}  IDF={sc:.2f}  (등장 문서 수={df[w]}/{N})")

    # MDX03-1 쿼리에서 희귀 단어 뽑기
    print()
    print("═══════════════════════════════════════")
    print("MDX03-1 쿼리의 단어별 IDF (높은 순):")
    print("═══════════════════════════════════════")
    mdx03_1_tokens = tokenize_simple(units["MDX03-1"])
    unique_in_query = set(mdx03_1_tokens)
    ranked = sorted(
        [(w, idf[w], df[w]) for w in unique_in_query if w in idf],
        key=lambda x: -x[1]
    )
    for w, sc, cnt in ranked[:20]:
        print(f"  {w:20s}  IDF={sc:.2f}  (등장 문서 수={cnt}/{N})")

    # Frame 15 (정책목표) vs Frame 13 (필수조건) vs Frame 20 (DX S/W 필수)
    targets = {
        "Frame 13 (필수조건)": "1171281190",
        "Frame 15 (정책목표)": "1171281192",
        "Frame 20 (DX S/W 필수)": "1171281198",
    }

    print()
    print("═══════════════════════════════════════")
    print("MDX03-1 쿼리 ↔ 각 프레임의 공통 희귀 단어 (매칭 기여도 큰 순)")
    print("═══════════════════════════════════════")
    for label, fid in targets.items():
        print(f"\n▶ {label}")
        if fid not in figma:
            print("  (프레임 없음)")
            continue
        frame_tokens = set(tokenize_simple(figma[fid]))
        common = unique_in_query & frame_tokens
        common_ranked = sorted(
            [(w, idf[w], df[w]) for w in common if w in idf],
            key=lambda x: -x[1]
        )
        for w, sc, cnt in common_ranked[:15]:
            marker = "⭐" if sc > 2.0 else "·"
            print(f"  {marker} {w:20s}  IDF={sc:.2f}  ({cnt}문서에 등장)")


if __name__ == "__main__":
    main()