Методология: валидация графа концептов

Как мы превратили визуализацию из «красивой картинки» в проверенный инструмент. Внешние эталоны, тестирование границ кластеризации, честная фиксация ограничений.

Результаты

Macro Accuracy (до → после)
64% → 66%+2 pp
Purity
36% → 37%+1 pp
Легенд на кластер
6.9 → 6.2−0.7
Resolution проверено
12

Улучшения по категориям: НЭП +20 п.п., Эконом. политика +11 п.п., Внешняя политика +10 п.п., Труд +10 п.п., Революция +7 п.п. Просадка: Империализм −14 п.п. — осознанная жертва (колонии и раздел мира → внешняя политика по советскому указателю).

Метод

Стратифицированная выборка

Из 206 концептов взято 50 (24.2%), пропорционально из каждого Louvain-кластера, seed=42 для воспроизводимости.

Триангуляция с внешними эталонами

Два источника, не зависящих от нашего кода, использованы как ground truth:

Советский «Предметный указатель к ПСС В. И. Ленина» (ИМЛ, 1972) — ~30 экспертов, 55 томов, 2 464 рубрики вручную. Оцифрован, доступен в открытом доступе.
Georg Lukács, «Lenin: A Study on the Unity of His Thought» (1924) — 5 концептуальных доменов: империализм, государство, партия, классы, революция.

Проверка границ кластеризации

Запущен Louvain на 12 значениях resolution (0.85–2.50), произведено от 8 до 35 кластеров. Определён практический предел: 8 кластеров при resolution=1.0.

Честная фиксация ограничений

Вместо искусственного разделения мульти-доменного кластера — документирован как свойство корпуса, не баг.

8 скорректированных концептов

КонцептБылоСталоОснование
профсоюз Партия Политэкономия Советский указатель: профсоюзы — отдельная рубрика «Профессиональное движение», не партстроительство
частник Партия Политэкономия Советский указатель: частная собственность и частный капитал — экономические категории
красная гвардия Партия Революция Lukács, гл. 5: инструмент вооружённого восстания, не партийной организации
колония Политэкономия Внешняя политика Советский указатель: «Колониальный вопрос» в разделе международных отношений
раздел мира Политэкономия Внешняя политика Советский указатель: империалистический раздел → международные отношения
генуя Революция Внешняя политика Советский указатель: Генуэзская конференция (1922) — дипломатия, не революция
план ГОЭЛРО Революция 2 Политэкономия Советский указатель: «План и планирование народного хозяйства»
электрификация Революция 2 Политэкономия Советский указатель: ГОЭЛРО — хозяйственный план, не революционная тактика

Проверка границ кластеризации

ResolutionКластеровPurityЧистых кластеровВердикт
0.85866%0/8базовый
1.00866%0/8используется
1.201058%0/10деградация
1.501344%0/13деградация
2.002739%4/27фрагментация
2.503536%5/35фрагментация

При resolution ≥ 1.20 все кластеры становятся мульти-доменными (≥2 легендарных категорий на кластер). Louvain-алгоритм на разреженной матрице совместных упоминаний не способен разделить концепты чище — это структурное ограничение метода, не ошибка данных.

«Социалистическое строительство» — мульти-доменный кластер

Документирован как мульти-доменный

Этот кластер содержит концепты из 4 легендарных категорий. Они неразделимы при любом resolution.

Революция: восстание, баррикады Партия: агитация, пропаганда Политэкономия: стачка, индустриализация Внешняя: капиталистическое окружение

Почему не разделяется: Ленин обсуждал эти концепты в одних параграфах. Ко-оккурентный граф отражает реальную связность его мысли — восстание без агитации, стачка без индустриализации, окружение без внутренней политики не рассматривались.

Ограничения (честно)

66% — скромная точность

Louvain на разреженных данных ко-оккурентности не может идеально восстановить экспертные категории. Это структурное ограничение.

8 кластеров — практический предел

При 9+ кластерах ни один не имеет доминирующей категории — unusable для навигации.

Выборка 50 из 206 (24.2%)

Полная внешняя валидация всех 206 концептов требует большего объёма доменной экспертизы, чем доступно.

Будущие улучшения

Overlapping community detection (Girvan-Newman), иерархическая кластеризация, или другие алгоритмы могут дать более тонкую структуру в v3.0.