Как мы превратили визуализацию из «красивой картинки» в проверенный инструмент. Внешние эталоны, тестирование границ кластеризации, честная фиксация ограничений.
Улучшения по категориям: НЭП +20 п.п., Эконом. политика +11 п.п., Внешняя политика +10 п.п., Труд +10 п.п., Революция +7 п.п. Просадка: Империализм −14 п.п. — осознанная жертва (колонии и раздел мира → внешняя политика по советскому указателю).
Из 206 концептов взято 50 (24.2%), пропорционально из каждого Louvain-кластера, seed=42 для воспроизводимости.
Два источника, не зависящих от нашего кода, использованы как ground truth:
Запущен Louvain на 12 значениях resolution (0.85–2.50), произведено от 8 до 35 кластеров. Определён практический предел: 8 кластеров при resolution=1.0.
Вместо искусственного разделения мульти-доменного кластера — документирован как свойство корпуса, не баг.
| Концепт | Было | Стало | Основание |
|---|---|---|---|
| профсоюз | Партия | Политэкономия | Советский указатель: профсоюзы — отдельная рубрика «Профессиональное движение», не партстроительство |
| частник | Партия | Политэкономия | Советский указатель: частная собственность и частный капитал — экономические категории |
| красная гвардия | Партия | Революция | Lukács, гл. 5: инструмент вооружённого восстания, не партийной организации |
| колония | Политэкономия | Внешняя политика | Советский указатель: «Колониальный вопрос» в разделе международных отношений |
| раздел мира | Политэкономия | Внешняя политика | Советский указатель: империалистический раздел → международные отношения |
| генуя | Революция | Внешняя политика | Советский указатель: Генуэзская конференция (1922) — дипломатия, не революция |
| план ГОЭЛРО | Революция 2 | Политэкономия | Советский указатель: «План и планирование народного хозяйства» |
| электрификация | Революция 2 | Политэкономия | Советский указатель: ГОЭЛРО — хозяйственный план, не революционная тактика |
| Resolution | Кластеров | Purity | Чистых кластеров | Вердикт |
|---|---|---|---|---|
| 0.85 | 8 | 66% | 0/8 | базовый |
| 1.00 | 8 | 66% | 0/8 | используется |
| 1.20 | 10 | 58% | 0/10 | деградация |
| 1.50 | 13 | 44% | 0/13 | деградация |
| 2.00 | 27 | 39% | 4/27 | фрагментация |
| 2.50 | 35 | 36% | 5/35 | фрагментация |
При resolution ≥ 1.20 все кластеры становятся мульти-доменными (≥2 легендарных категорий на кластер). Louvain-алгоритм на разреженной матрице совместных упоминаний не способен разделить концепты чище — это структурное ограничение метода, не ошибка данных.
Этот кластер содержит концепты из 4 легендарных категорий. Они неразделимы при любом resolution.
Почему не разделяется: Ленин обсуждал эти концепты в одних параграфах. Ко-оккурентный граф отражает реальную связность его мысли — восстание без агитации, стачка без индустриализации, окружение без внутренней политики не рассматривались.
Louvain на разреженных данных ко-оккурентности не может идеально восстановить экспертные категории. Это структурное ограничение.
При 9+ кластерах ни один не имеет доминирующей категории — unusable для навигации.
Полная внешняя валидация всех 206 концептов требует большего объёма доменной экспертизы, чем доступно.
Overlapping community detection (Girvan-Newman), иерархическая кластеризация, или другие алгоритмы могут дать более тонкую структуру в v3.0.