PCA и t-SNE: Снижение размерности для джуниора

Представьте, что вам дали датасет с 500 признаками. Как вы поймете, какие из них важны? Как покажете эту структуру коллеге на слайде? Здесь на помощь приходит снижение размерности. Это не просто математическая абстракция, а практический инструмент, который экономит время, деньги и нервы любого специалиста по данным.

В этой статье мы разберем два главных метода: PCA (метод главных компонент) и t-SNE (t-distributed Stochastic Neighbor Embedding). Мы не будем углубляться в сложные формулы тензорного анализа, но точно поймем, когда использовать каждый метод и как интерпретировать результаты. Вы научитесь выбирать инструмент под задачу и избегать типичных ошибок новичков.

Ключевые выводы

• PCA сохраняет глобальную структуру данных и работает быстро, идеально для предобработки признаков.
• t-SNE показывает локальные кластеры и хорошо подходит для визуализации, но медленный и стохастический.
• PCA детерминирован: один и тот же результат при каждом запуске. t-SNE требует настройки параметров и может давать разные картинки.
• Используйте PCA для уменьшения количества фич перед обучением модели. Используйте t-SNE, чтобы посмотреть, как данные группируются визуально.

Почему вообще нужно снижать размерность?

Проблема проклятия размерности бьет по всем этапам работы с данными. Чем больше признаков, тем сложнее модели находят закономерности, тем выше риск переобучения и тем дольше идет обучение. Но есть и другая сторона: человеческий мозг понимает только 3 измерения. Если у вас 100 переменных, вы не сможете увидеть паттерны «на глаз».

Снижение размерности решает обе проблемы. Оно помогает:

1. Ускорить обучение моделей (меньше входных признаков).
2. Убрать шум и коррелирующие признаки.
3. Визуализировать многомерные данные на графике 2D или 3D.

Здесь важно понимать разницу между методами. Некоторые алгоритмы пытаются сохранить расстояния между точками (метрические), другие - топологические связи (кто с кем соседствует). PCA относится к линейным методам сохранения дисперсии, а t-SNE - к нелинейным методам сохранения локальных связей.

Как работает PCA: интуиция без формул

PCA (Principal Component Analysis) - это линейный метод снижения размерности, который находит новые оси координат, вдоль которых данные имеют максимальную дисперсию.

Представьте облако точек в 3D-пространстве. Обычно оно вытянуто в определенном направлении. PCA находит эту главную ось. Затем он находит вторую ось, перпендикулярную первой, которая объясняет оставшуюся дисперсию. И так далее.

Главные преимущества PCA:

• Скорость: Алгоритм сходится очень быстро даже на больших датасетах (сотни тысяч строк).
• Детерминизм: Результат всегда одинаковый. Нет случайных инициализаций.
• Линейность: Новые признаки - это линейные комбинации старых. Их можно интерпретировать (частично).
• Объяснение дисперсии: Вы можете сказать: «Первые 10 компонент объясняют 95% вариативности данных».

Ограничение PCA - он ищет плоские проекции. Если ваши данные лежат на искривленной поверхности (например, спираль или манifold), PCA не сможет их правильно развернуть. Для таких случаев нужны нелинейные методы.

Что такое t-SNE и чем он отличается от PCA

t-SNE (t-distributed Stochastic Neighbor Embedding) - это нелинейный алгоритм, разработанный Лауренсом ван дер Маатеном и Хенриком ван Херкеном в 2008 году.

В отличие от PCA, t-SNE не пытается сохранить глобальные расстояния. Его цель - сделать так, чтобы точки, которые были близки в исходном пространстве, остались близкими и в 2D-проекции. При этом далекие точки могут оказаться рядом или далеко - это не критично для t-SNE.

Алгоритм работает через оптимизацию функции потерь. Он минимизирует расхождение Кульбака-Лейблера между распределениями вероятностей в исходном и низкоразмерном пространствах. Процесс итеративный и зависит от начального состояния.

Ключевые особенности t-SNE:

• Локальность: Отлично показывает кластеры. Если две группы объектов похожи, t-SNE разделит их явно.
• Стохастичность: Каждый запуск дает немного другую картинку. Важно фиксировать seed.
• Параметры: Переполнитель (perplexity) и расстояние (learning rate) сильно влияют на результат.
• Медленность: На больших датасетах (более 10k точек) расчет может занимать минуты или часы.

Частая ошибка новичков - смотреть на расстояния между кластерами на графике t-SNE как на истину. На самом деле, если два кластера далеко друг от друга, это не значит, что объекты в них сильно различаются во всех признаках. Это значит, что внутри каждого кластера объекты очень похожи, а между ними нет мостов.

Сравнение PCA и t-SNE: таблица решений

Выбор метода зависит от вашей задачи. Вот простое сравнение, которое поможет принять решение:

Если вам нужно уменьшить количество признаков для обучения нейросети или градиентного бустинга - берите PCA. Если вам нужно показать директору, что в ваших клиентах есть 4 разные сегментации - рисуйте t-SNE.

Практические советы по настройке t-SNE

Работа с t-SNE - это искусство настройки. Два главных параметра требуют внимания:

Perplexity (Переполнитель): Грубо говоря, это эффективное число соседей, которые учитываются при оценке плотности. Значение по умолчанию часто равно 30. Диапазон разумных значений: 5-50.

• Малый perplexity (5-10): Акцент на очень локальной структуре. Может появиться много мелких изолированных кластеров.
• Большой perplexity (40-50): Более гладкая структура, упор на более крупные группы.

Learning Rate (Шаг обучения): Влияет на скорость сходимости. Если шаг слишком большой, алгоритм может «прыгать» и не сойтись. Если слишком маленький - расчет займет вечность. Обычно используют значения от 10 до 300. Современные реализации (например, в scikit-learn) часто используют автоматическую адаптацию шага (early exaggeration), что упрощает жизнь.

Профессиональный совет: всегда пробуйте несколько значений perplexity. Иногда правильный выбор превращает кашу из точек в четкие острова.

Типичные ошибки джуниоров

Даже зная теорию, легко наступить на грабли. Вот самые частые ошибки:

1. Нормализация данных. PCA чувствителен к масштабу признаков. Если один признак измеряется в миллионах, а другой - в долях процента, PCA будет ориентироваться только на первый. Всегда применяйте StandardScaler или MinMaxScaler перед PCA.
2. Смотреть на расстояния в t-SNE. Не делайте выводов о степени различия между кластерами по пиксельному расстоянию на графике. Смотрите только на то, сформировались ли отдельные группы.
3. Использовать t-SNE для предобработки. Не используйте выходные координаты t-SNE как фичи для классификатора. Они не имеют физического смысла и плохо обобщаются на новые данные (t-SNE не является трансформацией, которую можно применить к новым точкам без пересчета всего набора).
4. Забыть про seed. Если вы пишете отчет, зафиксируйте random_state, чтобы воспроизвести график.

Когда комбинировать методы?

Иногда лучший подход - связка. Например, если у вас 1000 признаков и 50 000 строк:

1. Сначала примените PCA, чтобы сократить пространство до 50-100 главных компонент. Это уберет шум и ускорит работу.
2. Затем примените t-SNE к результату PCA, чтобы получить красивую 2D-визуализацию.

Инструменты для работы

В экосистеме Python основные библиотеки:

• scikit-learn: содержит реализации PCA и TSNE. Простой API: fit_transform().
• umap-learn: альтернатива t-SNE, часто быстрее и лучше сохраняет глобальную структуру. Стоит упомянуть, так как многие современные ML-инженеры предпочитают UMAP.
• Matplotlib или Seaborn: для отрисовки получившихся 2D-точек.

Частые вопросы