Подготовка данных в ML: почему это 80% работы и как джуну не утонуть

Знаете эту шутку про то, что Data Scientist - это человек, который тратит 80% времени на подготовку данных и 20% времени на жалобы на то, сколько времени уходит на подготовку данных? Это не просто мем. Это суровая реальность индустрии. Если вы только начинаете путь в Machine Learning, вас могут шокировать два факта: во-первых, модели часто работают хуже, чем вы ожидали; во-вторых, большую часть дня вы будете не строить нейросети, а чистить CSV-файлы.

Почему так происходит? Потому что алгоритмы - это умные, но ленивые помощники. Они требуют идеальных условий. Грязные данные, пропуски, несбалансированные классы или неверный формат дат превращают мощную модель в мусорный генератор. Для джуна задача подготовки данных (или Preprocessing) может казаться скучной рутиной по сравнению с запуском красивого градиентного бустинга. Но именно здесь коется ваш профессиональный рост. Давайте разберем, как делать это эффективно, без лишних нервов и багов.

Этап EDA: прежде чем трогать код

Самая частая ошибка новичка - открыть файл и сразу начать писать код очистки. Стоп. Сначала посмотрите на данные глазами. Этот этап называется Exploratory Data Analysis (EDA). Ваша цель - понять структуру, найти аномалии и оценить качество.

Начните с базовой статистики. В Python для этого есть библиотека Pandas. Команда df.describe() покажет средние значения, медианы и стандартные отклонения числовых колонок. А df.info() расскажет о типах данных и количестве пропусков. Звучит банально? Попробуйте пропустить этот шаг. Вы рискуете обнаружить через неделю, что колонка «Возраст» заполнена строками вроде «тридцать лет», и весь ваш пайплайн сломался из-за одного символа.

Ищите выбросы. Не удаляйте их автоматически! Иногда выброс - это ошибка ввода (возраст 150 лет), а иногда - редкое событие, которое ваша модель должна научиться предсказывать (например, мошенническая транзакция). Используйте визуализацию. Boxplot (ящик с усами) отлично показывает, где данные выходят за разумные пределы. Если точка далеко за усами - проверьте её вручную.

Работа с пропусками: искусство импутации

Пропущенные значения (Missing Values) - бич реальных данных. Алгоритмы вроде линейной регрессии или SVM не умеют работать с NaN. Что делать?

• Удаление строк: Подходит, если пропусков меньше 5% и они случайны. Но если у вас всего 1000 строк, удаление 50 из них может сильно исказить распределение.
• Замена модой или медианой: Самый безопасный вариант для категориальных признаков (мода) и числовых с выбросами (медиана). Среднее значение опасно использовать, если данные скошены влево или вправо.
• Использование флага наличия: Создайте новую колонку is_missing_age, где 1 означает пропуск, а 0 - наличие значения. Затем заполните сам возраст медианой. Модель узнает, что факт отсутствия данных сам по себе является сигналом.
• Предсказание пропусков: Обучите простую модель (например, RandomForestRegressor) предсказывать пропущенное значение на основе других колонок. Это дорого по времени, но точно сохраняет информацию.

Помните: никогда не заменяйте пропуски нулем, если ноль имеет физический смысл (например, цена товара равна 0 рублей). Это создаст ложную корреляцию.

Кодирование категорий: от текста к числам

Компьютеры не понимают слова «Москва», «Казань» или «VIP». Им нужны числа. Но простое присвоение номеров (Москва=1, Казань=2) создает ложную иерархию: модель решит, что Казань «больше» Москвы. Здесь на помощь приходит Encoding.

Библиотека Scikit-learn предоставляет готовые инструменты: OneHotEncoder и OrdinalEncoder. Однако будьте осторожны с One-Hot: если у вас 1000 городов, вы получите 1000 новых колонок, большинство из которых будут нулями. В таких случаях лучше сгруппировать редкие категории в группу «Other» или использовать Target Encoding, но обязательно с защитой от утечки данных.

Масштабирование признаков: выравниваем поля игры

Если одна колонка содержит зарплаты (от 30 000 до 500 000), а другая - возраст (от 18 до 60), модели, основанные на расстояниях (KNN, SVM) или градиентном спуске (нейросети, логистическая регрессия), сойдут с ума. Зарплата будет доминировать над возрастом просто из-за масштаба чисел.

Есть два основных способа исправить это:

1. StandardScaler (Z-score normalization): Приводит данные к среднему 0 и стандартному отклонению 1. Формула: (x - mean) / std. Идеально для нормального распределения.
2. MinMaxScaler: Сжимает данные в диапазон [0, 1]. Полезно, когда вам важен точный диапазон (например, для пиксельных данных изображений).

Важнейшее правило: обучайте скалер ТОЛЬКО на тренировочной выборке. Применяйте его же параметры к тестовой. Если вы посчитаете среднее по всем данным сразу, вы совершите ошибку Data Leakage - модель подсмотрит будущее.

Feature Engineering: создание смысловых признаков

Это самый творческий этап. Сырые данные редко содержат нужную информацию в явном виде. Ваша задача - помочь модели увидеть закономерности.

Примеры трансформаций: * Из даты рождения сделайте признак «Возраст». * Из даты транзакции извлеките «День недели» или «Час суток» (часто влияет на поведение пользователей). * Разделите длинные текстовые описания на длину и количество слов. * Создайте полиномиальные признаки (квадрат роста, произведение цены на площадь), если знаете предметную область.

Не бойтесь экспериментировать. Часто один грамотно сконструированный признак дает больше прироста метрики качества, чем переход с линейной регрессии на сложный ансамбль деревьев.

Автоматизация: Pipelines в Scikit-learn

Когда вы научитесь делать все руками, наступит хаос. Код станет длинным, запутанным и трудным для воспроизведения. Решение - Pipelines.

Pipeline позволяет объединить все шаги обработки в один объект. Например:

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler()),
    ('classifier', LogisticRegression())
])

Теперь вызов pipeline.fit(X_train, y_train) выполнит очистку, масштабирование и обучение модели последовательно. Это гарантирует отсутствие утечек данных и делает код чище. Для продвинутых задач используйте ColumnTransformer, чтобы применять разные преобразования к разным типам колонок (числовые обрабатывать одним способом, категориальные - другим).

Чек-лист джуна перед отправкой модели в продакшн

Перед тем как сказать «Готово», пройдите по этому списку:

• Все ли пропуски обработаны осознанно?
• Нет ли утечки данных (вы используете только тренировочные данные для обучения преобразователей)?
• Масштабированы ли признаки для чувствительных моделей?
• Проверены ли выбросы?
• Воспроизводим ли результат (задан ли random_state)?
• Документированы ли решения по очистке?

Подготовка данных - это не барьер на пути к modeling, а фундамент вашей архитектуры. Чем лучше вы поймете свои данные, тем стабильнее будет ваша модель. Не торопитесь. Лучше потратить день на анализ и очистку, чем неделю на дебаггинг странного поведения модели.