Автокодер для сжатия изображений: CV-практика в pet-проекте

Представьте, что у вас на диске лежит папка с тысячами фото. Обычные программы вроде Photoshop или ImageMagick сжимают их по стандартным алгоритмам (JPEG, WebP), но они часто теряют детали или оставляют артефакты. Автокодер - это нейросеть, которая учится сама находить оптимальные способы сжатия данных под конкретный набор изображений. В отличие от универсальных кодеков, автокодер может быть обучен на ваших данных, чтобы сохранять важные детали (например, текстуру шерсти у животных) и жертвовать менее важными областями (фон). Это отличная практика для понимания работы глубокого обучения в компьютерном зрении (Computer Vision).

Почему автокодер лучше классических методов?

Классическое сжатие JPEG работает блоками 8x8 пикселей и использует дискретное косинусное преобразование (DCT). Это быстро, но предсказуемо. Если изображение содержит сложные градиенты или шум, JPEG создаёт характерные «квадратики». Автокодер же состоит из двух частей: энкодера (кодировщика) и декодера (раскодировщика).

• Энкодер сжимает входное изображение до латентного вектора (маленькой последовательности чисел).
• Декодер восстанавливает изображение из этого вектора.

Во время обучения сеть минимизирует разницу между исходным и восстановленным изображением. Вы можете настроить функцию потерь так, чтобы она сильнее наказывала за ошибки в определенных областях. Например, если вы делаете приложение для питомников, можно увеличить вес потери для центральной части изображения, где находится животное.

Архитектура модели: от идеи к коду

Для начала мы будем использовать сверточные слои (Convolutional Layers), так как они хорошо работают с пространственными данными, такими как изображения. Архитектура обычно выглядит симметрично:

1. Входной слой: принимает RGB-изображение размера, например, 64x64x3.
2. Сверточные блоки (Downsampling): несколько слоев Conv2D + MaxPooling, которые уменьшают размерность данных и увеличивают число каналов.
3. Латентное пространство: самый узкий слой сети. Здесь хранится «суммарная» информация об изображении. Чем меньше размер этого слоя, тем сильнее сжатие.
4. Транспонированные свертки (Upsampling): зеркальное отражение первой части, но вместо MaxPooling используются UpSampling2D или Conv2DTranspose, чтобы вернуть размерность обратно.
5. Выходной слой: возвращает изображение исходного размера.

В библиотеке TensorFlow (или Keras) это реализуется очень компактно. Важно помнить, что активация в выходном слое должна ограничивать значения пикселей диапазоном [0, 1], поэтому там обычно используют функцию sigmoid.

Подготовка данных и выбор метрик

Перед обучением нужно подготовить датасет. Для pet-проекта подойдет набор фотографий домашних животных (cats and dogs dataset) или собственные снимки. Ключевые шаги подготовки:

• Нормализация пикселей: деление значений на 255, чтобы привести их к диапазону [0, 1].
• Разбиение на train/test/valid наборы (например, 80/10/10).
• Аугментация данных: повороты, флипы, небольшие изменения яркости. Это помогает сети обобщаться и не запоминать конкретные фото.

Как измерять успех? Мы используем две основные метрики:

На практике PSNR удобнее всего отслеживать во время обучения, так как он дает интуитивное понимание качества. Однако человеческое восприятие иногда расходится с цифрами, поэтому всегда смотрите на визуальный результат.

Практическая реализация в Python

Ниже приведен скелет кода на Python с использованием TensorFlow/Keras. Этот код создает базовый автокодер для изображений размером 64x64.

import tensorflow as tf
from tensorflow.keras import layers, models

# Параметры
IMG_HEIGHT = 64
IMG_WIDTH = 64
CHANNELS = 3
LATENT_DIM = 32 # Размер латентного пространства

# Модель Энкодера
encoder_inputs = layers.Input(shape=(IMG_HEIGHT, IMG_WIDTH, CHANNELS))
x = layers.Conv2D(32, 3, activation='relu', padding='same')(encoder_inputs)
x = layers.MaxPooling2D(2)(x)
x = layers.Conv2D(64, 3, activation='relu', padding='same')(x)
x = layers.MaxPooling2D(2)(x)
x = layers.Conv2D(128, 3, activation='relu', padding='same')(x)
x = layers.Flatten()(x)
encoded = layers.Dense(LATENT_DIM, activation='tanh')(x)
encoder = models.Model(encoder_inputs, encoded)

# Модель Декодера
decoded_inputs = layers.Input(shape=(LATENT_DIM,))
x = layers.Dense(128 * (IMG_HEIGHT // 4) * (IMG_WIDTH // 4))(decoded_inputs)
x = layers.Reshape((IMG_HEIGHT // 4, IMG_WIDTH // 4, 128))(x)
x = layers.Conv2DTranspose(64, 3, activation='relu', padding='same')(x)
x = layers.UpSampling2D(2)(x)
x = layers.Conv2DTranspose(32, 3, activation='relu', padding='same')(x)
x = layers.UpSampling2D(2)(x)
decoded = layers.Conv2D(CHANNELS, 3, activation='sigmoid', padding='same')(x)
decoder = models.Model(decoded_inputs, decoded)

# Сборка полного автокодера
autoencoder = models.Sequential([encoder, decoder])
autoencoder.compile(optimizer='adam', loss='mse')

# Обучение
autoencoder.fit(train_data, train_data, epochs=20, batch_size=32, validation_split=0.1)

Обратите внимание на параметр LATENT_DIM. Если сделать его слишком маленьким (например, 4), изображение станет очень размытым. Если слишком большим (например, 512), сжатие будет слабым, и модель просто запомнит данные. Оптимальный баланс нужно искать экспериментально.

Типичные проблемы и как их решить

При первом запуске проекта вы наверняка столкнетесь с несколькими проблемами. Вот самые частые из них:

• Размытое изображение: Скорее всего, функция потерь MSE недостаточно чувствительна к деталям. Попробуйте добавить L1-потерю или использовать перцепционную потерю (VGG Loss), которая сравнивает признаки из промежуточных слоев готовой нейросети VGG.
• Замедленное обучение: Проверьте, нормализованы ли данные. Если пиксели в диапазоне 0-255, градиенты будут огромными. Нормализация до 0-1 решает проблему.
• Переобучение: Если модель отлично восстанавливает тренировочные данные, но плохо справляется с новыми, добавьте Dropout-слои или регуляризацию L2.

Также важно следить за размером файла. Хотя латентный вектор занимает мало места, для реального использования его нужно закодировать в байты. Простое сохранение массива NumPy неэффективно. Можно использовать библиотеку NumPy для сохранения в формат .npy, а затем сжать этот файл алгоритмом gzip или zstd.

Где это применять на практике?

Автокодеры полезны не только для сжатия. Вот несколько идей для pet-проектов:

• Удаление шума: Обучите модель на паре «шумное изображение» -> «чистое изображение». Она научится очищать фото, сделанные при слабом освещении.
• Генерация новых лиц/животных: Изменяя значения в латентном пространстве, можно генерировать новые, похожие, но несуществующие изображения. Это основа таких моделей, как GAN.
• Аномалии: Если объект сильно отличается от того, что видела модель, реконструкция будет плохой. Это позволяет находить дефекты на производстве или болезни растений по фото.

Для старта выберите простой датасет, настройте архитектуру и поэкспериментируйте с размером латентного пространства. Сравните результаты с обычным JPEG-сжатием той же степени компрессии. Вы удивитесь, насколько лучше автокодер сохраняет текстуры, даже если формальное сжатие чуть ниже.