ПроКодинг - Откроем для вас мир IT!

Вы когда-нибудь пытались посчитать длину строки с эмодзи или редким символом из азиатских алфавитов и получали странный результат? Например, функция length возвращает 2 вместо 1 для одного смайлика. Или при попытке разрезать строку пополам вы получаете набор непонятных квадратиков вместо красивого символа. Это не баг вашего кода и не ошибка компилятора. Это классическая ловушка работы с Unicode и внутренним представлением строк в современных языках программирования.

Давайте честно: большинство разработчиков думают о строках как об массивах букв. «А» - это один символ, «Б» - один символ. Но компьютер видит мир иначе. Он видит последовательности байтов или кодовых единиц. И вот тут начинается магия, которая часто приводит к крашам в продакшене, особенно если ваш продукт ориентирован на международный рынок.

Почему «A» и «😀» не равны

Чтобы понять проблему, нужно разобраться в том, что такое Юникод (Unicode). Это стандарт кодирования символов, который присваивает каждому знаку уникальный номер - кодовую точку (code point). У буквы «A» кодовая точка U+0041. У смайлика «😀» - U+1F600. Казалось бы, всё просто: у каждого знака есть свой ID. Проблема возникает на этапе хранения этих ID в памяти компьютера.

Исторически сложилось так, что многие популярные языки (JavaScript, Java, C#, Python до версии 3.3) используют для внутреннего хранения строк формат UTF-16. В этом формате каждый символ кодируется одним или двумя 16-битными словами (кодовыми единицами). Для большинства латинских и кириллических букв хватает одной единицы. Но для символов с кодовыми точками выше U+FFFF (например, многих эмодзи, древних иероглифов или музыкальных нот) одной единицы недостаточно.

Тогда на помощь приходят суррогатные пары (surrogate pairs). Это специальная техника: один сложный символ разбивается на две части - «старший суррогат» и «младший суррогат». Компьютер хранит их как два отдельных элемента, но интерпретирует вместе как один визуальный символ.

Сравнение представления символов в UTF-16
Тип символа Пример Кодовая точка Количество кодовых единиц (UTF-16) Результат .length в JS
Базовый латинский A U+0041 1 1
Кириллица Я U+042F 1 1
Эмодзи (BMP вне диапазона) 😀 U+1F600 2 (суррогатная пара) 2
Комбинированный символ é (e + ударение) U+0065 + U+0301 2 2

Как считать длину строки правильно

Если вы используете JavaScript, метод string.length возвращает количество кодовых единиц, а не символов. Для строки "Hello" это 5. Для строки "Hi😀" это 4 (H, i, старший суррогат, младший суррогат). Если вам нужно реальное количество видимых символов (графем), стандартного метода нет. Придется использовать библиотеки или встроенные итераторы.

В ES6 появился объект String.prototype[Symbol.iterator], который корректно обрабатывает суррогатные пары. Вы можете превратить строку в массив символов:

const str = "Hi😀";
const chars = [...str]; // ['H', 'i', '😀']
console.log(chars.length); // 3

Этот трюк работает, потому что спред-оператор вызывает итератор, который знает про суррогаты. Однако даже этот метод не идеален. Он считает кодовые точки, но игнорирует комбинированные символы (grapheme clusters). Например, флаг Украины 🇺🇦 состоит из двух региональных индикаторов. Спред вернет длину 2, хотя визуально это один объект.

Для полной точности нужна библиотека вроде Intl.Segmenter (доступна в современных браузерах и Node.js) или сторонние пакеты типа grapheme-splitter. Они понимают правила Юникода: буква «э» может быть написана как единый символ (U+00E9) или как базовая «e» плюс комбинирующее ударение (U+0065 U+0301). Оба варианта выглядят одинаково, но имеют разную длину в байтах и кодовых единицах.

Разрезание строки с эмодзи, демонстрирующее ошибку при работе с суррогатными парами

Опасность срезов и индексации

Самая частая ошибка - использование методов substring, slice или прямого доступа по индексу [i]. Представьте, что вы хотите взять первый символ строки "😀Hello". В JavaScript запись str[0] вернет только старшую часть суррогатной пары. Это невалидный символ сам по себе. В консоли вы увидите пустой квадратик или вопросительный знак. А второй символ str[1] будет младшей частью той же самой пары.

Если вы попробуете вырезать подстроку серединой этого символа, например, через str.slice(1, 3), вы получите мусор: половину одного эмодзи и начало следующего слова. Такой текст невозможно отобразить корректно ни в одном редакторе.

Как избежать катастрофы?

  • Никогда не используйте charAt() или charCodeAt() для сложных символов, если не уверены в их составе.
  • Используйте codePointAt() и fromCodePoint(). Эти методы умеют склеивать суррогатные пары обратно в целые числа.
  • При работе с массивами символов всегда используйте итерацию (for...of), а не классический цикл for (let i=0; ...).
Глобальная сеть данных с проблемами кодировки Unicode и обрезанными символами

Разница между языками и платформами

Не все системы страдают одинаково. Python 3 перешел на динамическое представление строк. Внутри он выбирает самый компактный формат: Latin-1 (8 бит) для простых текстов, UCS-2 (16 бит) для смешанных и UCS-4 (32 бита) для полного покрытия. Поэтому в Python функция len("😀") вернет 1. Это приятно, но не стоит расслабляться: при передаче данных в JSON или базы данных вы снова столкнетесь с UTF-8, где эмодзи занимает 4 байта.

Java и C# исторически использовали UTF-16, поэтому там поведение аналогично JavaScript. В последних версиях Java добавили поддержку расширенных кодовых точек через методы codePointCount(), но старые API остаются ловушкой.

Go и Rust подходят к вопросу иначе. Go работает с байтами и руннами (runes). Руна - это абстракция кодовой точки Юникода. Строка в Go - это срез байтов в кодировке UTF-8. Чтобы получить длину в символах, нужно явно преобразовать строку в []rune. Это заставляет программиста думать о стоимости операции.

Практические советы для разработчика

Работа со строками кажется простой задачей, пока вы не выходите за пределы ASCII. Вот чек-лист, который спасет вас от ночных звонков:

  1. Проверяйте ввод. Если пользователь вводит имя, убедитесь, что оно проходит валидацию не только по длине в байтах, но и по количеству графем. Ограничение «максимум 50 символов» должно означать 50 видимых знаков, а не 50 байт.
  2. База данных - источник истины. Убедитесь, что ваша БД настроена на utf8mb4 (MySQL) или аналогичную полную поддержку Юникода. Старый utf8 в MySQL поддерживает только первые 3 байта, то есть не понимает суррогатные пары. Эмодзи просто обрежется.
  3. Локализация интерфейсов. При переводе текста помните: немецкие слова длинные, китайские короткие, но тяжелые по весу. Тестирование UI должно включать строки с экзотическими символами.
  4. Отладка. Когда видите «кракозябры», проверяйте кодировку файла исходников и заголовки HTTP-ответов. Часто проблема не в суррогатах, а в том, что сервер отправил UTF-8, а браузер ожидает Windows-1251.

Понимание того, как работают суррогатные пары и различие между кодовыми точками и кодовыми единицами, отличает джуниора от мидла. Это не теоретическая мелочь, а фундамент стабильности вашего приложения в глобальном мире.

Почему length в JavaScript показывает 2 для одного эмодзи?

Потому что JavaScript использует кодировку UTF-16 внутри движка. Большинство эмодзи находятся за пределами основной многоязычной плоскости (BMP) и требуют двух 16-битных слов для хранения - так называемой суррогатной пары. Метод .length считает именно эти слова, а не визуальные символы.

Как безопасно разбить строку на массив символов в JS?

Используйте спред-оператор [...str] или цикл for...of. Они корректно обрабатывают суррогатные пары, группируя их в один элемент массива. Избегайте использования split(''), так как он разорвет суррогатную пару на два отдельных элемента.

Что делать, если в MySQL не сохраняются эмодзи?

Стандартная кодировка utf8 в MySQL поддерживает только до 3 байт на символ. Эмодзи занимают 4 байта. Необходимо изменить кодировку таблицы и соединения на utf8mb4. Также проверьте настройки соединения в драйвере базы данных.

Чем отличается code point от code unit?

Кодовая точка (code point) - это уникальный идентификатор символа в стандарте Unicode. Кодовая единица (code unit) - это минимальный элемент хранения в конкретной кодировке (например, 16 бит в UTF-16). Один code point может занимать одну или несколько code units.

Есть ли проблемы с длиной строк в Python 3?

Внутри Python 3 функция len() возвращает количество символов (code points), а не байт, поэтому для большинства случаев проблем нет. Однако при сериализации в JSON или записи в файлы важно учитывать размер в байтах, так как разные символы занимают разное место в UTF-8.