Вы когда-нибудь пытались посчитать длину строки с эмодзи или редким символом из азиатских алфавитов и получали странный результат? Например, функция length возвращает 2 вместо 1 для одного смайлика. Или при попытке разрезать строку пополам вы получаете набор непонятных квадратиков вместо красивого символа. Это не баг вашего кода и не ошибка компилятора. Это классическая ловушка работы с Unicode и внутренним представлением строк в современных языках программирования.
Давайте честно: большинство разработчиков думают о строках как об массивах букв. «А» - это один символ, «Б» - один символ. Но компьютер видит мир иначе. Он видит последовательности байтов или кодовых единиц. И вот тут начинается магия, которая часто приводит к крашам в продакшене, особенно если ваш продукт ориентирован на международный рынок.
Почему «A» и «😀» не равны
Чтобы понять проблему, нужно разобраться в том, что такое Юникод (Unicode). Это стандарт кодирования символов, который присваивает каждому знаку уникальный номер - кодовую точку (code point). У буквы «A» кодовая точка U+0041. У смайлика «😀» - U+1F600. Казалось бы, всё просто: у каждого знака есть свой ID. Проблема возникает на этапе хранения этих ID в памяти компьютера.
Исторически сложилось так, что многие популярные языки (JavaScript, Java, C#, Python до версии 3.3) используют для внутреннего хранения строк формат UTF-16. В этом формате каждый символ кодируется одним или двумя 16-битными словами (кодовыми единицами). Для большинства латинских и кириллических букв хватает одной единицы. Но для символов с кодовыми точками выше U+FFFF (например, многих эмодзи, древних иероглифов или музыкальных нот) одной единицы недостаточно.
Тогда на помощь приходят суррогатные пары (surrogate pairs). Это специальная техника: один сложный символ разбивается на две части - «старший суррогат» и «младший суррогат». Компьютер хранит их как два отдельных элемента, но интерпретирует вместе как один визуальный символ.
| Тип символа | Пример | Кодовая точка | Количество кодовых единиц (UTF-16) | Результат .length в JS |
|---|---|---|---|---|
| Базовый латинский | A | U+0041 | 1 | 1 |
| Кириллица | Я | U+042F | 1 | 1 |
| Эмодзи (BMP вне диапазона) | 😀 | U+1F600 | 2 (суррогатная пара) | 2 |
| Комбинированный символ | é (e + ударение) | U+0065 + U+0301 | 2 | 2 |
Как считать длину строки правильно
Если вы используете JavaScript, метод string.length возвращает количество кодовых единиц, а не символов. Для строки "Hello" это 5. Для строки "Hi😀" это 4 (H, i, старший суррогат, младший суррогат). Если вам нужно реальное количество видимых символов (графем), стандартного метода нет. Придется использовать библиотеки или встроенные итераторы.
В ES6 появился объект String.prototype[Symbol.iterator], который корректно обрабатывает суррогатные пары. Вы можете превратить строку в массив символов:
const str = "Hi😀";
const chars = [...str]; // ['H', 'i', '😀']
console.log(chars.length); // 3
Этот трюк работает, потому что спред-оператор вызывает итератор, который знает про суррогаты. Однако даже этот метод не идеален. Он считает кодовые точки, но игнорирует комбинированные символы (grapheme clusters). Например, флаг Украины 🇺🇦 состоит из двух региональных индикаторов. Спред вернет длину 2, хотя визуально это один объект.
Для полной точности нужна библиотека вроде Intl.Segmenter (доступна в современных браузерах и Node.js) или сторонние пакеты типа grapheme-splitter. Они понимают правила Юникода: буква «э» может быть написана как единый символ (U+00E9) или как базовая «e» плюс комбинирующее ударение (U+0065 U+0301). Оба варианта выглядят одинаково, но имеют разную длину в байтах и кодовых единицах.
Опасность срезов и индексации
Самая частая ошибка - использование методов substring, slice или прямого доступа по индексу [i]. Представьте, что вы хотите взять первый символ строки "😀Hello". В JavaScript запись str[0] вернет только старшую часть суррогатной пары. Это невалидный символ сам по себе. В консоли вы увидите пустой квадратик или вопросительный знак. А второй символ str[1] будет младшей частью той же самой пары.
Если вы попробуете вырезать подстроку серединой этого символа, например, через str.slice(1, 3), вы получите мусор: половину одного эмодзи и начало следующего слова. Такой текст невозможно отобразить корректно ни в одном редакторе.
Как избежать катастрофы?
- Никогда не используйте
charAt()илиcharCodeAt()для сложных символов, если не уверены в их составе. - Используйте
codePointAt()иfromCodePoint(). Эти методы умеют склеивать суррогатные пары обратно в целые числа. - При работе с массивами символов всегда используйте итерацию (
for...of), а не классический циклfor (let i=0; ...).
Разница между языками и платформами
Не все системы страдают одинаково. Python 3 перешел на динамическое представление строк. Внутри он выбирает самый компактный формат: Latin-1 (8 бит) для простых текстов, UCS-2 (16 бит) для смешанных и UCS-4 (32 бита) для полного покрытия. Поэтому в Python функция len("😀") вернет 1. Это приятно, но не стоит расслабляться: при передаче данных в JSON или базы данных вы снова столкнетесь с UTF-8, где эмодзи занимает 4 байта.
Java и C# исторически использовали UTF-16, поэтому там поведение аналогично JavaScript. В последних версиях Java добавили поддержку расширенных кодовых точек через методы codePointCount(), но старые API остаются ловушкой.
Go и Rust подходят к вопросу иначе. Go работает с байтами и руннами (runes). Руна - это абстракция кодовой точки Юникода. Строка в Go - это срез байтов в кодировке UTF-8. Чтобы получить длину в символах, нужно явно преобразовать строку в []rune. Это заставляет программиста думать о стоимости операции.
Практические советы для разработчика
Работа со строками кажется простой задачей, пока вы не выходите за пределы ASCII. Вот чек-лист, который спасет вас от ночных звонков:
- Проверяйте ввод. Если пользователь вводит имя, убедитесь, что оно проходит валидацию не только по длине в байтах, но и по количеству графем. Ограничение «максимум 50 символов» должно означать 50 видимых знаков, а не 50 байт.
- База данных - источник истины. Убедитесь, что ваша БД настроена на
utf8mb4(MySQL) или аналогичную полную поддержку Юникода. Старыйutf8в MySQL поддерживает только первые 3 байта, то есть не понимает суррогатные пары. Эмодзи просто обрежется. - Локализация интерфейсов. При переводе текста помните: немецкие слова длинные, китайские короткие, но тяжелые по весу. Тестирование UI должно включать строки с экзотическими символами.
- Отладка. Когда видите «кракозябры», проверяйте кодировку файла исходников и заголовки HTTP-ответов. Часто проблема не в суррогатах, а в том, что сервер отправил UTF-8, а браузер ожидает Windows-1251.
Понимание того, как работают суррогатные пары и различие между кодовыми точками и кодовыми единицами, отличает джуниора от мидла. Это не теоретическая мелочь, а фундамент стабильности вашего приложения в глобальном мире.
Почему length в JavaScript показывает 2 для одного эмодзи?
Потому что JavaScript использует кодировку UTF-16 внутри движка. Большинство эмодзи находятся за пределами основной многоязычной плоскости (BMP) и требуют двух 16-битных слов для хранения - так называемой суррогатной пары. Метод .length считает именно эти слова, а не визуальные символы.
Как безопасно разбить строку на массив символов в JS?
Используйте спред-оператор [...str] или цикл for...of. Они корректно обрабатывают суррогатные пары, группируя их в один элемент массива. Избегайте использования split(''), так как он разорвет суррогатную пару на два отдельных элемента.
Что делать, если в MySQL не сохраняются эмодзи?
Стандартная кодировка utf8 в MySQL поддерживает только до 3 байт на символ. Эмодзи занимают 4 байта. Необходимо изменить кодировку таблицы и соединения на utf8mb4. Также проверьте настройки соединения в драйвере базы данных.
Чем отличается code point от code unit?
Кодовая точка (code point) - это уникальный идентификатор символа в стандарте Unicode. Кодовая единица (code unit) - это минимальный элемент хранения в конкретной кодировке (например, 16 бит в UTF-16). Один code point может занимать одну или несколько code units.
Есть ли проблемы с длиной строк в Python 3?
Внутри Python 3 функция len() возвращает количество символов (code points), а не байт, поэтому для большинства случаев проблем нет. Однако при сериализации в JSON или записи в файлы важно учитывать размер в байтах, так как разные символы занимают разное место в UTF-8.