ПроКодинг - Откроем для вас мир IT!

Вы когда-нибудь пытались посчитать длину строки с эмодзи или редким символом из китайского языка и получали странное число? Или пробовали вырезать часть имени пользователя, а в конце оставался битый квадратик вместо лица? Это не баг вашего редактора кода. Это фундаментальная проблема работы JavaScript со строками.

Дело в том, что JavaScript использует кодировку UTF-16. И вот тут начинается магия, которая часто ломает голову новичкам и даже опытным разработчикам. В этой статье мы разберем, почему string.length иногда врёт, что такое суррогатные пары и как правильно считать символы, чтобы ваш код не падал на реальных данных.

Почему длина строки - это не количество букв

В большинстве языков программирования понятие «длина строки» интуитивно понятно: сколько знаков написано, такая и длина. Но в мире Unicode всё сложнее. Стандарт Unicode определяет абстрактные символы (кодовые точки), но то, как они хранятся в памяти, зависит от реализации языка.

JavaScript хранит строки как последовательность 16-битных единиц кода UTF-16. Для большинства латинских букв, цифр и стандартной пунктуации одна единица кода равна одному символу. Например, буква 'A' занимает ровно 16 бит. Поэтому для простых строк вроде "Hello" свойство length возвращает 5, и всё работает отлично.

Но есть проблемы. Многие символы за пределами базовой многоязычной плоскости (Basic Multilingual Plane) требуют больше места. Эмодзи, древние иероглифы, некоторые математические символы занимают 32 бита. Поскольку JavaScript не может хранить 32 бита в одной ячейке массива (он видит только 16-битные блоки), он делит такой символ на две части. Эти части называются суррогатными парами.

Что такое суррогатные пары

Суррогатная пара - это механизм кодирования символа Unicode, который выходит за пределы диапазона U+0000-U+FFFF. Если символ имеет код выше U+FFFF, его представляют двумя последовательными значениями:

  • High Surrogate (старший суррогат): диапазон U+D800-U+DBFF.
  • Low Surrogate (младший суррогат): диапазон U+DC00-U+DFFF.

Когда движок JavaScript встречает такую пару, он понимает, что эти два блока вместе образуют один визуальный символ. Однако метод .length этого не знает. Он просто считает количество 16-битных ячеек.

Сравнение методов подсчета длины строки
Пример строки Символ Результат .length Реальное кол-во символов
"A" Латинская A 1 1
"😀" Улыбающийся смайлик 2 1
"👨‍👩‍👧‍👦" Семья (ZWNJ sequence) 11 1

Да, вы не ослышались. Строка с одним эмодзи семьи имеет длину 11! Почему так много? Потому что она состоит из нескольких отдельных эмодзи (мужчина, женщина, девочка, мальчик), соединенных специальным нулевым разделителем слов (Zero Width Joiner). Каждый элемент требует своей суррогатной пары, плюс сам разделитель.

Разрезание строки с эмодзи и битые символы

Опасности среза строк методом slice()

Представьте, что у вас есть функция обрезки никнейма до 10 символов. Вы пишете username.slice(0, 10). Если в нике есть эмодзи, вы рискуете разорвать суррогатную пару пополам.

Если вы отрежете только старший суррогат, а младший останется за бортом (или наоборот), вы получите недопустимую последовательность байтов. В консоли браузера это обычно выглядит как вопросительный знак, ромбик или пустой квадрат. А если вы попытаетесь отправить такие данные в базу данных или API, можно получить ошибку кодировки.

Например, возьмем строку "Hi 😀!". Длина строки 4 (H, i, space, surrogate pair part 1, surrogate pair part 2, !). Если вы сделаете slice(0, 4), вы захватите "Hi " и первый кусок эмодзи. Второй кусок отвалится. Результат будет битым.

Как правильно считать символы

К счастью, современные версии JavaScript (ES6+) предоставляют инструменты для корректной работы с Unicode. Самый простой способ получить реальное количество символов - использовать спред-оператор или цикл for...of.

Метод Array.from(str).length или [...str].length правильно обрабатывает суррогатные пары. Спред-оператор итерируется по строке, используя алгоритм Unicode Scalar Values, который склеивает суррогатные пары обратно в целые символы.

const emoji = "😀";
console.log(emoji.length); // 2 (ошибка)
console.log([...emoji].length); // 1 (правильно)

Этот подход решает проблему подсчета, но он все еще не идеален для графических кластеров (grapheme clusters). Графический кластер - это то, что пользователь воспринимает как один символ. Например, флаг Германии состоит из двух буквенных индикаторных символов. Хотя технически это два кодовых пункта, визуально это один объект. Для полной поддержки графем нужно использовать библиотеки вроде Intl.Segmenter (поддерживается во всех современных браузерах).

Правильная обработка юникод-символов в памяти

Практические советы для разработчиков

Не стоит переусложнять код везде. Используйте правильный инструмент для конкретной задачи:

  1. Для простого отображения текста: Браузер сам разберется с рендерингом. Вам не нужно ничего менять.
  2. Для подсчета лимитов (например, Twitter/X): Используйте [...str].length. Это даст вам количество кодовых точек, что гораздо ближе к человеческому пониманию, чем .length.
  3. Для безопасного среза: Не используйте slice или substring напрямую с индексами, полученными из .length. Лучше преобразовать строку в массив символов, сделать срез массива и собрать обратно через join('').
  4. Для сложных форматов (эмодзи с модификаторами кожи, флаги): Подключайте Intl.Segmenter. Он учитывает комбинированные символы.

Вот пример безопасной функции обрезки строки, которая не ломает эмодзи:

function safeTruncate(str, maxLength) {
    const chars = [...str];
    if (chars.length <= maxLength) return str;
    return chars.slice(0, maxLength).join('');
}

// Пример использования
console.log(safeTruncate("Привет 😀 мир", 7)); 
// Вернет "Привет 😀", а не битый текст

Обратите внимание: эта функция тоже не идеальна для графем, но она уже лучше стандартного slice. Она гарантирует, что вы не разрежете суррогатную пару пополам.

Типизация и статическая проверка

Если вы используете TypeScript, тип string скрывает эту сложность. Компилятор не предупредит вас, что вы неправильно считаете длину. Поэтому важно помнить о runtime-поведении. Некоторые линтеры могут предупреждать о потенциальных проблемах с Unicode, но чаще всего ответственность лежит на разработчике.

Также стоит быть осторожным с регулярными выражениями. Флаг u (unicode) в регулярках включает поддержку суррогатных пар. Без него /^.$/u.test("😀") вернет true, а без флага u - false, потому что без флага регулярка видит два отдельных символа.

Почему JavaScript использует UTF-16, а не UTF-8?

Исторически JavaScript создавался в 1995 году, когда UTF-16 был популярным стандартом для представления Unicode в памяти (особенно в Java и Windows API). UTF-8 стал доминирующим для передачи данных по сети позже. Менять внутреннее представление строк в JS сейчас слишком дорого и сломает обратную совместимость миллионов библиотек.

Как проверить, содержит ли строка суррогатные пары?

Нет встроенного метода «isSurrogate». Но вы можете сравнить str.length с длиной после spread-оператора: str.length !== [...str].length. Если числа разные, значит, в строке есть символы, требующие более 16 бит.

Что делать, если мне нужно точно знать количество «видимых» символов (графем)?

Используйте API Intl.Segmenter. Он разделяет строку на сегменты, соответствующие тому, что пользователь видит как единый символ. Это особенно важно для текстов с акцентами, комбинированными диакритическими знаками и сложными эмодзи.

Влияет ли это на производительность?

Да. Операции с использованием spread-оператора или Intl.Segmenter медленнее, чем прямой доступ к .length или индексам массива. Если вы обрабатываете миллионы строк в горячем цикле, подумайте, действительно ли вам нужна полная поддержка Unicode, или достаточно быстрой грубой оценки.