Текст для компьютера — последовательность символов и управляющих знаков. Кодирование назначает символам числовые значения и превращает их в байты по правилам конкретной кодировки.
Правильное декодирование требует знать кодировку байтов; одинаковый байт во второй половине разных однобайтовых таблиц может обозначать разные символы.
Словарь
кодировка символов. правила преобразования кодовых точек или символов в последовательности кодовых единиц и байтов
ASCII. 7-битовый стандарт кодирования 128 символов и управляющих знаков
кодовая точка. числовое значение, назначенное абстрактному символу в Unicode
UTF-8. переменная Unicode-кодировка, использующая от одного до четырёх байтов на кодовую точку
UTF-16. Unicode-кодировка на основе 16-битовых кодовых единиц
глиф. конкретное графическое начертание символа, заданное шрифтом
декодирование. восстановление символов из кодовых единиц по заданной кодировке
моджибейк. искажённое отображение текста из-за применения неверной кодировки к байтам
Система связей
ASCII — 7-битовый стандарт из 128 кодов: управляющие символы, латинские буквы, цифры, пунктуация и другие знаки.
При хранении ASCII-код часто занимает один байт с нулевым старшим битом; шестнадцатеричная запись 41 соответствует латинской A.
Однобайтовые расширения ASCII сохраняют коды 0–127, но по-разному используют 128–255; Windows-1251, KOI8-R и CP866 не взаимозаменяемы.
Unicode — единый стандарт кодированных символов и кодовых точек; он не является обещанием фиксированного двухбайтового размера каждого символа.
UTF-8 кодирует кодовые точки последовательностями от одного до четырёх байтов и сохраняет ASCII без изменения для кодов 0–127.
UTF-16 использует одну или две 16-битовые кодовые единицы для кодовой точки; число видимых знаков, кодовых точек и кодовых единиц может различаться.
Код символа и его начертание — разные данные: кодовая точка задаёт символ, а шрифт определяет глиф; сложный документ дополнительно хранит структуру, оформление и внедрённые объекты.