Лекції

Розбираємося, чому «текстовий файл» насправді складається з байтів ( ByteArray), як ці байти перетворюються на рядки ( String) за правилом декодування ( Charset) і чому в разі невідповідності кодувань зʼявляються «ÐŸÑ€Ð¸Ð²ÐµÑ‚» та «??????». На прикладах Kotlin/JVM вчимося явно кодувати й декодувати через Charsets . UTF_8 та діагностувати проблему, друкуючи байти в hex.

Розбираємося, як кодування перетворюють текст на байти й назад: чим обмежений ASCII, чому UTF‑8 став стандартом де-факто (ASCII-сумісність і змінна довжина), як UTF‑16 повʼязаний із JVM (тип Char, сюрпризи String.length на емодзі), звідки беруться «зайві байти» в Charsets.UTF_16 і які типові помилки призводять до «кракозябр».

Розбираємося, чому «кодування за замовчуванням» — це прихована залежність від оточення, і як зробити поведінку введення-виведення відтворюваною: використовуємо явний Charset і Charsets . UTF_8, читаємо та пишемо текст через readText/ writeText, за потреби працюємо з ByteArray і ручним декодуванням, застосовуємо потоковий підхід через bufferedReader/ use, а також збираємо міні-API, щоб кодування залишалося «єдиною точкою правди». Наприкінці — типові помилки під час роботи з кодуваннями.

Розбираємося, що таке BOM ( Byte Order Mark), чому невидимий префікс на початку файлу призводить до «магічних» невідповідностей рядків (наприклад, == раптом повертає false), як діагностувати проблему за байтами ( ByteArray, сигнатура EF BB BF) і як безпечно видаляти BOM на рівні байтів і рядків (через '\uFEFF'), не пошкоджуючи коректні дані.

Розбираємося, як привести текст із файлу до передбачуваного вигляду перед парсингом: читаємо дані як ByteArray, видаляємо UTF‑8 BOM за сигнатурою EF BB BF, декодуємо через Charsets.UTF_8, нормалізуємо переноси рядків ( "\r\n", "\n", "\r") і збираємо все у функцію readCleanUtf8(), щоб парсер працював лише з «чистими» вхідними даними.