JavaRush/Помощь по Java задачам/Не выводится правильное содержание файла, помогите разобр...

36 уровень

22.06.2019
1155просмотров
13комментариев

Не выводится правильное содержание файла, помогите разобраться с кодировкой.

Вопрос по задаче

Решен

задачу решил вот так:

int t = inputStream.read();
            System.out.print((char)t);

пробовал и так:

BufferedReader reader = new BufferedReader(new InputStreamReader(System.in, "UTF-8"));

и так:

String s = new String(inStream.readAllBytes(), "cp1251"); //UTF-8 тоже пробовал
System.out.print(s);

Пользуюсь MacOS.

Комментарии (13)

популярные
новые
старые

Для того, чтобы оставить комментарий Вы должны авторизоваться

Justinian Judge в Mega City One

Master

23 июня 2019, 10:58

на Макоси думаю не нужно добавлять варианты чарсетов и тд. Что в идее файлы создаются, что в системе по идее UTF-8. Предлагаю сделать следующее, стереть содержимое файла, и записать туда например следующее: "A B C D". И посмотреть на вывод. А потом зайти в метод inputStream.read (CTRL+ LEFT mouse click) и посмотреть какой тип возвращает. Вспомнить граничные значения (диапазон) для переменных этого типа. Вспомнить граничные значения (диапазон значений) для переменных char. Если останутся вопросы, почитать погуглить, попробовать разные примеры в Идее, этот момент для себя нужно разобрать, чем методы nextLine(), readLine() классов оберток отличаются от методов read() стримов.

Павел

Уровень 36

23 июня 2019, 13:06

Попробовал пример их первого абзаца-не помогло. Зайдя в метод я вижу, что он абстрактный: public abstract int read() throws IOException; Как он тогда вообще может запускаться?

Павел

Уровень 36

23 июня 2019, 13:13

Возвращает он int, диапазон +-2 147 483 647, у char 65535 и, соответственно он будет урезаться, Вы на это намекаете? Только почему половина инфо выводится с непонятными знаками?

Павел

Уровень 36

23 июня 2019, 13:24

как-то странно, скачал из интернета рандомный файл с таким текстом и он прочитал его нормально <meta name="google-site-verification" content="JyTBogND0vnjdLY9Z2d7IEG9xNMC-uxdbZ3UzcJP4uw" />

Justinian Judge в Mega City One

Master

23 июня 2019, 15:51

Значит с первого абзаца пример ты делал что-то не то. А в последнем примере вот как раз все-то, английский текст стандартная раскладка, который влезает в стандартный ASC-II. Я неточно выразился, моя вина, не совсем тип нужно было смотреть. В лекции на джава раше этот момент рассматривался, за пару лекций до этой задачи, но можем пройтись еще раз. И так, у нас есть строка:

InputStream inputStream = new FileInputStream(fileName);

И как мы помним с ООП. Тип переменной, абстрактный класс InputStream (парент всех классов со стримами байтов) определяет набор доступных методов для переменной. new FileInputStream это экземпляр класса, который наследуется от InputStream и где будет браться собственно реализация метода. Это собственно абстрактный класс ИнпутСтрима:

public abstract int read() throws IOException;

А это уже конкретная реализация с класса FileInputStream

public int read() throws IOException {
        return read0();
    }

read0 это:

private native int read0() throws IOException;

нейтив метод это уже низкоуровневые функции написанные как правило на С/С++, зарытые глубоко в jre. Но как мы видим в джава доке что первого метода, что второго:

/**
    * Reads the next byte of data from the input stream. The value byte is
    * returned as an int in the range 0  to
    * 255. If no byte is available because the end of the stream
    * has been reached, the value -1 is returned.
    *
    * A subclass must provide an implementation of this method.
     *
     * @return     the next byte of data, or -1 if the end of the
     *     stream is reached.
     */

Этот метод читает байты. И возвращает инт в диапазоне от -1 до 255. А чаров 65 536.

Павел

Уровень 36

23 июня 2019, 16:00

"Тип переменной, абстрактный класс InputStream (парент всех классов со стримами байтов) определяет набор доступных методов для переменной. new FileInputStream это экземпляр класса, который наследуется от InputStream и где будет браться собственно реализация метода." вот с этим только что нормально разобрался и понял, но вопрос почему если я в файле печатаю тоже латиницей, а java такой файл не может нормально прочитать, а если какой-то из интернета, то нормально. и тогда вопрос: если у нас возвращаются байты в диапазоне от -1 до 255, а индекс чара будет 35567, то что будет выведено?

Justinian Judge в Mega City One

Master

23 июня 2019, 16:21

Что будет выведено это легкий вопрос, тебе Идея выводила на экран ответ - абракадабру. Почему так? Первый слой абстракции биты. Второй слой абстракции байты. Дальше уже идут чары. Я не сильно вникал в эту тему, лично я опираюсь на жизненный опыт открывания файлов (jpeg, word, mp3) в блокноте чтобы понять, что когда все превращается в байты, это уже не имеет ничего общего с высокими уровнями абстракций данных (фото, видео итд), поскольку байт это 8 бит. Чар (примитив) это 16 бит. Чарактер (объект) \то 32 бита. На определенном этапе происходит маппинг в чарактерс при помощи чарсета, цепочки байтов - и тд. Интересно погугли. Но суть в том, что если в текстовом файлике будут китайские иероглифы, которых условно пусть будет 20 000, а в байте 256 вариантов значений, то как ты понимаешь, что может еще быть выведено...обрезанные спецсимволы, которые получились из-за того, что чары разложили на составные части. Почитай на эту тему, это нужно запомнить и прояснить.

Александр

Уровень 20

3 августа 2019, 21:15

подскажите, пожалуйста, а как тогда корректно обрабатывать такие ситуации? Что сделать чтобы считать текст и корректно вывести его на экран в правильной кодировке?

Justinian Judge в Mega City One

Master

3 августа 2019, 21:27

Правильная кодировка штука относительная. Для начала нужно понимать базовые вещи, что такое текст. Если мы выводим в байтах это одно. Если нам нужен осмысленный текст, нам нужно читать методами readLine(), nextLine() и тд, то есть методами, которые под капотом сами группируют строки, разбираются с кодировкой и тд. Если же мы читаем побайтово, то только для английского текста будет совпадать и стандартной раскладки ASCII. Привожу свой комментарий на эту тему с другого вопроса,.

Justinian Judge в Mega City One

Master

3 августа 2019, 21:27

Отчего методы read возвращает байты в типе int? Сам тип byte в Java только signed. И его диапазон -128..127 Что абсолютно логично, есть 256 комбинаций для строки в 8 разрядов и 1,0 в качестве значений. В то же время, методы read() возвращаеют unsigned значение byte, то есть в диапазоне от 0 до 255 через примитив int. Хороший вопрос кстати отчего так, почему при работе с файлами мы работаем именно с unsigned значениями, и это уже вопрос связанный больше с компьютерными науками в целом - форматы файлов, ASCII, ANSI, UTF-8 и тд, почему в ряде случаев работают с signed bytes, в ряде случаев с unsigned и тд. Мое предположение, для построения таблиц кодировок, наверное удобней работать без отрицательных значений. 48 индекс таблицы отвечает за 0 к примеру это понятно. А не -23 это точка, а +57 это запятая. Например в файле есть такая строка:

2ЯZ船

Для нас это цифра '2', русская буква 'Я', английская буква 'Z', и иероглиф, обозначающий любимый вид транспорта Игоря Саруханова. Если мы будем читать побайтово (при помощи метода read(), и выведем вот так:

int currentByte = fileInputStream.read();
System.out.println(currentByte);

получим 50 208 175 90 232 136 185 Но это у нас unsigned byte - тип, которого нет в джава, но можно получить вот так (при расширении до инта), или при помощи метода Byte.toUnsignedInt(byte). А вот если мы будем печатать именно байты, то есть как оно записано в файле, это будет так (System,out.println((byte) currentByte):

50 -48 -81 90 -24 -120 -71

Что можно заметить. 50 это у нас число 2 (по табличке ASCII) (поскольку 127 это пограничное значение для байта, то диапазон 0..127 и интовое представление будет совпадать по знаку). -48, -81 или 208 / 275 это у нас буква Я, кодируется двумя байтами.

Justinian Judge в Mega City One

Master

3 августа 2019, 21:27

90 это у нас Z (по табличке ASCII). Хотя файл (у меня) в формате UTF-8, но этот формат предусматривает совместимость с ASCII и резервирует соответствующий диапазон (0..127). 232/136/185 или -24/-120/-71 это у нас собственно китайский иероглиф, кодируется тремя байтами. Это то что мы считываем побайтово, как видим отличается signed/unsigned, но при этом двоичное представление будет одинаково. Итого: Для нас файл:

2ЯZ船

В байтах (unsigned) как записано:

50 -48 -81 90 -24 -120 -71

А сам файл записан как последовательность единичек и нулей: 00110010 - число 2 (по первому нулю видно что положительное значение) 11010000 10101111 - эти два байта для буквы Я (видно по первой единичке что они отрицательные) 01011010 - это буква Z 11101000 10001000 10111001 - эти три байта для иероглифа. Старший бит - единичка, значит отрицательное. Вот три уровня абстракции текстовой информации. Но есть еще один - char, который в себе содержит несколько байт и выдает уже конкретный символ соответственно кодировке.

Justinian Judge в Mega City One

Master

3 августа 2019, 21:27

Ну и для полноты картины, Как получают unsigned байт при помощи инта, и почему диапазон у байта -128..127 Для буквы Я у нас два байта, -48, -81 как получаются 208/275? Для интеджер и байта будут совпадать диапазон 0..127. 00000000_00000000_00000000_00000000 -> 0 в типе nteger 00000000 -> 0 в типе байт 00000000_00000000_00000000_00000001 -> 1 в типе integer 00000001 -> 1 в типе байт И тд. Далее доходим до пограничного для байт значения: 00000000_00000000_00000000_01111111 -> 127 в типе integer 01111111 -> 127 в типе байт Как видим - ничто не мешает интеджер увеличиваться дальше, пустых ноликов еще ого-го. Но для байта уже некуда расширяться, следующее изменение - и старший бит, который отвечает за знак становится 1, и число превращается в отрицательное. 00000000_00000000_00000000_10000000 -> 128 в типе integer 10000000 -> -128 в типе байт. Фактически байт увеличился на единичку, но поскольку задействовался старший бит (первый разряд стал равен единице), прозошло инвертирование. А дальше все то же увеличение. 10000001 -> -127 в типе байт. 10000010 -> -126 в типе байт. Но если рассматривать это как интеджер - то есть добавить к 8 байтам еще 24 (произвести расширение байта до инта). 00000000_00000000_00000000 + 10000010 То конечно у нас будут просто позитивные значения. Ведь старший бит, отвечающий за разряд - равен нулю. Так и получается, что если расширить прочитанные байты , то вместо -128..127 диапазона, получится 0..255. Тоже относится и к инту:

int max = Integer.MAX_VALUE;
System.out.println((max+1) == Integer.MIN_VALUE);

выдаст TRUE.

Александр

Уровень 20

4 августа 2019, 08:08

Спасибо большое, очень доступно излагаете, почитал еще в нескольких других источниках и кажется начал понимать что к чему, спасибо