Логика решения простая. Считываем файл, каждый байт добавляем в арейлист. Каждый уникальный байт добавляем множество сет. Множество сет переделываем в массив, по сути в нем только уникальные байты из считанного файла. В цикле проверяем как часто встречается каждый байт, и находим наибольшую частоту встречаемости. В следующем цикле проверяем частоту встречаемости каждого байта, и если она равна максимальной то такой байт добавляем в результирующий массив сет. Результат выводим все элементы результирующего массива сет. Где ошибка? не пойму