Не могу понять, почему не принимает

а если у тебя несколько байт встречается с одним и тем же максимальным количеством раз. выводить на экран ничего не надо вот это

for(Integer i : set){
    for(int ii = 0; ii < list.size(); ii++){
        if(i.equals(list.get(ii))){
            count++;
            if(ii == list.size()-1){
                listOfbytes.add(i);
                listOfCounts.add(count);
                count = 0;
            }
        }
    }
}

можно переписать полаконичнее

for(Integer i : set){
    listOfbytes.add(i);
    listOfCounts.add(Collections.frequency(list,i));
}