Возвращаемая переменная должна быть double. С эти все понятно. НО, почему в первом случае программа не ругается и выводит значение 9.0? То есть входную переменную int, программа переводит в double. 1-ый случай 
public class Solution {
    public static double addTenPercent(int i) {
        //напишите тут ваш код
    //double j = i*1.1;
    return i;
    }

    public static void main(String[] args) {
        System.out.println(addTenPercent(9));
    }
}
А во втором варианте выводит ошибку. Если я с входной переменной совершаю действия. 
public class Solution {
    public static double addTenPercent(int i) {
        //напишите тут ваш код
    i = i*1.1;
    return i;
    }

    public static void main(String[] args) {
        System.out.println(addTenPercent(9));
    }
}