В чем смысл строки "s += "" + i"?

Вероятно, таким образом авторы задачи хотели обратить внимание на снижение быстродействия кода при неосторожном использовании конкатенации (сложения строк). Приведённая Вами строка кода выполняется в цикле 1000 раз, что и даёт задержку, имитирующую время бега лошади. В данном случае время выполнения цикла будет небольшим: 20-30 мс. Но при увеличении "постоянной" конкатенации (т. е. пустой строки) будет увеличиваться и задержка. Так, при длине "постоянной" части в 20 символов время выполнения цикла возрастёт в среднем до 100 мс, а при длине в 100 символов может достигать полсекунды:

s += "aaaaaaaaaaaaaaaaaaaa" + i;    // около 100 мс

s += "aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa" + i;    // до 500 мс

Для сравнения: использование StringBuilder-а для построения строки практически не сказывается на производительности цикла:

public void run() {
            String s = "";
            StringBuilder builder = new StringBuilder();

            long start = System.currentTimeMillis();
            for (int i = 0; i < 1001; i++) {   // Delay
//                s += "" + i;
                builder.append("aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa").append(i);
                if (i == 1000) {
                    s = " has finished the race!";
                    System.out.println(getName() + s);
                    isFinished = true;
                }
            }
            long end = System.currentTimeMillis();
            System.out.println(Thread.currentThread().getName() + " : " + (end - start));
}