Как работает конструкция !(key = reader.readLine()).equals("")

Если ещё точнее, то результат работы equals() в данном примере никуда не присваивается. К примеру, результат можно было бы сохранить в какую-то переменную:

boolean result = !(key = reader.readLine()).equals("");

Но твой пример из конструкции while, значит он и забирает себе результат работы equals()

Это скорее всего так, но звучит не логично и непонятно. То есть выполняется сначала метод readLine(), затем присваивание, после equals(). Как будто логичнее, если выполнится сначала методы readLine(), equals(), а после уже присваивание. Присваивание в скобках единственный оператор, то есть его приоритет самый высокий и он должен выполнится после выполнения методов справа от присваивания Есть какая-нибудь статья на эту тему?

!(key = reader.readLine()).equals("");

Вся суть в скобках. Эти скобки выставляют приоритет операций. В данной ситуации они говорят, что сначала выполняется действие, заключенное в них. Далее, к результату этого действия будет применен метод .equals(). Вот если бы этих скобок не было, тогда да, в переменную key программа попыталась бы назначить значение типа boolean. Пример: