В данном случае комический эффект создается за счет того, что первое и основное значение английского слова «mistress» — «хозяйка, госпожа», и лишь одно из последующих — «любовница». Вилли имеет в виду, что обычно так черные называют белых, а не наоборот.
