Мне вот что подумалось.
Если человека критикуют в какой-то области по какой-то конкретной теме и это воспринимается болезненно, а не принятия критики или пофигистичного отмахивания, значит есть чему цеплять внутри.
И тогда эта фраза имеет для человека ощутимое значение именно в критикуемой области. Как своеобразная защита. Я так по Физике могу отреагировать.
А так, в принципе, сказать ее можно в любом случае, имеет смысл внутреннее состояние, посыл, с которым эта фраза говорится. Слова лишь форма, не всегда отражающая смысл.
