Я могу ошибаться, но обычно начальники таким жестом хотят показать как они вас ценят, любят, уважают. И любые отмазки воспринимают как "девочка скромничает". Чем больше вы будете придумывать поводов, чтобы не переезжать, тем больше сначала будет расти уважение (ну надо же какая скромница), а потом раздражения (цену что ли себе набивает). Проблемы для таких нужны, чтобы их решать. Вы будете говорить "стол стоит неудобно" - он его передвинет. "Из окна дует" - он поставит другое. "Сотрудники против" - "кто против, того уволим". Он хочет поделиться благостью и его не остановить в этом добром порыве
Я бы сказала: "Я Вам очень благодарна за предложение, но сейчас у меня очень удобное месторасположение, оно меня устраивает по всем параметрам, я чувствую себя в "своей тарелке" и честно говоря, мне бы не хотелось его менять. Боюсь, что на другом месте я буду себя чувствовать неуверенно, неудобно, некомфортно (ненужное зачеркнуть), что, конечно, отразится на моей работе".