Ну так отношение-то, оно ведь тоже складывается из "отношений" к каждой ситуации с этим человеком и отношения к каким-то его качествам характера и т.п. То есть, если в целом я к человеку отношусь достаточно нейтрально, то, в принципе, из-за единичной негативной ситуации с ним не меняю свое отношение на неприязненное. Неприязнь может появиться "по накопительной", когда в различных ситуациях человек показал себя с плохой для меня стороны без особой на то причины.
