А вы как на эту фразу отреагировали?
Если кивнули, то он это понял как согласие и ждет вашего звонка. Если вы хотите, чтоб позвонил он, то так и скажите: "ты сейчас больще загружен, поэтому звони лучше сам, а я подстроюсь, если что." Если не уверены, хочет ли он гулять по парку, то хотя бы выскажите своё собственное желание (если уж спросить не решаетесь): "мне так хотелось бы поболтать с тобой обо всём-всём, мы так давно не виделись! Побродить вместе по парку, покормить голубей..." - и смотрите на реакцию.
Вы ведь никак не демонстрируете свою заинтересованность в неформальном общении - что ж вы от него-то хотите?
А вообще - снижайте значимость. А то так и до невроза недалеко.
