ну для меня это сложный вопрос, я чаще изначально не начинаю общение.
но раз уж на то пошло, то лучше прямо сказать, неприятно будет в любом случае. а так он хотя бы не будет лелеять пустые надежды и теряться в догадках.
говори "нет", на вопрос "почему?" отвечай, что "не хочешь". окажи ему хотя бы такое уважение, не юли.