Ведешь себя как обычно - считают своим парнем.
Ведешь себя как девушка - начинают ржать.
Я ничего не понимаю в этом механизме, поэтому в следующий раз просто подойду и скажу: "я флиртую. смирись".