《사기(史記)》〈자객열전(刺客列傳)〉에 나오는 말이다. 위(衛)나라 사람인 형가(荊軻)는 성격이 침착하고 생각이 깊으며, 문학과 무예에 능하였고, 애주가였다. 그는 정치에 관심이 많아 청운을 품고 위나라의 원군(元君)에게 국정에 대한 자신의 포부와 건의를 피력하였지만 받아들여지지 않자 연(燕)나라 및 여러 나라를 떠돌아 다니며 현인과 호걸과 사귀기를 즐겼다.
그 가운데 한 사람이 연나라에서 사귄, 비파(琵琶)의 명수인 고점리(高漸離)인데 이 두 사람은 호흡이 잘 맞아 금방 친한 사이가 되었다. 그래서 두 사람이 만나 술판을 일단 벌여 취기가 돌면, 고점리는 비파를 켜고, 형가는 이에 맞추어 춤을 추며 고성 방가하였다. 그러다가 신세가 처량함을 서로 느껴 감정이 복받치면 둘이 얼싸안고 울기도 웃기도 하였다. 이때 이 모습은 마치 곁에 아무도 없는 것처럼[傍若無人] 보였다.
원래 방약무인은 아무 거리낌없이 당당한 태도를 말하였는데 변해서 천방지축으로 날뛰고, 무례하거나 교만한 태도를 표현할 때 인용된다. 이후 진(秦)나라의 정(政:훗날 시황제)에게 원한을 품고 있던 연나라의 태자 단(丹)이 형가의 재주를 높이 평가하여 그에게 진시황제 암살을 부탁하였다. 형가는 단의 부탁으로 진시황제 암살을 기도하였지만 진시황제의 관복만 뚫었을 뿐 암살은 실패로 돌아갔다.
결국 그는 진시황제에게 죽임을 당하였다. 암살하기 위해 진나라로 떠나기 전 그가 읊은 노래 “바람은 쓸쓸하고 역수는 찬데 장사 한 번 가면 다시 돌아오지 않는다[風蕭蕭兮易水寒 壯士一去不還]”라는 구절은 유명하다. 이 노래를 들은 이는 모두 눈을 부라리고 머리카락이 하늘로 솟았다고 한다. 비슷한 말로 안하무인(眼下無人), 아무 거리낌 없이 제멋대로 행동한다는 뜻의 방벽사치가 있다.