然而他因出名，遭到校園霸凌，數度休學染上毒癮。1996年至98年間，因毒品、槍砲、竊盜等案被捕數次，也因此被取消金馬獎入圍資格。2001年7月被控與多人綁架勒贖，檢察官依懲治盜匪條例一度求處死刑，最終判處15年有期待刑。
由於他在獄中表現良好，部分年限減免或假釋，2012年出獄，出獄後他透過在獄中學習書法，修身養性，還積極投入公益、教學活動。除此之外，他也逐漸重返影視領域，2013年在微電影《人生》中飾演書法老師，接拍萬仁執導的《車拼》，2018年執導幫派電影《角頭2：王者再起》，收獲新台幣1.27億元票房，成為浪子回頭的典範。
感情生活上，顏正國曾有兩段婚姻，1999年與前妻生有一子，2012年出獄後再婚，生有一女二子。他學習書法30多年寫了一手好字，曾受訪時透露女兒也很感興趣，不過他不教自已的孩子，希望他們可以另找老師學習，以維持融洽的親子關係。
