執政的民進黨在726大罷免首波投票失利後，黨內外皆傳出內閣改組聲浪，據了解，內閣可能只會進行局部改組，行政院長卓榮泰留任可能性高，至少有3個主要部會將進行調整，包括頻失言的郭智輝、衛福部長邱泰源及數發部長黃彥男都被點名；其中，郭智輝下台呼聲最高，且傳出黨內有人點名台電董事長曾文生接任經濟部長。
對此，郭智輝今上午赴立院就「協助中小企業災後復原辦理情況」進行專案報告並備質詢。他在會前受訪時回應，「內閣改組與否對我來說沒什麼特別關係，在位的一天，就是努力工作，全力以赴完成任務」。
針對傳出卓榮泰曾在餐敘面對與會者數落郭智輝時僅笑而不語，被解讀是「卓也受不了郭」，郭智輝回應，完全沒有這件事，自己接任官職以來，還沒有和卓榮泰一起在外面宴會的機會，「外界說我和院長同行與人一起吃飯，這是沒有的事情」。
至於台北市議員侯漢廷日前指控在對等關稅公告當天下午於飯店主持「當我們快樂在一起」餐宴，更於現場停留3個小時。郭智輝強調，自己已對此提告，對這種不實的指控、誇大的污衊行為，以及不斷攻擊內閣成員，「我不能忍受所以去提告」。
