王世堅表示，這一點是民進黨最困難的決定，因為挑戰已在眼前，但如果以大智慧來看，以整體國家利益為重，他希望這次823罷免案，寧願得罪罷團的好朋友們，也請賴清德能以國家領導人高度站出來，要罷團領銜人撤回此案。
王世堅解釋，這不表示罷團或民進黨認輸，而是台灣不應再繼續撕裂，這7、8個月來社會陷入對立，當朝野還在爭吵不休時，中共正在整軍經武、不斷壯大，隨時準備攻打台灣，台灣怎麼還有那片刻的悠閒投票、罷免？他認為社會不再撕裂，是民進黨反省的第一步，但是這一步是最困難的。
對於媒體人爆料說柯建銘申請註冊「大罷免大成宮」商標，王世堅說明，自己全然不了解為什麼要註冊，但是柯建銘如果註冊作為永久留念的商標，這是他的權利，每個人看法不同，但他也希望當社會已經給出答案的時候，那他就留著自己做紀念就好，「就像這包衛生紙，我希望他不只是留著做紀念，要真的好好擦擦屁股」。