據了解，稅務局因海砂屋及建築結構問題，早已被列為危險建築，不時還會有石塊掉落，員工上班之餘，不只要面帶微笑服務民眾，內心還要祈禱神明保佑，就怕哪一日成為「天選之人」。
稅務局遷建早從陳光復上一任期就開始談論，當初亦有提出規畫方案，不過諸多爭議也讓計畫胎死腹中，而今十年過去，好不容易同意撥款遷移，讓員工欣喜不已，但一年過去，原傳出2000萬預算，剩下1200萬，內部規劃也大受影響，甚至國軍英雄館也提出多項限制，包括內部隔間不能打通、套房廁所不能拆掉、封閉、地下室不同意使用、國軍也自行保留空間等，大幅限制稅務局空間規劃運用。
本次稅務局1200萬預算審查，陳海山質疑，稅務局原先草擬費用與提出預算有相當大差距，他要官員應該先把事情做好，而不只是考量預算節約，就把該有的設備全都省略，反倒應該遷移新空間，該讓公務員有舒適環境來服務民眾。
而傳聞稅務局提出預算遭主計處大量刪減，陳海山詢問主計處是否為真；處長劉梅滿澄清，主計處尊重預算使用單位需求，只提出樽節使用要求，並未刪減預算。
陳海山說，稅務局規劃要遷移國軍英雄館，他也去側面了解該場所空間配置，發現裡面廁所一層樓只有一間，讓他笑稱這是「宅急便」，以後一層樓幾十名員工、還有外來的民眾洽公要想上廁所，都必須先憋著排隊。他認為，不管是誰要剋扣設備，但不能連基本廁所問題都不解決，那員工是要上班服務民眾，還是大家一起排隊等廁所。另在內部空間使用上，傳聞國軍不給改造隔間，原本做為旅館空間至多就是7坪，稅務局不能打通空間，就更該做好內部設備調整。
陳海山強調，當初要求稅務局多評估場地，如果租國軍英雄館連個廁所都不能新增，那租這間場館有何作用；同時，他也認為，縱使縣府內部不願意給更多預算，稅務局也該有擔當，去拜託立委，向中央財政部爭取預算。
最後，陳海山提議擱置稅務局1200萬預算，要求稅務局先提送內部規劃，待審查符合基本規畫才能動支預算。
