本人の意思で年金特別徴収をやめることはできません。

地方税法の規定（地方税法第321条の7の2）において，公的年金に係る個人住民税については，年金から 「特別徴収の方法によって徴収するものとする」と定められているためです。