いずれの場合もアプリケーションの削除とは別にV2Cの保存用ディレクトリを削除する必要があります。
JRE同梱インストーラでインストールした場合やJava Web Startでアプリケーションを作成している場合はアンインストーラを使用してください。（レジストリ情報を削除するため。）
ランチャーまたはJava Web Startでアプリケーション化している場合はそのアプリケーションを削除してください。
JRE同梱インストーラでインストールした場合とランチャーを使用している場合はランチャーを含むディレクトリを削除してください。