Visual Studioのバージョンが古い、TransformXmlを使って切り替えたいがビルドエラーになってしまう、などの理由がある人向けです。あまり需要はないと思いますが、メモとして。
あらかじめRelease用、Debug用のapp.configを作っておき、csprojのPropertyGroupに以下のようにappConfigタグをそれぞれに追加します。それだけです。
<PropertyGroup Condition=" '$(Configuration)|$(Platform)' == 'Debug|AnyCPU' ">
<DebugSymbols>true</DebugSymbols>
<DebugType>full</DebugType>
<Optimize>false</Optimize>
<OutputPath>bin\Debug\</OutputPath>
<DefineConstants>DEBUG;TRACE</DefineConstants>
<ErrorReport>prompt</ErrorReport>
<WarningLevel>4</WarningLevel>
<appConfig>app.Debug.config</appConfig>
</PropertyGroup>
<PropertyGroup Condition=" '$(Configuration)|$(Platform)' == 'Release|AnyCPU' ">
<DebugType>pdbonly</DebugType>
<Optimize>true</Optimize>
<OutputPath>bin\Release\</OutputPath>
<DefineConstants>TRACE</DefineConstants>
<ErrorReport>prompt</ErrorReport>
<WarningLevel>4</WarningLevel>
<appConfig>app.Release.config</appConfig>
</PropertyGroup>