Web ブラウザ・アプリケーションを Windows 複数層 Web サーバー構成で使用できますか?

はい、できます。その際、リバース・プロキシを利用することが推奨されている方法です。