أصبح الحلفاء منزعجين بما فيه الكفاية بسبب المؤامرات الألمانية التي تدور حول الدوق لدرجة أن الرئيس روزفلت أمر بمراقبة سرية للدوق والدوقة عندما زارا بالم بيتش ، فلوريدا ، في أبريل 1941.