تزوج كاسترو من فيلما إسبين ، وهي طالبة هندسة كيميائية سابقة في معهد ماساتشوستس للتكنولوجيا وابنة محامٍ ثري لشركة باكاردي للمشروبات الكحولية ، في 26 يناير 1959.