El origen del Palacio de Viana fue la casa señorial de los Ramírez de Madrid, mandada construir en 1499 por Beatriz Galindo "La Latina" y su esposo, Francisco Ramírez, para su residencia junto al Convento de la Latina, fundado por ellos. El edificio presenta una planta rectangular con dos patios, torre en la esquina y una sola planta. Durante los siglos XVII y XVIII sufrió varias transformaciones, según iba pasando a los distintos miembros de la familia Ramírez de Saavedra, siendo la más importante la encargada en 1843 a Francisco Javier de Mariategui. En ese momento se modificó la fachada y se amplió la segunda planta, desapareciendo el torreón de la esquina que tanto lo caracterizó. Al derribarse el antiguo Convento de la Latina, se amplió el jardín con parte de la huerta del convento. En 1939 fue alquilado por el Ministerio de Asuntos Exteriores para vivienda oficial del Ministro y en 1955 fue comprado por el Estado.