Rody přicházely a odcházely, ale zámek byl vždy sídlem těch, kteří měli v Mattighofenu rozhodující slovo.
V roce 1551 byl zámek přestavěn nebo dokonce nově vystavěn na objednávku Christopha von Ortenburg. Zřejmě měl na křídlech mohutné rohové věže, které se existovaly ještě kolem roku 1700. V té době vedl do zámku ještě i padací most přes hluboký příkop. Ze 2. poloviny 16. stol. pochází také zazděná zárubeň dveří z červeného mramoru, vedoucí původně do vnitřního podkroví, kterou dnes můžete vidět na pravé straně u vjezdu do zámku. Je na ní nápis "Joachim Grave zv Ortenburg etc. Vrsvla Gräfin zv Ortenburg geporene goggerin Freiin zv Khirchperg vnd Weissenhorn sein Gemachel MDLI" a na renesančním tympanonu jsou erby rodů Ortenburgů a Fuggerů.
O informace požádejte na výše uvedeném kontaktu.