Aan het einde van de tuin ligt het koetshuis dat net als het hoofdhuis door Adriaan Dortsman is ontworpen. Het heeft een aparte ingang aan de Kerkstraat vanwaar de rijtuigen konden binnenrijden. Hoewel het koetshuis van oudsher verbonden is met het museum, was het tot 2009 nog in particulier bezit van de familie Van Loon; nu is het met het museum herenigd. Samen met de tuin en het grachtenhuis vormt het een uniek geheel dat nergens anders in Nederland in deze originele omvang te bezichtigen is.