名人館在李登輝總統的老家源興居前方，是2004年10月才開幕的新景點，名人館裡，展示三芝四位名人的生平貢獻，有一代名醫杜聰明、台灣首位國際作曲家江文也、第一位直選總統李登輝、民進黨政治先鋒盧修一，藉著他們的生平故事，彰顯了三芝地靈人傑出名人的好風光。

名人館附屬的遊客中心，若是遊客需要指點，這裡也有很好的服務。除了名人事績以外，館裡也展覽三芝鄉的開拓史，從展場的安排與介紹，遊客清楚的了解到三芝鄉從清乾隆時期到現代的歷史，對三芝旅遊而言，有很好的導覽效果。