海金剛展望所へ向かう手前、駐車場のすぐ近くにあるのが日米修交記念館の建物です。赤茶けた外観を持っているちょっと変わった感じの建物ですが、ここは初めて江戸時代に黒船来航の舞台ともなっている場所です。ペリーが浦賀港に寄港するよりも62年前の1791年にすでにここにレディ・ワシントン号とグレイス号という2隻のアメリカ商船がやってきていたという事実を後世に残すために建築されたものだそうです。建築は1975年(昭和50年)です。館内には上陸した商船の模型や歴史的文献、当時の資料などが展示されています。入場料が250円かかります。開館時間は午前9時から午後5時までです。