天正年間（1573～1592年）以前は真言宗の小さな庵でした。 1848（嘉永元）年3月に現在地に堂宇が完成し、山号を瑞龍山としました。
1856（安政3）年にタウゼント・ハリスが下田に入港した折、本邦初のアメリカ総領事館が置かれた寺院で、国の文化財に指定されています。
もとは真言宗の草庵でしたが、天正のはじめ（1580年代）開山一嶺俊栄大和尚の来錫により曹洞宗に改宗されました。元禄十二年（1699年）四世心翁三悦和尚のとき、上の山に改築落慶して海上山玉泉禅寺と号し、嘉永元年（1848年）、遺弟二十世翠岩眉毛和尚が現在地に伽藍を整備、山号を瑞龍山に改めたといいます。
石段のうえに構える山門は切妻屋根桟瓦葺。大棟と掛瓦の意匠が複雑で存在感があります。本堂は間口（桁行）七間半、奥行き（梁間）七間、総欅造りの寄棟造で銅板葺、軒先にかけてやわらかな照りをもつ上品な造りです。向拝柱はなく、扁額もかかげていません。米国総領事館は本堂に設置されたため、御本尊等の仏像は運び出され、現在ハリスの石碑が建っているあたりに移されていたそうです。
| 山号 | 瑞龍山（ずいりゅうさん） |
| 寺院名 | 玉泉寺（ぎょくせんじ） |
| 宗派 | 曹洞宗 |
| 本尊 | 釈迦如来 |
| 真言 | のうまくさんまんだ ぼだなん ばく |
| 住所 | 下田市柿崎31-6 |