初めは小田原にあった寺院です。 天正年間（1573～1591年）に再興され、近世初頭に現在地に移りました。日向佐土原藩の船が、将軍家に献上するための御用材を積んで江戸に向かう途中で暴風雨に遭い、やむを得ず積荷の一部を捨てて下田港に入港しましたが、御用材を捨てた責任をとり16人が自害しました。
当初は小田原にあったともいわれ、暘谷山因善寺と号した真言宗寺院でしたが、天正十年（1590年）寂用英順が相州香雲寺の実堂宗梅を請じて開山とし、曹洞宗に改め改号と伝わります。（異説あり）
将軍綱吉公代の貞享五年（1688年）3月、日向国佐土原藩主が将軍家御用材を御手船に積み江戸へ送る途中、遠州灘で嵐に遭い、やむなく積荷の一部を海に捨て難を逃れました。しかし乗組員16名は御用材を海に捨てた責任をとって全員が切腹し、大安寺に埋葬されました。
船に残されていた材木は、大安寺の本堂の柱としていまも残っているそうです。乗組員16名の墓は「薩摩十六烈士の墓」として下田市の文化財に指定されています。
大安寺は「マイマイ通り」に向かって長く参道を延ばしています。山門は切妻屋根銅板葺の薬医門で、山号扁額を掲げています。山内は思いのほか広がりがあります。
山門正面が本堂、その左手に聖観世音菩薩像、地蔵尊、鐘楼、その奥に切妻造のお堂があります。本堂は入母屋造本瓦葺の風格ある建物で向拝柱はありません。向拝見上げに寺号扁額。本堂前は多重塔、狛犬、石灯籠、摩尼車、天水鉢と賑やかです。
| 山号 | 乳峰山（にゅうほうざん） |
| 寺院名 | 大安寺（だいあんじ） |
| 宗派 | 曹洞宗 |
| 本尊 | 釈迦如来 |
| 真言 | のうまくさんまんだ ぼだなん ばく |
| 住所 | 下田市四丁目2-1 |