幾度かの火災のため記録が焼失してしまっていて、詳細な沿革は不明となっています。 かつては弘法大師修行の霊蹟で大師山とも言われる真言宗の大刹でした。 戦乱で焼失した後、1525（大永5）年に七堂伽藍を再建、その際に曹洞宗へと改宗しました。1593（文禄2）年に山火事で類焼しましたが、1596（慶長元）年に再建されています。
幾度の火災で記録を失い沿革は不明ですが、かつては弘法大師修行の霊蹟で大師山（永禅庵）と号し、末寺十数箇寺を擁した真言宗の大刹と伝わります。（のちに少林山と改号）
弘法大師が御巡錫の折に秘法を修された曹洞院は、もとは下田市大賀茂林山にありました。弘法大師が修法中に裏山で錫を立てられると、清列な水が湧き出たのでこの水を硯にとられて経を浄書されたので「弘法大師の御墨水」「金剛浄水」とも呼ばれています。
天文元年（1532年）、中村民部少輔宗賢は相州・海沢、新井の二城に拠って三浦道寸と戦いましたが破れ、大賀茂の曹洞院に逃れてこれを再興して開基となりました。
宗賢遺物の太刀、鎗、兜、鎧、轡などが曹洞院に所蔵されているそうです。なお「三浦道寸」は、ふつう相模国守護の三浦義同（1451-1516年）を指すようです。
中村宗賢による再建は大永五年（1525年）で、このときに香雲寺の能庵宗為を請して曹洞宗へ改宗、慶長元年（1596年）、開基宗賢の嫡子・兵部宗尊が堂宇を再建という説もあります。
山門は切妻屋根の四脚門で、以前は茅葺でしたが現在は桟瓦葺となっています。
延宝九年（1681年）建立の棟札が残ります。江戸時代初期の様式を残すとされ、彫刻は左甚五郎作とも伝わります。
天保十二年（1841年）火災により堂字什宝を失いましたが、山門は類焼を免れ往時の面影をとどめるといいます。山門に立ち手を打つと、裏山より鶯の鳴き声に似た応えがあるので「鶯門」とも呼ばれます。山門には山号扁額が掲げられ、その手前には札所標があります。
数段の階段をのぼった先に、花緑青色の鮮やかな屋根が葺かれた本堂。入母屋造銅板葺で向拝柱はありませんが、向拝屋根が付設されています。
| 山号 | 少林山（しょうりんざん） |
| 寺院名 | 曹洞院（そうとういん） |
| 宗派 | 曹洞宗 |
| 本尊 | 大日如来 |
| 真言 | おん あびらうんけん ばざら だとばん |
| 住所 | 下田市大賀茂89 |