733（天平5）年にこの地を訪れた行基が「寺を建てるのに良い所である」と言ったことから、人々がその意に従い、程なくして寺が建てられたと伝えられています。 本尊の薬師如来も行基の作で、同年10月20日に入仏点眼し安置されたといいます。
現地掲示によると、米山薬師は天平五年（733年）、行基菩薩が当地に留錫されたとき「此の地を観ずるに、東方医王の浄刹に似て仏を作り寺を建つるに佳なるべし」とお告げになり、茶粉と苦芋（トコロ）を練り合わせ、斎戒沐浴、四十八日の長き行の末に薬師如来像を造立されました。村人たちは堂宇を建ててこの尊像を安置し、以降篤く信仰しました。
その御利益は「僅かに御名を唱ふる輩は万事諸願に満足し、故に定業必死の人も此に来れば、則ち快癒を得る」といわれ、ことに眼病疾病に霊験あらたかで越後の薬師寺（米山薬師）、伊予の薬師寺（山田薬師）とともに「日本三薬師」に数えられ広く信仰を集めます。
国道に面して札所標、石灯籠。石段を少しくのぼると拝堂です。拝堂は寄棟造瓦葺で、向拝を付設しています。
拝堂の向かって右裏手から本堂（奥の院）への石段参道がはじまります。参道登り口には石仏が安置され、霊場らしい厳かな空気が感じます。
| 山号 | 砥石山（といしざん） |
| 寺院名 | 米山寺（よねやまじ） |
| 宗派 | 無属（宗派に属さない） |
| 本尊 | 薬師如来 |
| 真言 | おん ころころ せんだり まとうぎ そわか |
| 住所 | 下田市箕作 |