काशी खण्ड में वर्णित कथा के अनुसार पूर्वकाल में यमघात पर यमराज ने ‘यमेश्वर’ शिवलिंग तथा ‘यमादित्य’ नामक सूर्यदेव की प्रतिमा स्थापित कर आराधना की थी। मान्यता अनुसार यमतीर्थ में स्नान करने के उपरांत यमादित्य के दर्शन-पूजन से श्रद्धालुओं को यम के दर्शन नहीं होते तथा श्रद्धालु अशेष पापों से निर्मुक्त हो जाते हैं। साथ ही यमतीर्थ में मंगलवार और भरणी नक्षत्रयुक्त चतुर्दशी तिथि पर पिण्डदान करके मनुष्य पितरों के ऋण से मुक्त हो सकते हैं।
श्रद्धालुओं के दर्शन-पूजन हेतु मंदिर दिन भर खुला रहता है।
वाराणसी में यमादित्य सीके-7/135, संकटा घाट की ओर जाने वाली सीढ़ीयों पर स्थित है। श्रद्धालुओं द्वारा दर्शन/यात्रा हेतु स्थानीय परिवहन अत्यंत सुलभ है।