تاریخ صرافی به زمانهای قدیم باز می‌گردد. در کتاب مقدس به صرافی اشاره شده است. در زمان معبد دوم اورشلیم در حیات معبد تعداد زیادی افراد به شغل صرافی اشتغال داشتند. این افراد پولهای رومی و یونانی که دارای عکس خدایان آنها بود با پول یهودی که تنها پول قابل استفاده در معبد بود تعویض می‌کردند. عیسی مسیح در اناجیل جهارگانه با این صرافان به شدت برخورد می‌کند و آنان را کسانی می‌داند که خانه خدا را تبدیل به لانه دزدان کرده‌اند.
در زمانهای قرون وسطی در اروپا بیشتر شهرها دارای واحد پولی خود بودند که دارای نقش حاکم آن شهر بود. وقتی یک غریبه وارد شهر می‌شد مجبور بود پول همراه خود را با پول آن شهر تعویض کند. صرافان در این زمان این پول خارجی را محک می‌زدند و آن را با پول محلی عوض می‌کردند. بیشتر انتقالهای وجه بزرگ با سکه انجام نمی‌شد و تنها به وسیله صراف از حساب یک نفر به حساب فرد دیگر منتقل می‌شد.

با گسترش کار صرافها آنها به وام دادن نیز پرداختند. شوالیه‌های تمپلار به زائران اورشلیم وام می‌دادند. صرافی در کانادا

در ایران نیز به دلیل اینکه در دین اسلام سودگرفتن بر روی پول ممنوع محسوب می‌شد این تجارت به صورت کامل در اختیار یهودیان بود. در قرن نوزدهم تقریباً تمامی یهودیان شیراز به صرافی اشتغال داشتند. صرافی در مالزی

صرافی اعتماد در ایران به رغم تکامل خود دراواخر قرن نوزدهم، با رقابت شدید بانک استقراضی روس و بانک شاهنشاهی ایران، که علاوه بر آشنایی با فنون جدید بانکداری با حمایت دولت‌های روسیه، انگلستان و ایران نیز برخوردار بودند روبرو شد. در سالهای بعد بسیاری از صرافان به ورشکستگی کشانده شدند و دیگر هیچگاه نتوانستند نقش پیشین خود را باز یابند. طی چند دههٔ اخیر صرافان بیشتر در زمینه داد و ستد مسکوکات طلا و نقره و ارزهای خارجی، و به طور محدود در زمینه اعطای وام‌های کوچک، فعالیت داشته‌اند.