چرتکه‌های چوبی که قرن‌ها پیش و حتی امروزه در بازارهای محلی کشورهایی چون چین و ایران استفاده می‌شدند به‌عنوان اولین ماشین‌حساب شناخته می‌شوند. البته اولین وسیله شمارش جهان همان چوب‌خط خودمان است ولی از چرتکه برای اعمال حسابی در 2400 سال پیش از میلاد مسیح در امپراتوری بابل استفاده می‌شد.

اولین ماشین‌های آنالوگ در دوران باستان برای محاسبات نجومی استفاده می‌شدند که از آن جمله می‌توان اسطرلاب (150-100 سال قبل از میلاد) را نام برد. دستگاه‌های مکانیکی دیگری نیز در زمان‌های قدیم به‌ این منظور ساخته شدند که بعضی از مهم‌ترین آن‌ها عبارتند از: کره هامن‌نما توسط ابوریحان بیرونی (1000 سال بعد از میلاد)، اسطرلاب‌های ساخته ابراهیم‌ بن یحیی الزرقالی (1015 بعد از میلاد)، برج ساعت نجومی توسط سو سانگ (1090 بعد از میلاد) و یک ساعت نجومی توسط بدیع‌الزمان جزری (1206 بعد از میلاد) که آن ‌را اولین کامپیوتر آنالوگ قابل برنامه‌ریزی می‌دانند.

در سال 1617 جان نپیر، ریاضی‌دان اسکاتلندی، وسیله‌ای ساده به‌نام استخوان‌های نپیر ساخت که از آن

برای ضرب و تقسیم اعداد استفاده می‌شد؛ این نام به این دلیل به دستگاه او داده شد که برای ساخت

مهره‌ها از استخوان یا عاج استفاده کرده بود. در سال 1622 شخصی به‌نام ویلیام اوترد اولین خط‌کش محاسبه (Slide Rule) را که 7 سال بعد توسط شاگردش هویدا شد اختراع کرد. ویلهلم شیکارد در سال 1623 دستگاهی به‌نام «ساعت محاسباتی» ساخت که می‌توان آن را اولین ماشین‌حساب مکانیکی نامید. بیست سال بعد نیز پاسکال وسیله خود به‌نام «پاسکالین» برای محاسبه مالیات در فرانسه و همچنین لایبنیتز که فیلسوفی آلمانی بود نیز یک ماشین محاسبه ساخت.

پیشرفت‌های مهم بعدی در قرن نوزدهم انجام شد. در سال 1822 چارلز بابیج که فیلسوف و ریاضی‌دانی انگلیسی بود ماشین تفاضلی خود را ارائه داد. این ماشین قادر بود 7 عدد مختلف تا 31 رقم اعشار را نگه داشته و روی آن‌ها محاسبه انجام دهد. او دو طرح بسیار پیشرفته‌تر هم برای توسعه این دستگاه و ساخت یک کامپیوتر قابل برنامه‌ریزی به‌نام موتور تجزیه و تحلیل‌ ارائه کرد که البته در زمان او هیچ‌کدام به‌طور کامل تکمیل نشد ولی بعدها جرج شوتز با تکمیل طراحی‌های او ماشینی به اندازه یک پیانو برای ایجاد جدول‌های لگاریتم ساخت. در. ای. فلت آمریکایی دستگاه «کامپتومتر» را در 1884 اختراع کرد که اولین نمونه موفق ماشین‌حساب کلید‌دار محسوب می‌شود.

ماشین‌حسابی به‌نام «میلیونر» نیز که اجازه عمل ضرب مستقیم در هر عددی را می‌داد، در اواخر این قرن به بازار عرضه شد. نیمه اول قرن بیستم شاهد توسعه تدریجی ماشین‌حساب‌های مکانیکی بود. ماشین 10 کلیده دالتون که در 1902 ارائه شد و بعدها توسط شرکت‌های بسیار زیادی تولید شد یکی از اولین نمونه‌های این قرن است. از ابتدای این قرن تا دهه 1960 ماشین‌حساب‌های مکانیکی بر بازار دستگاه‌های محاسباتی رو‌میزی تسلط پیدا کرده بودند. این دستگاه‌ها توسط موتور کار می‌کردند، از بخش‌های متحرک تشکیل شده بودند و نتایج توسط صفحه‌های شماره‌گر نشان داده می‌شدند.

در ضمن صفحه‌کلیدهای آن‌ها کامل و هر رقم دارای ستون مختص به‌ خود از اعداد 1 تا 9 بود و یک دکمه پاک‌کننده هم داشتند. اعمال جمع و تفریق به‌صورت مستقیم و ضرب و تقسیم توسط جمع و تفریق‌های متعدد انجام می‌شدند. فرایدن و مارچنت ماشین‌حساب‌هایی با دکمه جذر یا ریشه‌ دوم ساختند که مدل SKA نام داشت. در اواسط این قرن ماشین‌حساب بسیار کوچک «کورتا» که در دست جا می‌شد توسط کورت هرتزستارک در یک اردوگاه نازی‌ها ساخته شد که پیشرفتی بسیار مهم در مکانیسم ماشین‌حساب‌ها محسوب می‌شد. دستگاه‌هایی مشابه آن تا دهه 1970 و جایگزینی ماشین‌های الکترونیکی همچنان مورد استفاده بودند. اولیوتی نیز اولین شرکتی بود که ماشین‌هایی با چاپگر به بازار عرضه کرد. اولین کامپیوترهای بزرگ که از لوله‌های خلاء و سپس از ترانزیستور استفاده می‌کردند در اواخر دهه 1940 و دهه 1950 ساخته شدند.

قدم مهم دیگر ساخت ماشین‌حساب FX-7000G شرکت کاسیو به‌عنوان اولین نمونه گرافیکی در سال 1985 بود که باعث شد در دهه 1990 و اواخر قرن بیستم دیگر مرز میان کامپیوترهای جیبی و ماشین‌حساب‌های گرافیکی چندان مشخص نباشد.