Ban đầu, khi chưa có những kí hiệu trên, người Hy Lạp cổ đại phải dùng đến lời và chữ số để miêu tả. Chẳng hạn: 2 cộng 3 bằng 5 hoặc 4 cộng 2 nhân 3. Ngày nay, khi học về hỗn số, ta biết khi viết thì hiểu là. Cách viết này được người Hy Lạp cổ đại và người Ấn Độ cổ đại sử dụng từ lâu. Cũng vậy, họ viết hai số cách nhau để biểu thị phép trừ . Nhà toán học người Trung Hoa Lý Thiện Lan đã dùng kí hiệu và T để chỉ phép cộng và phép trừ. Thế kỷ XV, L. Pasoli, một nhà toán học người Italia, đã dùng các kí hiệu chữ Latin là p (từ chữ plus) thay cho phép cộng và chữ m (từ chữ minus) thay cho phép trừ. Chẳng hạn 3p2 và 3m2 hiểu là 3 cộng 2 và 3 trừ 2. Đến năm 1630, sau một thời gian dài được nhà toán học người Pháp F. Viète (1540-1603) ra sức phổ cập, hai kí hiệu + và - mới được mọi người công nhận rộng rãi. Có lẽ các nhà buôn ở châu Âu thời trung cổ là những người đầu tiên sử dụng hai kí hiệu này để ghi trên hàng hóa của mình. Họ viết như thế có nghĩa là trọng lượng hơi thừa và trọng lượng hơi thiếu của kiện hàng được đánh dấu. Kí hiệu này cũng xuất hiện trong một số tác phẩm của danh họa người Italia L. de Vinci (1452-1519), một người rất say mê toán học. Sách đầu tiên được in có sử dụng hai kí hiệu trên là của J. Widman, người Đức. Sách in năm 1489 tại Leipzig, Đức. Tuy nhiên, trong sách này, hai kí hiệu trên cũng chỉ được hiểu là phần dư và phần khuyết. Năm 1514, G. V. Hoecke, một nhà toán học người Hà Lan, đã xuất bản sách sử dụng dấu + và - trong các biểu thức đại số. Năm 1518, cuốn sách của H. Grammateus về Đại số và Số học đã sử dụng dấu + và - với ý nghĩa phép cộng và phép trừ như ta sử dụng ngày nay.