Sĩ Phú tên thật là Nguyễn Sĩ Phú, sinh ngày 09 tháng 1 năm 1942 tại Bonneng Thakhet, Lào.
Ông theo gia đình di cư vào Nam năm 1954, và cư ngụ tại Sài Gòn cho đến năm 1975. Ông tốt nghiệp trung học lúc chưa đầy 16 tuổi rồi nhập học Trường Đại học Khoa học.
Năm 18 tuổi, ông đã là giáo sư trung học đệ nhất cấp (cấp 2), dạy toán và lý hoá ở hai trường Trung học La San Nghĩa Thục và Thăng Long tại Sài Gòn.
Ông là một sĩ quan của Quân Lực Việt Nam Cộng Hòa, gia nhập Không Quân vào năm 1962 và từng mang tới cấp hàm thiếu tá không quân. Năm 1968, Sĩ Phú bắt đầu sự nghiệp ca hát khi trình bày một nhạc phẩm trên đài truyền hình Việt Nam trong dịp kỷ niệm ngày thành lập binh chủng Không quân. Chỉ sau một thời gian ngắn, ông trở nên nổi tiếng với những nhạc phẩm tình cảm lãng mạn, trong số có những nhạc phẩm tiền chiến như: "Tà áo xanh", "Trở về bến mơ", "Em tôi", "Hoài cảm", "Cô láng giềng"... Đến nay một số ca khúc như "Mắt biếc", "Chuyện tình buồn", "Niệm khúc cuối", "Chiếc lá cuối cùng"... có người cho rằng không có ca sĩ nào để lại nhiều ấn tượng và cảm xúc như giọng hát của Sĩ Phú.
Mặc dù nổi tiếng, nhưng coi việc ca hát chỉ là nghề phụ, Sĩ Phú rất ít xuất hiện trong các sân khấu nhạc hội hay vũ trường ở Sài Gòn, nhưng ông thường hát trong những chương trình ca nhạc tổ chức tại Câu lạc bộ Không quân ở phi trường Tân Sơn Nhất.
Năm 1975, Sĩ Phú rời Việt Nam định cư tại Hoa Kỳ. Ông đã tốt nghiệp ngành kỹ sư viễn thông và làm việc toàn thời gian cho một công ty Mỹ.
Tại hải ngoại, ông đã đi lưu diễn ở nhiều nơi tại Canada, Úc, Pháp, Bỉ... Sau đó, trong khoảng 10 năm, Sĩ Phú hầu như không tham gia các hoạt động văn nghệ. Năm 2000, trong cuộc phỏng vấn bởi Nam Lộc trên đài Truyền hình Văn nghệ Việt Nam, ông cho biết vì "biến cố" con gái ông mất năm 1983, nên ông sinh ra chán nản và "bỏ nghề không muốn hát nữa, vì không thể nào hát nổi khi trái tim đã bị rướm máu." Đến năm 1995, ông mới tái xuất hiện trên một chương trình do trung tâm Trường Thanh sản xuất và xuất bản hai CD của ông (Tà Áo Xanh và Trái Tim Hững Hờ).
Ông mất ngày 19 tháng 7 năm 2000 tại bệnh viện UCI, nam California do ung thư phổi. Trước đó ba tuần, Sĩ Phú đã cho ra mắt CD cuối cùng của mình là Còn Chút Gì Để Nhớ tại vũ trường Majestic, ở nam California.
Người bạn tri kỷ cuối đời của ông là Ngọc Lan (không phải ca sĩ Ngọc Lan). Sau khi ông qua đời, Ngọc Lan đã gom góp những kỷ niệm viết thành hồi ký Biết bao giờ nguôi mà theo BBC: "Đó có thể nói là một sự trải nghiệm ngợi ca lòng can đảm, tình nghĩa vợ chồng sắt son và trên hết là tình yêu thương cao cả của con người với nhau, cho nhau và vì nhau."