Khánh Ly tên thật là Nguyễn Thị Lệ Mai, sinh ngày 6 tháng 3 năm 1945 tại Hà Nội, cũng có khi cô lấy tên Phạm Thị Lệ Mai theo họ Phạm của người cha dượng. Năm 1954, Lệ Mai theo mẹ di cư vào miền Nam.

Khi còn ở Hà Nội, dù chưa tới 9 tuổi, cô đã tham dự một cuộc thi hát với bài Thơ Ngây của nhạc sĩ Anh Việt nhưng chưa được giải. Cuối năm 1956, mới 11 tuổi, Khánh Ly một mình đi từ Đà Lạt về Sài Gòn tham dự cuộc thi tuyển lựa ca sĩ nhi đồng do đài Pháp Á tổ chức tại rạp Norodom. Lệ Mai hát bài Ngày Trở Về của nhạc sĩ Phạm Duy và đoạt giải nhì, sau "thần đồng" Quốc Thắng.

Khánh Ly thực sự bước chân vào sự nghiệp ca hát năm 1962, cô hát cho phòng trà Anh Vũ trên đường Bùi Viện, Sài Gòn. Cuối năm đó cô chuyển lên sống tại Đà Lạt và hát cho các phòng trà ở đó. Năm 1964, cô gặp nhạc sĩ Trịnh Công Sơn, lúc đó còn chưa nổi tiếng, ông mời cô về Sài Gòn biểu diễn. Lúc đó, vì không muốn rời Đà Lạt nên cô từ chối lời đề nghị của người nhạc sĩ trẻ đó.

Năm 1967, do tình cờ cô gặp lại Trịnh Công Sơn tại Sài Gòn và từ đó, Khánh Ly cùng Trịnh Công Sơn đã trở thành một hiện tượng của tân nhạc Việt Nam.

Khánh Ly và Trịnh Công Sơn đã có những buổi trình diễn ngoài trời không công và không thù lao cho sinh viên tại Quán Văn (mà theo Khánh Ly, đó là một quán lá sơ sài dựng trên một nền gạch đổ nát) nằm trên bãi đất rộng sau trường Đại học Văn Khoa Sài Gòn. Họ tiếp tục trình diễn khắp nơi ở miền Nam Việt Nam, nhất là trong sân cỏ trường đại học, nơi Khánh Ly được mệnh danh là "Nữ Hoàng Chân Đất" hay "Nữ Hoàng Sân Cỏ". Khánh Ly chính là ca sĩ Việt Nam đầu tiên tổ chức sô (show) diễn riêng của mình.

Về biệt danh "Nữ hoàng chân đất", theo lời thuật lại của Khánh Ly trong băng Video Một đời Việt Nam thực hiện năm 1991, khi chưa có kinh nghiệm ca hát và lần đầu tiên xuất hiện trước một đám đông khoảng một ngàn người, Khánh Ly đã không giữ được bình tĩnh, phải vịn vào vai Trịnh Công Sơn.

Trịnh Công Sơn nói "bỏ tay ra và đứng hát cho nghiêm chỉnh", nên cô cởi bỏ đôi giày cao gót và đứng chân đất và nhờ đó, đã có thể bình tĩnh để trình bày hết bài hát của Trịnh Công Sơn trong suốt một đêm đó, khoảng 30 đến 40 bài hát trong 1 đêm. Khánh Ly kể về thời kỳ những năm 60 cơ cực, đói khổ nhưng đầy hạnh phúc ấy: "Thực sự tôi rất mê hát. Không mê hát thì tôi không có đủ can đảm để đi hát với anh Sơn mười năm mà không có đồng xu, cắc bạc nào. Thời ấy, tôi phải chịu đói, chịu khổ, chịu nghèo, không cần biết đến ngày mai, không cần biết đến ai cả, mà vẫn cảm thấy mình cực kỳ hạnh phúc, cảm thấy mình sống khi được hát những tình khúc của Trịnh Công Sơn".

Từ năm 1967 đến 1975, Khánh Ly hợp tác với nhiều hãng đĩa tại Sài Gòn, thâu âm nhiều bài hát trong các đĩa nhạc của các hãng đĩa Việt Nam, Sóng Nhạc, Tình Ca Quê Hương, Dư Âm, Nhạc Ngày Xanh, Continental và thâu vào băng Akai của Chương trình Phạm Mạnh Cương, Trường Sơn, Sơn Ca, Họa Mi, Jo Marcel...

Năm 1968, Khánh Ly mở Hội Quán Cây Tre ở Đakao, số 2bis đường Đinh Tiên Hoàng, Sài Gòn. Đây là nơi tụ họp của các văn nghệ sĩ và các sinh viên học sinh yêu văn nghệ yêu tiếng hát Khánh Ly, và đây cũng là nơi tổng phát hành những cuốn băng nổi tiếng Trịnh Công Sơn - Khánh Ly Hát Cho Quê hương Việt Nam.