Nació el 28 de Noviembre de 1843 en San Juan, Puerto Rico. Su padre era francés y su madre puertorriqueña. Comenzó sus estudios musicales en San Juan y a la edad de 15 años se trasladó a Paris donde estudió en el Conservatorio de Música bajo los reconocidos Auber y D'Albert. Sus estudios fueron interrumpidos por una enfermedad cerebral que le ocasionó una paralisis parcial en su mano izquierda y problemas de audición. De vuelta en Puerto Rico pudo vencer esos problemas y, después de ofrecer varios recitales en San Juan se estableció en Ponce, donde actuaba como maestro de piano.

Enseñó a sus alumnos en el estilo pianístico francés. Estimuló el talento creativo de su más famoso discípulo, Juan Morel Campos. Su hija, Elisa Tavárez, fue también una pianista que logró fama internacional.

Tavárez es considerado como El Padre de la Danza Puertorriqueña . Se impuso la tarea de elevar la danza a un plano artístico. Le dió el toque delicado y romántico que ha hecho posible el que la Danza halla llegado, aunque de forma algo limitada hasta el momento, a la sala de conciertos. Su más famosa composición, la preciosa Danza Margarita compuesta en 1870, es un digno ejemplo del tratamiento fino y pulido que este compositor impartió a este género.

Otras de sus obras más conocidas lo son las danzas: La Sensitiva, La Ondina, La Ausencia, ¿Me amas?, Un Recuerdito y Pobre Corazón.

Tavárez falleció el 1ero de Julio de 1883 a la temprana edad de 39 años.