Der am 20. Mai 1851 in Hannover geborene Sohn eines Kaufmanns besuchte zwischen 1861 und 1865 als einziges der 10 Berliner-Kinder die Samsonschule. Fünf Jahre nach seinem Schulabgang wanderte er in die USA aus, um der Einberufung ins Militär zu entgehen. Ein Freund des Vaters eröffnete in Washington D.C. ein Kurzwarengeschäft, in dem Emil Berliner bis zu seiner Übersiedlung nach New York (1873) arbeitete. 

Zunächst hielt er sich als Flaschenspüler über Wasser und richtete in seiner Wohnung ein Labor ein, in dem er mit technischen Geräten experimentierte. 1877 entwickelte er dort ein Mikrophon für den Telefonapparat von Alexander Graham Bell. 

Das Geld, das Berliner dafür erhielt, bildete den Grundstock für seine weiteren Unternehmungen. So entwickelte er Edisons Phonographen zum Grammophon weiter und erfand wenig später die Schallplatte, ein Tonträger, der erstmals in großen Stückzahlen produziert werden konnte.

In den 1880er-Jahren gründete Emil Berliner mit seinem in Hannover lebenden Bruder Joseph ein Unternehmen zur Produktion von Telefonteilen und ließ sich 1887 jenen scheibenförmigen Tonträger, die Schallplatte, samt Abspielgerät, das Grammophon, patentieren. 1898 gründete Berliner die „Deutsche Grammophon“, ein bis heute bekanntes und zudem das älteste Musiklabel der Welt. Schon in ihrem ersten Jahr produzierte die „Deutsche Grammophon“ täglich 25 000 Schallplatten. Emil Berliner experimentierte weiter und erfand eine Reihe weiterer Neuheiten, wie beispielsweise einen Parkettboden. Mit seinem Sohn Henry tüftelte er an einem Vorläufer des Helikopters, entwickelte einen Leichtgewichtmotor und gründete 1909 eine Firma für Umlaufmotoren zum Einsatz in der Luftfahrt.

1914 stiftete Emil Berliner zu Ehren seiner Mutter das Sarah-Berliner-Stipendium, das bis heute an Studentinnen in den Fächern Biologie, Chemie und Physik vergeben wird. Emil Berliner starb am 3. August 1929 im Alter von 78 Jahren in Washington D.C.