1889 erhielt er eine Anstellung als Violinist am Königlichen Theater Kopenhagen, dem er viele Jahre angehörte. In den Jahren 1890-1891 folgten Reisen nach Berlin und Paris, wo er Anne Marie Brodersen, eine Bildhauerin, kennen lernte. Beide heirateten noch im gleichen Jahr in Florenz. Ein musikalisches Produkt der Beziehung zu ihr ist Nielsens Hymnus ‚Amoris', der die Liebe in all ihren Facetten wiederspiegelt. 1903 ermöglichte ein lukrativer Vertrag mit einem Kopenhagener Verleger eine Reise nach Griechenland, bei der seine Frau griechische Skulpturen studierte und er in Ruhe komponieren konnte. In dieser Zeit entstand die ‚Helios Overtüre'.

1905 kündigte Nielsen seine Orchesterstelle und konzentrierte sich von nun an auf das Komponieren und vermehrt auch auf das Dirigieren. Nach den Aufführungen seiner Opern ‚Saul und David' und ‚Maskarade' (1906) wurde ihm eine Anstellung als ständiger Dirigent der Königlichen Oper Kopenhagen angeboten, die er auch annahm. Doch sehr wohl fühlte Nielsen sich dort nie, blieb aber in dieser Position bis 1914. Als Dirigent feierte er auch in Schweden und Nordeuropa große Erfolge, wobei er dem Göteborger Sinfonie-Orchester besonders eng verbunden war.

Sechs Sinfonien bilden den äußeren Rahmen seines Gesamtwerkes und spiegeln seine musikalische Entwicklung deutlich wider. Berühmt wurden aber auch seine drei Solo-Konzerte, eines für Flöte, eines für Klarinette und eines für Geige, wobei das Flötenkonzert heute vielleicht sein populärstes ist. Darüber hinaus hat Nielsen wichtige Klavierzyklen geschrieben, obwohl er das Klavier nie als ‚sein' Instrument ansah. Er schrieb diverse Streichquartette, Kammermusik für Holzbläser, die ihm besonders am Herz lagen, und ein einziges Orgelwerk, das kurz vor seinem Tod entstand.

Nielsen war ab 1916 Mitglied des Verwaltungsrates des Kopenhagener Konservatoriums und wurde dessen Vorsitzender 1931.