Fielitz war Schüler von J. Schulhoff und E. Kretschmer und Kapellmeister in Zürich, Lübeck und Leipzig. Fielitz lebte aus gesundheitlichen Günden zeitweilig auf Capri. Er war dann längere Zeit Lehrer am Sternschen Konservatorium in Berlin und ging 1905 nach Chicago als Lehrer am Ziegenfeldskonservatorium. 1908 kehrte er nach Deutschland zurück und wurde wiederum Lehrer am Sternschen Konservatorium. 1915 trat er die Nachfolge Gustav Holländers als Leiter dieses Instituts an. Bekannt wurden zuerst seine Liederkompositionen sowie eine Romanze für Klavier und Violine. Auf der Bühne versuchte er sich als Opernkomponist mit "Vendetta" (1891) und "Das stille Dorf" (1900).