Ende der 1930er-Jahre war Jim bereits als semiprofessioneller Musiker aktiv – zunächst als Orchestersänger und später als Schlagzeuger in einer siebenköpfigen Band. Neben seiner musikalischen Leidenschaft verdiente er seinen Lebensunterhalt mit einer Vielzahl von Jobs, unter anderem auf einem Schrottplatz, in einer Keksfabrik, einem Schuhgeschäft und einer Produktionsstätte für Lebensmittelkonserven.

In den späten 1940er-Jahren hat sich Jim Marshall vom Schlagzeuger zum Lehrer für 65 Schüler gemacht, darunter künftige Legenden wie Mick Underwood (der mit Ritchie Blackmore bei den Dominators spielte), Micky Waller (Little Richard) und Mitch Mitchell (The Jimi Hendrix Experience). „Ich kaufte Premier-Trommeln im Selmer-Laden in der Charing Cross Road und verkaufte sie an meine Schüler“, erinnert sich Jim in der 2019 erschienenen Dokumentation „The Jim Marshall Story“.

Am 7. Juli 1960, nach über 20 Jahren als Musiker, wagte Jim Marshall den nächsten Schritt. Zusammen mit seiner Frau Violet und seinem Sohn Terry eröffnete er das Geschäft „Jim Marshall and Son“ (1962 in „J & T Marshall“ umbenannt) in der 76 Uxbridge Road, Hanwell, London. Heute erinnert eine Gedenktafel an dieser Straße an die bescheidenen Anfänge der Marke Marshall.