Urodził się 20 marca 1873 r. w Krakowie, pochodził z zamożnej rodziny kupieckiej. Uczył się w gimnazjum św. Anny w Krakowie, później studiował na Akademii Handlowej w Grazu. Swoje wspinanie w Tatrach rozpoczął bardzo wcześnie. Już w wieku 15 lat wraz z Edmundem Cięglewiczem oraz Klimkiem Bachledą przeszedł północną ścianę Łomnicy. W 1893 roku dokonał pierwszego wejścia na Durny Szczyt od Klimkowej Przełęczy (wraz z Michałem Siedleckim, Klimkiem Bachledą i Józefem Gąsienicą Gładczanem), w 1900 roku wytyczył nową drogę na Mały Kołowy Szczyt i po raz pierwszy wszedł na Modrą Turnię (wspólnie z Stanisławem Krygowskim, Klimkiem Bachledą i innymi), w 1904 roku wszedł na Ostry Szczyt. Mniej więcej w tym samym czasie, wraz z Stanisławem Barabaszem, odbywał wycieczki narciarskie po Tatrach (m.in. nad Czarny Staw Gąsienicowy na Wielkanoc 1894 r., na Przełęcz pod Kopą Kondracką w 1902 r. oraz na Małołączniak i Kopę Kondracką w 1905 r.). Na początku XX wieku należał do nielicznych taterników, którzy na wyprawach używali plecaków. Jan Józef Fischer był pasjonatem automobilizmu – należał do Galicyjskiego Klubu Automobilowego, a w 1902 roku odbył pierwszy przejazd samochodem nowo wybudowaną szosą do Morskiego Oka. Podczas I wojny światowej na własną prośbę został skierowany do szkoły lotniczej w Fischamend, a po jej ukończeniu zaciągnął się do Armii Polskiej we Francji. Od 1910 roku Jan Józef Fischer przewodniczył powstałemu w Krakowie Tatrzańskiemu Towarzystwu Narciarzy. Był również członkiem Polskiego Towarzystwa Tatrzańskiego (w latach 1921-31 przewodniczył komisji rewizyjnej). Na początku lat 20. XX wieku zainteresował się jachtingiem morskim, co doprowadziło do powołania w 1924 roku spółki, mającej na celu zakup używanego, pełnomorskiego jachtu. Udało się to wiosną 1925 roku, kiedy w duńskim porcie Nyborg zakupiono jacht „Carmen”. Po załatwieniu formalności, w dniach 16-20 maja 1925 roku jako pierwszy pełnomorski jacht pod polska banderą, „Carmen” odbyła rejs do Gdańska.

W rok później Jan Fischer, wraz z czteroosobową załogą (w skład której wchodzili jego synowie, Józef i Jan), odbył jednostką rejs do portów skandynawskich, zawijając m.in. do Kopenhagi, Oslo i Göteborga. W 1930 roku spółka sprzedała jacht, a zadanie zakupu nowego, większego powierzono Fischerowi. Doprowadził on do zakupu w Szczecinie jachtu „Heimat”, przemianowanego następnie na „Jurand”. To na jego pokładzie Jan Fischer odbył latem 1930 roku swoją ostatnią większą podróż morską do Szwecji. Swoje wspomnienia z żeglugi opublikował w dwóch książkach: 1500 mil łodzią żaglową (1927) i Pod żaglami (1931). Po wybuchu II wojny światowej Jan Józef Fischer mieszkał w Krakowie. W dniu 26 czerwca 1942 roku został aresztowany przez Gestapo i wywieziony do obozu koncentracyjnego w Oświęcimiu. Zmarł w obozie 10 września tegoż roku.