Nach dem Besuch der Volksschule und der Bürgerschule in Waidhofen an der Thaya erlernte der Sohn eines Kleinhäuslers in Wien das Maurerhandwerk. Im Jahre 1903 trat Johann Böhm der Gewerkschaft der Maurer bei, wurde zwei Jahre später Obmann der Ortsgruppe Währing, 1912 Obmann der Vereinigung der Wiener Orts-
gruppen der Gewerkschaft der Maurer und 1913 Vorstand der Arbeiter-Unfallversicherungsanstalt.

Bei Ausbruch des Ersten Weltkrieges wurde Böhm 1915 zum Militär eingezogen und noch im selben Jahr an der russischen Front schwer verwundet.

Nach Beendigung des Krieges übernahm Böhm die Geschäftsführung des neu geschaffenen Arbeitsamtes für das Baugewerbe in Wien. Drei Jahre später wurde er Leiter der Ortsgruppe Wien der Baugewerkschaft und im gleichen Jahr Stellvertretender Vorsitzender der Industriellen Bezirkskommission. 1927 wurde Böhm in den Gemeinderat und außerdem zum Vorsitzenden der Baugewerkschaft gewählt; von 1930 bis 1934 war er Mitglied des Nationalrates.

Johann Böhm gehörte von 1945 bis zu seinem Tod dem Nationalrat an; von 1945 bis 1959 war er überdies Zweiter Präsident des Nationalrats und Mitglied des SPÖ-Vorstands. Er gilt als einer der Väter der erfolgreichen österreichischen Sozialpartnerschaft und war maßgeblich an der Entwicklung der österreichischen Sozialpolitik beteiligt.

1956 wurde anlässlich seines 70. Geburtstages die Johann-Böhm-Stiftung geschaffen, die begabte, aber mittellose Arbeiter- und Angestelltenkinder bei der Weiterbildung unterstützen soll. Böhm, dessen größer Wunsch es gewesen war, studieren zu können – wozu das Einkommen seiner Eltern jedoch nicht reichte –, bezeichnete diese Stiftung als "das schönste Geburtstagsgeschenk".