Dětství prožil v Bratislavě v rodině, pro niž sport, zákony a vzdělání na středoevropské úrovni znamenaly mnoho. Jeho otec Samuel Lichtenfeld byl svérázná osobnost – ve 13 letech utekl ke kočujícímu cirkusu a strávil dalších 20 let řeckořímským zápasem, vzpíráním a předváděním své síly. Seznámil se tu s nejrůznějšími druhy sportu a naučil se i bojové umění.

Podněcován otcem pěstoval Imi širokou škálu sportů. Nejdříve exceloval v plavání, potom v gymnastice, později v zápase a boxu. V roce 1928 zvítězil v československém šampionátu v zápase juniorů a v roce 1929 v šampionátu dospělých (ve střední a lehké váze). Ve stejném roce vyhrál i národní šampionát v boxu a mezinárodní soutěž v gymnastice. Během další dekády se věnoval hlavně zápasu – jako závodník i trenér.