Był niewątpliwie genialnym fizykiem, osobą powszechnie znaną, ale o jego życiu prywatnym jeszcze niedawno niewiele było wiadomo. Wszyscy wiedzieli o tym, że kochał grać na skrzypcach (i robił to podobno nieźle), lubił palić fajkę oraz żeglować. Jeszcze mieszkając w Niemczech, kupił małą żaglówkę, która została skonfiskowana przez władze po jego wyjeździe do USA w 1933. W Princeton kupił sobie także niewielki jacht. Co ciekawe – praktycznie nie umiał pływać. Notorycznie odmawiał też zakładania kamizelki ratunkowej, co powodowało, że rodzina zawsze się martwiła, gdy Albert samotnie wybierał się na jezioro. Wiadomo też, że niespecjalnie dbał o swój strój, istotna była tylko wygoda.