Uroda. Niski wzrost, twarz pokryta dziobami (ślady po ospie, na którą zachorował w wieku 6 lat), górna warga wpadnięta, a dolna wysunięta do przodu.
W dzieciństwie małego Soso potrąciła bryczka, a ponieważ nie było pieniędzy na lekarza, ręka źle się zrosła. Potomek jednego ze znajomych Soso z lat dzieciństwa, Dziwilegow z Rostowa, pisał o Józefie: „Świetnie pływał, ale wstydził się pływać w rzece.
Miał jakiś defekt nogi i mój pradziadek, który uczył się razem z nim w starszych klasach, kiedyś zażartował, że Soso ukrywa w bucie diable kopyto. Koleżanka jego pierwszej żony tak go opisała: „Niski, wątły, jakby kaleki, w koszuli jakby ze starszego brata, na głowie idiotyczny turecki fez”.