Nushi naceu de pais ortodoxos albaneses en Vuno, unha aldea na costa de Himara. Asistiu a unha escola de gramática na súa mocidade. En 1928 converteuse nun emigrante co seu pai por razóns de dificultades económicas na casa, instalándose en Lyon, Francia, onde traballou como traballador de fábrica. Nestas condicións involucrouse na actividade de esquerda entre os intelectuais albaneses emigrados e en 1935 converteuse en membro do Partido Comunista Francés. En resposta á invasión italiana de Albania
En 1939 volveu ao país un ano despois, onde se converteu nun membro fundador do Partido Comunista de Albania e desempeñou un papel activo na resistencia partidista durante a Segunda Guerra Mundial. Dirixiu a organización do Partido de Tirana durante todo este período, usando a súa experiencia previa entre a clase obreira francesa para organizar aos traballadores e mozos albaneses para a resistencia, e foi intermitentemente arrestado e liberado polas autoridades de ocupación no proceso. Máis tarde ocupou cargos políticos nas Primeira, Segunda e Cuarta Divisións de Combate.