Durante esta época, Mandela y el abogado Oliver Tambo dirigen un despacho de abogados que proporciona consejo legal de bajo costo a muchos negros que de otra manera no hubieran tenido representación legal.
Después de la creación del Partido Nacional Sudafricano en 1948, con su política de segregación racial, (el apartheid), Mandela cobra importancia dentro del Congreso Nacional Africano, especialmente en la Campaña de desobediencia civil de 1952, y el Congreso del Pueblo de 1955, en el que la adopción de la "Carta de la Libertad" provee el programa principal en la causa contra el apartheid.Durante esta época, Mandela y el abogado Oliver Tambo dirigen un despacho de abogados que proporciona consejo legal de bajo costo a muchos negros que de otra manera no hubieran tenido representación legal.
Inicialmente comprometido con los métodos no violentos de resistencia, siguiendo la inspiración de Gandhi, Mandela y otros 150 compañeros son arrestados el 5 de diciembre de 1956 y sentenciados a prisión, que cumplen entre 1956 hasta ser liberados en 1961, cuando se les declaró no culpables.
Entre 1952 y 1959, el Congreso Nacional Africano sufre una ruptura, y surge una nueva clase de activistas negros, los africanistas, en demanda de acciones más drásticas contra el régimen del Partido Nacional.La dirección del Congreso Nacional Africano, liderada por Albert Lutuli, Oliver Tambo y Walter Sisulu, sienten no sólo que los acontecimientos se precipitan, sino también que su liderazgo comienza a estar en juego.En consecuencia refuerzan su posición mediante alianzas con pequeños partidos políticos de diversa representación étnica, intentando aparecer con horizontes más amplios que los africanistas.
El estatuto de la libertad emitido en la conferencia de Kliptown es ridiculizado por los africanistas por permitir que los 100.000 votos del Congreso Nacional Africano sean relegados a un voto simple en una alianza parlamentaria, en la que cuatro de los cinco secretarios generales representantes de los partidos políticos eran miembros del Partido Comunista Sudafricano (SACP), el más leal de los partidos comunistas a la ideología de Moscú, y que por entonces había sido secretamente reconstituido.
En 1959 el Congreso Nacional Africano pierde su soporte militante cuando la mayoría de los africanistas, con apoyo económico de Ghana y ayuda de los Basotho en el Transvaal, se separan para formar el Congreso Pan-Africano (PAC), bajo la dirección de Robert Sobukwe y Potlako Leballo.En marzo de 1960, tras la Masacre de Sharpeville sufrida por los activistas del PAC, y la consecuente exclusión política del SACP y el ANC, ambos se suman al Movimiento de Resistencia Africano (renegados liberales), y el PAC comienza la resistencia armada.El ANC/SACP utiliza la Conferencia Pan-Africana de 1961, en la que todos los partidos deciden una estrategia común, para una dramática llamada a las armas de Mandela, anunciando la formación del comando "Umkhonto we Sizwe" (Lanza de la nación), a imagen de los movimientos guerrilleros judíos (Irgún).Dicho comando fue dirigido por el mismo Mandela, con ayuda de activistas judíos como Denis Goldberg, Lionel Bernstein y Harold Wolpe.Mandela estuvo involucrado en el planeamiento de actividades de resistencia armada y era considerado un terrorista tanto por las autoridades del régimen sudafricano como por la ONU.Mandela abandonó en secreto el país y se encontró con los líderes africanos en Argelia y otros lugares.Empieza a descubrir la profundidad del apoyo al Congreso Pan-Africano, y la creencia generalizada de que el Congreso Nacional Africano era una pequeña asociación tribal Xhosa manipulada por blancos comunistas, y retorna entonces a Sudáfrica decidido a reorganizar los elementos nacionalistas africanos en la alianza parlamentaria.