Brown a fost ales de New York Giants , după ce a jucat fotbal la facultate la Morgan State University , în NFL Draft din 1953[2] , după ce a fost văzut de echipă în Pittsburgh Courier , un ziar afro-american, care l-a inclus în Black All -Echipa americană din 1952. Ca membru al liniei ofensive , Brown i-a blocat pentru fundașiiCharlie Conerly și YA Tittle și pentru alergătorii ca Alex Webster și Frank Gifford . În ciuda celor 191 cm cu 116 kg, Brown a fost foarte rapid, o întâmplare neobișnuită pentru timpul său. Este considerat una dintre cele mai bune alegeri din rundele finale din istoria NFL Draft , fiind selectat în a 27-a. În cariera sa a fost chemat la nouă Pro Bowls și cu Giants a câștigat campionatul NFL din 1956. După sezonul 1965 a fost obligat să se retragă din cauza flebitelor cronice, devenind asistent antrenor al liniei ofensive Giants, fiind promovat la antrenor în 1969. În El a rămas mai târziu cu franciza mai mulți ani ca observator. În 1999, el a fost clasat pe locul 57 pe Sporting News listă a celor mai buni 100 de jucători din toate timpurile ".