Er is gespeculeerd dat dit nummer eigenlijk over een illegale stof gaat, sindsdien 'bruine suiker' is een erkende jargonterm voor een bepaald type illegale stof. Het is echter vrij duidelijk dat het primaire onderwerp van deze track interraciale intieme relaties zijn. En Mick Jagger, de schrijver en zanger van het nummer, benadert dit onderwerp zowel vanuit een historisch perspectief als als iemand die graag romantische relaties heeft met zwarte vrouwen.
In feite op zijn penning, de originele titel van deze track was eigenlijk 'Black [krachtterm]'. Hij richt zich echter niet uitsluitend op het onderwerp van blanke mannen die relaties hebben met zwarte vrouwen, zoals hij ook vertelt het verhaal van een tot slaaf gemaakte 'huisjongen' die een verhouding had met de vrouw van een slavenmeester.
'Brown Sugar' zou zijn geïnspireerd door ten minste een van de twee zwarte vrouwen waarmee Jagger op dat moment een romantische relatie had, van wie er één eigenlijk de moeder is van zijn eerste kind. De zwarte vrouwen in kwestie zijn: Marsha Hunt en Claudia Lennear.
Marsha is een Amerikaanse zangeres en actrice. Naast haar professionele carrière als zangeres en actrice kreeg Marsha nationale erkenning voor haar geheime romantische relatie met Mick Jagger tussen 1969 en 1970. De affaire leidde er uiteindelijk toe dat Jagger samen met Marsha een kind verwekte met de naam Karis.
In 1985 bracht Marsha haar autobiografie uit met de titel Real Life. In dit boek beweerde Marsha dat het nummer 'Brown Sugar' eigenlijk over haar geschreven was. In 2006 publiceerde ze nog een boek met de titel Undefeated. In dit boek verklaarde ze nogmaals categorisch dat zij de inspiratie was achter 'Brown Sugar'.
Claudia Lennear is een Amerikaanse zangeres die over de hele wereld bekend staat omdat ze als achtergrondzangeres werkte voor een overvloed aan beroemde muzikanten, waaronder Joe Cocker. In een interview uit 2014 met de Daily Express , Lennear onthulde dat ze niet alleen een tijdje met Mick Jagger was uitgegaan, maar dat 'Brown Sugar' door haar was geïnspireerd.
Anders dan in het geval van Marsha Hunt leidde de relatie tussen Jagger en Claudia niet tot de geboorte van een kind.
Deze klassieker presteerde opmerkelijk goed in de hitlijsten van verschillende landen. Het stond bijvoorbeeld bovenaan de Billboard Hot 100 in de Verenigde Staten. Het was ook nummer 1 in Nederland, Zwitserland en Canada. In het Verenigd Koninkrijk bereikte het nummer 2.
In de loop der jaren hebben andere muzikanten een opgenomen a Hoes editie van deze muziek. Deze zangers zijn onder meer: Jah Love, Slash, Ryan Adams (feat. Beth Orton), Little Richard en Eagles of Death Metal.