O clube foi fundado por moradores dos bairros de Santa Cecília e Higienópolis. Desde o início mantiveram boas relações com o Club Athletico Paulistano, servindo como adversário para os treinos do 2º quadro deste. Em 1904 a Liga Paulista de Futebol decidiu abrir mais uma vaga para o Campeonato Paulista, e a AA das Palmeiras conseguiu a vaga depois de derrotar o Club Athletico Internacional, de Santos-SP.
Disputou 21 vezes o Campeonato Paulista, sendo campeão 3 vezes (1909, 1910 e 1915). Mas atravessou um período de decadência na década de 1920, terminando o Campeonato Paulista de 1928 em último lugar e sequer disputou o de 1929. Em 1930, passando por sérios problemas financeiros, conseguiu evitar a perda do seu patrimônio ao aceitar a fusão com o time do Club Athletico Paulistano, nascendo daí o São Paulo Futebol Clube.
