番山是古时广州的一个小山冈，与西侧的禺山组成“番禺”这个地名。明代羊城八景之一的“番山云气”便是此处。
番山位于现时广州市区中山四路附近，东側为文溪所流经，西侧与禺山相对，两山之间的坳口曾是唐朝时广州城的南门。在唐末的907年为开拓城区，已把番山凿平。
現在孫中山文獻館所在的位置原為廣府學宮，而學宮就建在番山的邊上，現在文獻館旁的山坡上還有一個小亭子名「番山亭」，為後來所重建。