南宋末期，由云南某地高氏三兄弟来到孤山脚下定居，建村后取名孤山村。解放后成立了孤山第一、第二居委会，2000年12月居委会调整，改称孤山社区居委会。

随着城市改造步伐的加快，在孤山村周边建起了保利百合花园、紫荆苑、紫荆馨苑、海华山景、海逸景园、山海景园等居民小区等新型小区，整修了大沙路，湖清路5号、7号居民楼院进行了硬化、美化，社区环境有了明显提高。

2010年在第一百个“三八妇女节”来临之际，孤山社区举办了趣味运动会，近200名居民参加。比赛融进了趣味性，广场欢声笑语、气氛紧张而热烈。