荷香园位于密山城区西南，是一座融自然景观——荷花、绿树、幽草与仿古建筑——亭、榭、楼、阁为一体的精巧园林。

园内荷摇轻风，鱼翔碧水。塘中横卧365米的九曲虹桥，塘畔建有446米长的资治长廊，上面彩绘中国古典小说四大名著故事。园内依势缀有八仙亭、对鱼亭、并蒂亭、钟楼亭，座座玲珑古雅；开挖荷塘，堆石积土，即成假山，颇壮其势。另有卵石小路，曲径通幽，引人入胜，流连忘返。

荷香园的前身，为一方沼泽地，水面大约20公顷，有荷花7公顷左右。据传，二十世纪初，通晓医术的吉林人氏刘延臣从原籍迁到此地，搭建马架房屋居住。一年，此地天花瘟疫流行，刘延臣日夜奔波为当地百姓观诊医治，挽救了不少生命。刘延臣初来此地之时，于池塘内种荷数株，而此时荷花已满池塘。老百姓为感谢和纪念刘延臣，称其为“刘花仙”，称其住所附近池塘为“刘花仙泡子”。后来，荷花面积逐年扩大，到2000年时已达到了11公顷，观花游人也逐年增多。

二十世纪九十年代后期，随着旅游业的发展，“刘花仙泡子”的荷花资源引起了市委、市政府的重视。经过考察，市委、市政府决定开发刘花仙泡子的荷花资源，利用池塘和废弃砖场建设占地千亩的旅游景区——荷香园。景区于2000年9月正式开工建设，投入资金1200万元，历时三年时间，建成了占地31.1公顷，水域面积16.4公顷，荷花面积13.1公顷的具有江南特色的仿古园林——荷香园。2003年7月30日，荷香园举行开园剪彩仪式并正式对游人开放，当年接待国内外游客近万人。