物理系成立于1979年，由军事工程学院时期的原子工程系、普通物理教研室和长沙工学院时期的激光研究室组成。
该系的物理学专业具有博士学位授予权并按一级学科招收博士，其中原子与分子物理为国家重点学科。物理学设有博士后流动站。硕士点包含有原子与分子物理、理论物理、等离子体物理、凝聚态物理、粒子物理与原子核物理、光学等研究方向。
现有教授8名、副教授18名、高级工程师2名、讲师16名，青年教师占47％，其中获硕士学位的18名、获博士学位的20名。担任博士生导师的有李承祖教授、邵福球教授、袁建民教授、黄明球教授、曾交龙教授、谭吉春教授，兼职教授有姜宗福教授、赵伊君教授、经福谦教授、袁乃昌教授。
教师中有国家杰出青年基金项目获得者1人（袁建民），全国百篇优秀博士论文作者2人（陈平行、罗剑峰），获优秀提名奖1人（曾交龙），国家“百千万人才工程”第一、二层次1人（袁建民），湖南省“芙蓉学者”1人（袁建民），全国百名名师（李承祖），进入“高性能计算”国家创新团队学术带头人1人（袁建民），入选新世纪人才计划3人（曾交龙、陈平行、赵增秀），进入湖南省121人才工程1人（曾交龙）。
该系现有基础物理、近代物理、大学物理实验中心3个教研室。其中基础物理教研室承担全校非物理专业大学物理公共基础课、理学院物理类专业本科生和研究生部分专业基础课和专业课的教学，同时承担了大量的基础研究任务、物理系学科建设以及学校“十一五”和“985工程”建设任务，其中，大学物理被评为国家精品课程。近代物理教研室承担理学院、光电工程学院的物理专业课和公共课教学任务、以及理论物理和研究生课程教学任务，目前该教研室承担了二十多项科研项目，包括1项自然科学基金重点项目和5项面上项目、1项863重点项目、2项教育部新世纪优秀人才计划、4项全国优秀博士学位论文项目、3项湖南省优秀博士学位论文项目、多项校科研计划项目。近年来发表学术论文300多篇，其中被SCI收录125篇，被引用达上千次。大学物理实验室的实验用房使用面积6100 M2，设备台件数4000余台，设备总值2000余万元，仪器设备在华南地区高等院校中处于领先水平。