비어 있지 않다면 삭제가 불가능하겠죠.. 

그 파일그룹을 사용하고 있는 테이블을 찾아  다른 파일그룹에 옮기십시오. 
그리고 그 테이블을 drop하시고 
사용하신 명령을 사용하십시오. 

backup을 하신 후 restore하실때 file group을 합해버리십시오.
(근데 이건 제가 해보지 않아서 확실치는 않습니다) 

dbcc shrinkfile 
EMPTYFILE

지정한 파일의 모든 데이터를 동일한 파일 그룹의 다른 파일로 마이그레이션합니다. Microsoft® SQL Server™에서는 EMPTYFILE 옵션을 사용한 파일에 더 이상 데이터를 저장할 수 없습니다. 이 옵션은 ALTER DATABASE 문을 사용하여 해당 파일을 삭제할 수 있도록 허용합니다.