diff --git a/Makefile b/Makefile
index d4737dab6..2f4c38ac2 100644
--- a/Makefile
+++ b/Makefile
@@ -261,9 +261,9 @@ endif
 	HCXX        := $(ROCM_PATH)/llvm/bin/clang++
 endif
 ifdef GGML_HIP_FORCE_ROCWMMA_FATTN_GFX12
-	HIPFLAGS   += -GGML_HIP_ROCWMMA_FATTN_GFX12
-	CFLAGS     += -GGML_HIP_ROCWMMA_FATTN_GFX12
-	CXXFLAGS   += -GGML_HIP_ROCWMMA_FATTN_GFX12
+	HIPFLAGS   += -DGGML_HIP_ROCWMMA_FATTN_GFX12
+	CFLAGS     += -DGGML_HIP_ROCWMMA_FATTN_GFX12
+	CXXFLAGS   += -DGGML_HIP_ROCWMMA_FATTN_GFX12
 endif
 ifdef LLAMA_NO_WMMA
 	HIPFLAGS   += -DGGML_HIP_NO_ROCWMMA_FATTN