src/Makefile

   1 # --------------------------------------------------------------------------
   2 #
   3 # Copyright
   4 #   Markus Wittmann, 2016-2017
   5 #   RRZE, University of Erlangen-Nuremberg, Germany
   6 #   markus.wittmann -at- fau.de or hpc -at- rrze.fau.de
   7 #
   8 #   Viktor Haag, 2016
   9 #   LSS, University of Erlangen-Nuremberg, Germany
  10 #
  11 #  This file is part of the Lattice Boltzmann Benchmark Kernels (LbmBenchKernels).
  12 #
  13 #  LbmBenchKernels is free software: you can redistribute it and/or modify
  14 #  it under the terms of the GNU General Public License as published by
  15 #  the Free Software Foundation, either version 3 of the License, or
  16 #  (at your option) any later version.
  17 #
  18 #  LbmBenchKernels is distributed in the hope that it will be useful,
  19 #  but WITHOUT ANY WARRANTY; without even the implied warranty of
  20 #  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  21 #  GNU General Public License for more details.
  22 #
  23 #  You should have received a copy of the GNU General Public License
  24 #  along with LbmBenchKernels.  If not, see <http://www.gnu.org/licenses/>.
  25 #
  26 # --------------------------------------------------------------------------
  27
  28 # Default configuration to chose.
  29 # CONFIG ?= linux-gcc
  30 CONFIG ?= linux-intel
  31
  32 BUILD ?= release
  33
  34 BENCHMARK ?= on
  35
  36 # If we compile for BENCHMARK all verifcation and statistics are disabled,
  37 # if not specified otherwise.
  38 ifeq (on,$(BENCHMARK))
  39   VERIFICATION ?= off
  40   VTK_OUTPUT   ?= off
  41   STATISTICS   ?= off
  42 else
  43   VERIFICATION ?= on
  44   STATISTICS   ?= on
  45   VTK_OUTPUT   ?= on
  46 endif
  47
  48
  49 COLOR ?= on
  50
  51 OPENMP ?= on
  52
  53 VTK_OUTPUT_ASCII ?= off
  54
  55 LID_DRIVEN_CAVITY ?= off
  56
  57 ISA ?= avx
  58
  59 LIKWID ?= off
  60
  61 # Which floating point precision to use: dp (double precision) or sp (single preicision)
  62 PRECISION ?= dp
  63
  64 # Global settings for the Makefile
  65 SHELL      = sh
  66
  67 ifdef V
  68   Q        =
  69 else
  70   Q        = @
  71 endif
  72
  73 AR         = ar
  74 CMP        = cmp
  75 CHMOD      = chmod
  76 CPP        = cpp
  77 DIFF       = diff
  78 ECHO       = echo
  79 ECHO_E     = echo -e
  80 ECHO_N     = echo -n
  81 GIT        = git
  82 GREP       = grep
  83 MKDIR      = mkdir
  84 MKDIR_P    = mkdir -p
  85 NM         = nm
  86 RM         = rm
  87 RM_F       = rm -f
  88 RM_RF      = rm -rf
  89 TAR        = tar
  90 TAR_CZF    = tar czf
  91 TOUCH      = touch
  92 SED        = sed
  93
  94
  95
  96 # Where to store objects and dependency files.
  97 OBJECT_DIR      = obj/$(CONFIG)-$(BUILD)$(PREC)$(TAG)
  98 DEP_DIR         = obj/$(CONFIG)-$(BUILD)$(PREC)$(TAG)-dep
  99
 100 # Sources to consider.
 101 SOURCES_C = Main.c Memory.c Geometry.c Kernel.c \
 102             Vtk.c Pinning.c Padding.c Lattice.c
 103
 104 # ------------------------------------------------------------------------
 105 # NO CHANGE BELOW SHOULD BE NEEDED
 106 # ------------------------------------------------------------------------
 107
 108 OBJ_C = $(foreach SOURCE,$(SOURCES_C),$(OBJECT_DIR)/$(SOURCE:%.c=%.o)) \
 109                 $(OBJECT_DIR)/BenchKernelD3Q19Common_PullSoA.o \
 110                 $(OBJECT_DIR)/BenchKernelD3Q19Common_PullAoS.o \
 111                 $(OBJECT_DIR)/BenchKernelD3Q19Common_PushSoA.o \
 112                 $(OBJECT_DIR)/BenchKernelD3Q19Common_PushAoS.o \
 113                 $(OBJECT_DIR)/BenchKernelD3Q19_PullSoA.o \
 114                 $(OBJECT_DIR)/BenchKernelD3Q19_PullAoS.o \
 115                 $(OBJECT_DIR)/BenchKernelD3Q19_PushSoA.o \
 116                 $(OBJECT_DIR)/BenchKernelD3Q19_PushAoS.o \
 117                 $(OBJECT_DIR)/BenchKernelD3Q19List_PushSoA.o \
 118                 $(OBJECT_DIR)/BenchKernelD3Q19ListCommon_PushSoA.o \
 119                 $(OBJECT_DIR)/BenchKernelD3Q19List_PushAoS.o \
 120                 $(OBJECT_DIR)/BenchKernelD3Q19ListCommon_PushAoS.o \
 121                 $(OBJECT_DIR)/BenchKernelD3Q19List_PullSoA.o \
 122                 $(OBJECT_DIR)/BenchKernelD3Q19ListCommon_PullSoA.o \
 123                 $(OBJECT_DIR)/BenchKernelD3Q19List_PullAoS.o \
 124                 $(OBJECT_DIR)/BenchKernelD3Q19ListCommon_PullAoS.o \
 125                 $(OBJECT_DIR)/BenchKernelD3Q19ListAa_PushSoA.o \
 126                 $(OBJECT_DIR)/BenchKernelD3Q19ListAaCommon_PushSoA.o \
 127                 $(OBJECT_DIR)/BenchKernelD3Q19ListAa_PushAoS.o \
 128                 $(OBJECT_DIR)/BenchKernelD3Q19ListAaCommon_PushAoS.o \
 129                 $(OBJECT_DIR)/BenchKernelD3Q19ListAaRia_PushSoA.o \
 130                 $(OBJECT_DIR)/BenchKernelD3Q19ListAaRiaCommon_PushSoA.o \
 131                 $(OBJECT_DIR)/BenchKernelD3Q19ListAaPv_PushSoA.o \
 132                 $(OBJECT_DIR)/BenchKernelD3Q19ListAaPvCommon_PushSoA.o \
 133                 $(OBJECT_DIR)/BenchKernelD3Q19ListPullSplitNt_PullSoA.o \
 134                 $(OBJECT_DIR)/BenchKernelD3Q19ListPullSplitNtCommon_PullSoA.o \
 135                 $(OBJECT_DIR)/BenchKernelD3Q19Aa_AaAoS.o \
 136                 $(OBJECT_DIR)/BenchKernelD3Q19AaCommon_AaAoS.o \
 137                 $(OBJECT_DIR)/BenchKernelD3Q19Aa_AaSoA.o \
 138                 $(OBJECT_DIR)/BenchKernelD3Q19AaCommon_AaSoA.o \
 139                 $(OBJECT_DIR)/BenchKernelD3Q19AaVec_AaSoA.o \
 140                 $(OBJECT_DIR)/BenchKernelD3Q19AaVecCommon_AaSoA.o \
 141                 $(OBJECT_DIR)/BenchKernelD3Q19AaVecSl_AaSoA.o \
 142                 $(OBJECT_DIR)/BenchKernelD3Q19AaVecSlCommon_AaSoA.o
 143
 144 OBJ = $(OBJ_C)
 145
 146 include ./config.$(CONFIG).mk
 147
 148
 149 # Colorize command lines.
 150 ifeq (on,$(COLOR))
 151   COLOR_GRAY        =\033[1;30m
 152   COLOR_LIGHT_GRAY  =\033[0;37m
 153   COLOR_CYAN        =\033[0;36m
 154   COLOR_LIGHT_CYAN  =\033[1;36m
 155   COLOR_MAGENTA     =\033[0;35m
 156   COLOR_DARK_MAGENTA=\033[1;35m
 157   COLOR_NO          =\033[0m
 158   COLOR_RED         =\033[0;31m
 159   COLOR_DARK_RED    =\033[1;31m
 160   COLOR_GREEN       =\033[0;32m
 161   COLOR_DARK_GREEEN =\033[1;32m
 162 else
 163   COLOR_GRAY        =
 164   COLOR_LIGHT_GRAY  =
 165   COLOR_CYAN        =
 166   COLOR_LIGHT_CYAN  =
 167   COLOR_MAGENTA     =
 168   COLOR_DARK_MAGENTA=
 169   COLOR_NO          =
 170   COLOR_RED         =
 171   COLOR_DARK_RED    =
 172   COLOR_GREEN       =
 173   COLOR_DARK_GREEEN =
 174 endif
 175
 176 # Dependencies which are not source files, that require
 177 # rebuilding the application.
 178 REBUILD_DEPS = $(filter-out %.d,$(MAKEFILE_LIST)) $(OBJECT_DIR)/.target $(DEP_DIR)/.target
 179
 180 BUILD_CONFIG=
 181
 182 # Verify computed flow field
 183 ifeq (on,$(VERIFICATION))
 184   PP_FLAGS      += $(D)VERIFICATION
 185 endif
 186
 187 ifeq (on,$(VTK_OUTPUT))
 188   PP_FLAGS += $(D)VTK_OUTPUT
 189 endif
 190
 191 ifeq (on,$(STATISTICS))
 192   PP_FLAGS += $(D)STATISTICS
 193 endif
 194
 195 ifeq (on,$(VTK_OUTPUT_ASCII))
 196   PP_FLAGS += $(D)VTK_OUTPUT_ASCII
 197 endif
 198
 199 ifeq (on,$(LID_DRIVEN_CAVITY))
 200   PP_FLAGS += $(D)LID_DRIVEN_CAVITY
 201 endif
 202
 203 ifeq (avx,$(ISA))
 204   PP_FLAGS += $(D)VECTOR_AVX
 205 endif
 206 ifeq (sse,$(ISA))
 207   PP_FLAGS += $(D)VECTOR_SSE
 208 endif
 209
 210 # Required for posix_memalign
 211 PP_FLAGS += $(D)_POSIX_C_SOURCE=200112L
 212
 213 ifeq (on,$(LIKWID))
 214   PP_FLAGS += $(LIKWID_INC) $(D)HAVE_LIKWID
 215   LD_LIBS  += $(LIKWID_LIB) -llikwid
 216 endif
 217
 218
 219 ifeq (dp,$(PRECISION))
 220   PP_FLAGS += $(D)PRECISION_DP
 221   PREC=-dp
 222 else
 223 ifeq (sp,$(PRECISION))
 224   PP_FLAGS += $(D)PRECISION_SP
 225   PREC=-sp
 226 else
 227   $(error PRECISION is only be allowed to be sp (single precision) or dp (doble precision))
 228 endif
 229 endif
 230
 231 # ARCH can only be assigned a string without a space. The space is escaped as
 232 # a comma which we have to replace here.
 233
 234 ifdef TARCH
 235   ARCH_W_COMMA := $(TARCH)
 236
 237   COMMA_ := ,
 238   override TARCH := $(subst $(COMMA_), ,$(TARCH))
 239
 240   $(info $(shell echo -e "\n$(COLOR_GREEN)INFO: Automatically expanding comma in TARCH variable:  TARCH=$(TARCH).$(COLOR_NO)\n"))
 241
 242 endif
 243
 244 .phony: all clean clean-all
 245
 246 #$(info $(shell $(ECHO_E) "# Configuration:   CONFIG=$(COLOR_CYAN)$(CONFIG)$(COLOR_NO)   BUILD=$(COLOR_CYAN)$(BUILD)$(COLOR_NO)   VERIFICATION=$(COLOR_CYAN)$(VERIFICATION)$(COLOR_NO)   STATISTICS=$(COLOR_CYAN)$(STATISTICS)$(COLOR_NO)   VTK_OUTPUT=$(COLOR_CYAN)$(VTK_OUTPUT)$(COLOR_NO)  OPENMP=$(COLOR_CYAN)$(OPENMP)$(COLOR_NO)   ISA=$(COLOR_CYAN)$(ISA)$(COLOR_NO)   LIKWID=$(COLOR_CYAN)$(LIKWID)$(COLOR_NO)   TARCH=$(COLOR_CYAN)$(TARCH)$(COLOR_NO)   building $(.DEFAULT_GOAL)..."))
 247
 248 $(info $(shell $(ECHO_E) "# Configuration: CONFIG=$(COLOR_CYAN)$(CONFIG)$(COLOR_NO)   BUILD=$(COLOR_CYAN)$(BUILD)$(COLOR_NO)  PRECISION=$(COLOR_CYAN)$(PRECISION)$(COLOR_NO)"))
 249 $(info $(shell $(ECHO_E) "#                OPENMP=$(COLOR_CYAN)$(OPENMP)$(COLOR_NO)   ISA=$(COLOR_CYAN)$(ISA)$(COLOR_NO)   LIKWID=$(COLOR_CYAN)$(LIKWID)$(COLOR_NO)"))
 250 $(info $(shell $(ECHO_E) "#                VERIFICATION=$(COLOR_CYAN)$(VERIFICATION)$(COLOR_NO)   STATISTICS=$(COLOR_CYAN)$(STATISTICS)$(COLOR_NO)   VTK_OUTPUT=$(COLOR_CYAN)$(VTK_OUTPUT)$(COLOR_NO)"))
 251 $(info $(shell $(ECHO_E) "#                      target=$(.DEFAULT_GOAL)"))
 252
 253 $(info # Object dir:      $(OBJECT_DIR))
 254 $(info # Dependency dir:  $(DEP_DIR))
 255 # $(info # objects:        $(OBJ))
 256
 257 BIN_DIR=../bin
 258
 259 all: $(BIN_DIR)/lbmbenchk-$(CONFIG)-$(BUILD)$(BUILD_CONFIG)$(PREC)$(TAG)
 260
 261
 262 # ------------------------------------------------------------------------
 263 # TODO: Include dependencies, if they exist and no clean target is specified.
 264
 265 #ifeq (,$(SKIP_DEP_INCLUDE))
 266 #  ifneq (,$(OBJ))
 267 #    TMP_OBJ__ = $(patsubst $(OBJECT_DIR)/%,$(DEP_DIR)/%,$(OBJ))
 268 #    $(warning TMP_OBJ__: $(TMP_OBJ__))
 269 #    $(warning OBJ: $(OBJ))
 270 #    $(warning DEPS:      $(patsubst %.o,%.d,$(TMP_OBJ__)))
 271 #    $(warning $(patsubst $(OBJECT_DIR)/%.o,$(DEP_DIR)/%.d,$(OBJ)))
 272     -include $(patsubst $(OBJECT_DIR)/%.o,$(DEP_DIR)/%.d,$(OBJ))
 273 #  endif
 274 #endif
 275
 276
 277 $(BIN_DIR):
 278         [ -d "$@" ] || mkdir -p "$@"
 279
 280 $(BIN_DIR)/lbmbenchk-$(CONFIG)-$(BUILD)$(BUILD_CONFIG)$(PREC)$(TAG): $(OBJ) $(REBUILD_DEPS) $(DEP_DIR)/.target | $(BIN_DIR)
 281         @$(ECHO_E) "linking: $(COLOR_CYAN)$@$(COLOR_NO)"
 282         $(LD) $(LD_FLAGS) -o $@ $(filter-out $(REBUILD_DEPS),$^) $(LD_LIBS)
 283         @$(ECHO_E) "# Builded binary:      $(COLOR_CYAN)$@$(COLOR_NO)"
 284         @$(ECHO_E) "# Configuration was:   CONFIG=$(COLOR_CYAN)$(CONFIG)$(COLOR_NO)   BUILD=$(COLOR_CYAN)$(BUILD)$(COLOR_NO)  PRECISION=$(COLOR_CYAN)$(PRECISION)$(COLOR_NO)"
 285         @$(ECHO_E) "#                      OPENMP=$(COLOR_CYAN)$(OPENMP)$(COLOR_NO)   ISA=$(COLOR_CYAN)$(ISA)$(COLOR_NO)   LIKWID=$(COLOR_CYAN)$(LIKWID)$(COLOR_NO)"
 286         @$(ECHO_E) "#                      VERIFICATION=$(COLOR_CYAN)$(VERIFICATION)$(COLOR_NO)   STATISTICS=$(COLOR_CYAN)$(STATISTICS)$(COLOR_NO)   VTK_OUTPUT=$(COLOR_CYAN)$(VTK_OUTPUT)$(COLOR_NO)"
 287         @$(ECHO_E) "#                      target=$(.DEFAULT_GOAL)"
 288
 289 $(OBJECT_DIR)/%_SoA.o: %.c $(REBUILD_DEPS)
 290         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_SOA$(COLOR_NO)"
 291         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_SOA -c $< -o $@
 292
 293 $(OBJECT_DIR)/%_PushSoA.o: %.c $(REBUILD_DEPS)
 294         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_SOA$(COLOR_NO) $(COLOR_MAGENTA)PROP_MODEL_PUSH$(COLOR_NO)"
 295         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_SOA $(D)PROP_MODEL_PUSH -c $< -o $@
 296
 297 $(OBJECT_DIR)/%_PushAoS.o: %.c $(REBUILD_DEPS)
 298         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_AOS$(COLOR_NO) $(COLOR_MAGENTA)PROP_MODEL_PUSH$(COLOR_NO)"
 299         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_AOS $(D)PROP_MODEL_PUSH -c $< -o $@
 300
 301 $(OBJECT_DIR)/%_PullSoA.o: %.c $(REBUILD_DEPS)
 302         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_SOA$(COLOR_NO) $(COLOR_MAGENTA)PROP_MODEL_PULL$(COLOR_NO)"
 303         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_SOA $(D)PROP_MODEL_PULL -c $< -o $@
 304
 305 $(OBJECT_DIR)/%_PullAoS.o: %.c $(REBUILD_DEPS)
 306         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_AOS$(COLOR_NO) $(COLOR_MAGENTA)PROP_MODEL_PULL$(COLOR_NO)"
 307         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_AOS $(D)PROP_MODEL_PULL -c $< -o $@
 308
 309 $(OBJECT_DIR)/%_AoS.o: %.c $(REBUILD_DEPS)
 310         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_AOS$(COLOR_NO)"
 311         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_AOS -c $< -o $@
 312
 313 $(OBJECT_DIR)/%_AaAoS.o: %.c $(REBUILD_DEPS)
 314         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_AOS$(COLOR_NO) $(COLOR_MAGENTA)PROP_MODEL_AA$(COLOR_NO)"
 315         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_AOS $(D)PROP_MODEL_AA -c $< -o $@
 316
 317 $(OBJECT_DIR)/%_AaSoA.o: %.c $(REBUILD_DEPS)
 318         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)    $(COLOR_MAGENTA)DATA_LAYOUT_SOA$(COLOR_NO) $(COLOR_MAGENTA)PROP_MODEL_AA$(COLOR_NO)"
 319         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) $(D)DATA_LAYOUT_SOA $(D)PROP_MODEL_AA -c $< -o $@
 320
 321 $(OBJECT_DIR)/%.o: %.c $(REBUILD_DEPS)
 322         @$(ECHO_E) "compiling: $(COLOR_CYAN)$@$(COLOR_NO)"
 323         $(CC) $(strip $(C_FLAGS)) $(strip $(PP_FLAGS)) -c $< -o $@
 324
 325
 326 # ------------------------------------------------------------------------
 327 # Following targets in princibal make only sure, that the directories
 328 # are created if the do not exist already.
 329
 330 $(DEP_DIR)/.target:
 331         $(Q)$(MKDIR_P) $(DEP_DIR)
 332         $(Q)$(TOUCH) $@
 333
 334 # ------------------------------------------------------------------------
 335 # Current configuration.
 336 MAKE_CFG = SYSTEM=$(SYSTEM) // BUILD=$(BUILD) // MAKEOVERRIDES=\"$(strip $(MAKEOVERRIDES))\" // VERIFICATION=$(VERIFICATION) // STATISTICS=$(STATISTICS) // VTK_OUTPUT=$(VTK_OUTPUT) // VTK_OUTPUT_ASCII=$(VTK_OUTPUT_ASCII) // LID_DRIVEN_CAVITY=$(LID_DRIVEN_CAVITY) // ISA=$(ISA) // LIKWID=$(LIKWID) // PRECISION=$(PRECISION)
 337
 338 # Compare current configuration to the last one so we know when to
 339 # rebuild this system/target despite when sources have not changed.
 340 $(OBJECT_DIR)/.target::
 341         $(Q)$(MKDIR_P) $(OBJECT_DIR)
 342         @ ( [ -f $(OBJECT_DIR)/.target ] && $(ECHO) $(MAKE_CFG) | $(CMP) -s $(OBJECT_DIR)/.target - )           \
 343        || ( $(ECHO) $(MAKE_CFG) > $(OBJECT_DIR)/.target; $(ECHO) "# configuration variables changed, rebuilding ..." )
 344
 345
 346 clean:
 347         -rm $(OBJECT_DIR)/*.o $(DEP_DIR)/*.d
 348
 349 clean-all:
 350         -[ -d obj ] && rm -r obj