Accelerate the preprocess procedure by parallelization

[ju-liu]

In at least two parts, the procedure can be accelerated by an OpenMP type parallelization:

1. In the convection from gmsh to vtu, the loop over element can be parallelized;
2. In the partition of the mesh file, the generation of part file can be parallelized.

[Chongran-Zhao]

I have parallelize part of following functions in a new branch [openmp-dev-linux] of repo called M3C-Lab/PERIGEE-viv2022:

• GmshFIleIO::write_vtp() in M3C-Lab/PERIGEE-viv2022/src/Mesh/
• GmshFileIO::write_each_vtu() in M3C-Lab/PERIGEE-viv2022/src/Mesh/
• Part_Tet::Generate_Partition() in M3C-Lab/PERIGEE-viv2022/src/Mesh/
• NodalBC_3D_FSI::NodalBC_3D_FSI() in M3C-Lab/PERIGEE-viv2022/examples/tet4_fsi/src/
• NodalBC_3D_vtu::NodalBC_3D_vtu() in M3C-Lab/PERIGEE-viv2022/src/Mesh/.

[ju-liu]

• openmp的计时功能
• openmp的配置
• openmp的报错信息处理

[ju-liu]

https://cliutils.gitlab.io/modern-cmake/chapters/packages/OpenMP.html

[ju-liu]

https://stackoverflow.com/questions/49816206/cmake-find-package-specify-path

[ju-liu]

https://stackoverflow.com/questions/56166109/detect-at-runtime-if-openmp-is-being-used-in-a-c-program

[Chongran-Zhao]

使用cmake自带的FindOpenMP.cmake进行配置，在system_lib_loading.cmake内修改

• 添加：

set(OpenMP_ROOT /Users/chongran/lib/lib-omp)

find_package(OpenMP REQUIRED)

include_directories(${OpenMP_CXX_INCLUDE_DIR})

set(EXTRA_LINK_LIBS ${EXTRA_LINK_LIBS} ${OpenMP_CXX_LIBRARIES})

if(OPENMP_CXX_FOUND) 
  set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
endif()

• 修改：

if( ${CMAKE_BUILD_TYPE} MATCHES "Release" )
  set(CMAKE_CXX_FLAGS " -O3 -Wall ")
else( ${CMAKE_BUILD_TYPE} MATCHES "Release" )
  set(CMAKE_CXX_FLAGS " -DENABLE_TEST -O0 -Wall ")
endif( ${CMAKE_BUILD_TYPE} MATCHES "Release" )

变为

if( ${CMAKE_BUILD_TYPE} MATCHES "Release" )
  set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -O3 -Wall ")
else( ${CMAKE_BUILD_TYPE} MATCHES "Release" )
  set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -DENABLE_TEST -O0 -Wall ")
endif( ${CMAKE_BUILD_TYPE} MATCHES "Release" )

[ju-liu]

Conditional use of OpenMP

https://stackoverflow.com/questions/56717411/control-conditional-openmp-in-define-macro

[ju-liu]

https://stackoverflow.com/questions/45477355/difference-between-pragma-and-pragma-in-c

[ju-liu]

https://www.dealii.org/current/doxygen/deal.II/config_8h_source.html

[ju-liu]

我们或许可以调控对每个exeutable文件的编译flag，参考这个
https://stackoverflow.com/questions/24238937/how-to-change-a-compiler-flag-for-just-one-executable-in-cmake

@ZhaoChongran

[ju-liu]

• 我们需要在cmake中控制，仅使用openmp于preprocessor的编译过程中

• 我们还需要在程序里面设置omp_num_threads，避免环境变量里面没有设置这个参数。

• 我们需要在Sys_Tools中加入一个 print函数 能够把当前的线程个数打印出来。

@ZhaoChongran

[Chongran-Zhao]

收到

[Chongran-Zhao]

我将OpenMP的配置转移到了gosh_to_vtk的CMakeLists.txt中，并且通过测试，对于Preprocess的单独链接，可以等到Preprocess改完之后再进行调整。

[Chongran-Zhao]

我在Sys_Tools.hpp中加入了一个宏用于设置线程数的大小，并且在GmshIO的构造函数中调用了设置线程数的函数：

[Chongran-Zhao]

增加了打印线程数的函数：

[ju-liu]

不知道是否有根据系统来设置线程数的手段

[Chongran-Zhao]

• OpenMP存在一个函数omp_get_num_procs()，可以获取系统的处理器个数（核数），或者通过cmake -DOMP_NUM_THREADS=32来定义一个值为32的宏，在构造函数中omp_set_num_threads(OMP_NUM_THREADS)来定义线程数。

• /examples/ns/的预处理部分经过测试，只需要并行Generate_Partition()这个函数，另外在CMakeLists.txt中进行修改，令OpenMP只链接到预处理部分：TARGET_LINK_LIBRARIES( perigee_preprocess ${OpenMP_CXX_LIBRARIES} )，无需在system_lib_loading.cmake内添加内容，已经上传。

[Chongran-Zhao]

由于openmp在Sys_Tool.hpp的头文件中，而cmake貌似无法对hpp文件指定编译选项，暂时只能修改全局的编译选项。

[Chongran-Zhao]

已完成的预处理并行化：
preprocess_ns.cpp中：

• Part_FEM类的构造函数和内部的Generate_Partition()函数
• NBC_Partition类的构造函数
• NBC_Partition_inflow类的构造函数
• EBC_Partition_outflow类的构造函数
  以上使用h5diff对比，无任何区别，目前正在并行FSI的预处理部分。

[Chongran-Zhao]

OpenMP detail

• In PERIGEE/examples/ns/preprocess_ns.cpp
  • 在剖分循环内，Part_FEM()的构造函数中使用的Generate_Partition()函数中使用了三处。
  • 在剖分循环内，NBC_Partition()的构造函数中使用了一处。
• In PERIGEE/examples/fsi/preprocess_fsi.cpp
  • 在剖分区域外，检查网格质量时使用了三处。
  • 在剖分循环内，Part_FEM_FSI()的构造函数中使用了两处，构造函数内还调用了已经并行好的Generate_Partition()。

OpenMP Performance Test

设备信息：

• cpu型号：Apple M2 Pro
• cpu核心数：12
• cpu线程数：12

gmsh_to_vtk

• NS
  • 二阶TET单元：73万个单元，90万个节点
  • 二阶HEX单元：15万个单元，90万个节点
• FSI
  • 二阶TET单元：9万个单元，11万个节点
  • 二阶HEX单元：3万个单元，22万个节点

线程数	NS-二阶TET单元	NS-二阶HEX单元	FSI-二阶TET单元	FSI-二阶HEX单元
1	143.04	72.33	158.58	282.71
2	111.31	59.86	102.06	183.95
4	75.86	42.97	55.37	97.97
8	58.07	33.07	29.82	51.60
16	48.43	29.07	20.36	34.12

单位：秒(s)

preprocess

• NS
  • 二阶TET单元：16万个单元，22万个节点
• FSI
  • 一阶TET单元：25万个单元，4万个节点

线程数	NS-二阶TET单元	FSI-一阶TET单元
1	170.02	69.65
2	141.18	52.62
4	109.52	38.57
8	90.57	29.00
16	80.93	25.68

单位：秒(s)

注：目前ns/preprocess_ns.cpp和fsi/preprocss_fsi.cpp均不支持HEX单元，preprocess_fsi.cpp只支持一阶TET单元。

[ju-liu]

@ZhaoChongran
我把zhao-dev在 7fffe9e 合并到了主分支里面。

我做的改动是在每个example的cmake的最后添加了一个对openmp的链接指令。包括使用特定的编译指令(SET_TARGET_PROPERTIES)， 添加头文件的地址（TARGET_INCLUDE_DIRECTORIES），链接库（TARGET_LINK_LIBRARIES）。这一动作保证了仅对特定的库和可执行文件进行openmp的链接。

相应的，在tools/gmsh_to_vtk中，我也改动了cmake文件。可以编译。但我手头没有合适的测试文件。你可以跑一下。

[Chongran-Zhao]

没有问题。