172 lines
11 KiB
Makefile
172 lines
11 KiB
Makefile
####################################################################
|
|
## pljava的编译说明
|
|
###################################################################
|
|
|
|
### pljava编译步骤
|
|
1. pljava编译必须在执行configure和make install之后，因为里面需要使用configure生成的Makefile和utils/errcodes.h文件（注意，make install编译失败也没有关系，只需要保证utils/errcodes.h等文件生成了即可）
|
|
2. 执行git clean -xdf保证干净的源代码目录
|
|
3. 然后执行./build.sh -m all完成编译
|
|
|
|
### pljava编译策略
|
|
1. libpljava.so和pljava.jar是PLJAVA必须的两个组件，在完成gaussdb的编译以后，libpljava.so将存放于$GAUSSHOME/lib/libpljava.so，pljava.jar将存放于$GAUSSHOME/lib/postgresql/java/pljava.jar
|
|
2. udstools.py是针对云上DWS，使用gs_extend_library上传OBS中的jar包时必须使用的，因一般不会变更，因此udstools.py会预先编译好，存放在Code/binarylibs/xxxxx(当前平台)/pljava/下，同时通过git跟踪修改。
|
|
3. 因考虑到PLJAVA中的JAVA代码一般不会变更，且仅依赖于JDK构建工具，同时.jar也是跨平台的，因此pljava.jar会预先编译好，而不是每次编译gaussdb时都进行编译。预先编译好的pljava.jar会存放在Code/binarylibs/xxxxx(当前平台)/pljava/下，同时通过git跟踪修改。
|
|
4. 因考虑到PLJAVA中的C代码的编译依赖于内核代码，而内核代码会高频率改动，因此libpljava.so会随着gaussdb的编译每次进行编译
|
|
|
|
####################################################################
|
|
## pljava build.sh编译选项详解
|
|
####################################################################
|
|
|
|
### ./build.sh -m all
|
|
该命令等价于顺序执行如下命令：
|
|
./build.sh -m build
|
|
./build.sh -m shrink
|
|
./build.sh -m dist
|
|
./build.sh -m clean
|
|
|
|
### ./build.sh -m build
|
|
该命令主要用于从一个干净的库(源代码还处于压缩包状态)去编译pljava.jar和pljava.so，该命令的执行过程为：
|
|
1. 对源文件pljava_1.5.2_src.zip中的pljava-1_5_2.tar.gz进行解压
|
|
2. 使用huawei_pljava.patch对源打上patch，此时会得到udstools.py、patch后用于编译的pljava代码，以及用于编译的Makefile，
|
|
并在打完patch以后进入到代码目录plajva-1.5.2中
|
|
3. 执行make -sj pljava，此时会按照如下步骤进行编译
|
|
-3.1 编译pljava-api.jar
|
|
-3.2 编译pljava.jar，pljava.jar依赖pljava-api.jar，必须pljava-api.jar编译完成才能够对pljava.jar进行编译，因为编译时需要使用pljava-api.jar中的函数，最后会将编译出来的jar包跟pljava-api.jar压缩在一起形成新的最终的pljava.jar
|
|
-3.3 然后利用javah命令对pljava.jar生成的.h文件，javah依赖3.2编译出的pljava/target/class目录下的.class文件
|
|
4. 执行make -sj all, 此时会按照如下步骤进行编译
|
|
-4.1 重复步骤3，但是没关系，Makefile会发现并没有新增修改，因此不会重复编译
|
|
-4.2 执行make pljava_so生成libpljava.so，libpljava.so依赖javah，即3.3所生成的.h头文件
|
|
-4.3 将编译出的libpljava.so放在pljava/target/libpljava.so下，然后放到lib目录中
|
|
5. 执行make，make跟make all是等价的，相当于也是重复执行，但是没关系，Makefile会发现没有新增修改，因此不会重复编译
|
|
最后得到的有用文件为：
|
|
./pljava-1_5_2/udstools.py
|
|
./pljava-1_5_2/lib/libpljava.so
|
|
./pljava-1_5_2/pljava/target/pljava.jar
|
|
|
|
### ./build.sh -m shrink
|
|
该命令的作用是将有用的文件复制出来。
|
|
每个开源软件完成编译后，其有效文件都是存储在这自己目录下的install_comm_dist和install_llt_dist两个目录中。
|
|
其中install_llt_dist是用来支撑蝴蝶工具扫描的，install_comm_dist内则是最终使用的文件。
|
|
两者的编译选项可能存在不同。但是对PLJAVA来说，并未进行区分。
|
|
该命令的具体执行过程为：
|
|
1. 复制./pljava-1_5_2/lib/libpljava.so到install_comm_dist/lib和install_llt_dist/lib下
|
|
2. 复制./pljava-1_5_2/udstools.py和./pljava-1_5_2/pljava/target/pljava.jar到install_comm_dist/java和install_llt_dist/java下
|
|
|
|
### ./build.sh -m dist
|
|
该命令将install_comm_dist和install_llt_dist复制到当前平台的Code/binarylibs/xxxxx(当前平台)/pljava/下。
|
|
只有复制到Code/binarylibs/xxxxx(当前平台)/pljava/下，在编译gaussdb时才能使用上。
|
|
|
|
### ./build.sh -m clean
|
|
该命令用于清理。
|
|
将删除open_source/pljava下编译（包括临时）文件及log等，但不会清理放在Code/binarylibs/xxxxx(当前平台)/pljava/下的文件。
|
|
|
|
### ./build.sh -m only_so
|
|
该命令将只编译libpljava.so文件，并将其复制到Code/binarylibs/xxxxx(当前平台)/pljava/目录下。
|
|
它依赖于pljava-so/目录下源码文件，和pljava/target/javah-include下利用javah预先生成的.h文件。
|
|
它的具体执行步骤是：
|
|
1. 根据patch-mds5值判断是否需要重新打patch，如果需要则解压源文件并对源代码打patch
|
|
-1.1 判断是否存在tmp_id.dat文件，一旦编译过，那么就会存在tmp_id.dat文件，记录最后一次编译的patch的md5值
|
|
-1.2 如果1.1不存在，表示从未编译过；或文件存在，但里面的值与patch_ids.dat对比失败，则表示不是最新的patch，则重新打patch
|
|
2. 执行make pljava_so生成libpljava.so
|
|
3. 将libpljava.so复制到install_comm_dist/lib和install_llt_dist/lib
|
|
4. 将libpljava.so复制到Code/binarylibs/xxxxx(当前平台)/pljava/目录下
|
|
|
|
### ./build.sh -m patch_md5
|
|
该命令对huawei_pljava.patch生成md5并写入patch_ids.dat中
|
|
|
|
####################################################################
|
|
## 如何正确使用编译选项
|
|
####################################################################
|
|
|
|
### 何时使用./build.sh -m build
|
|
1. 首次编译PLJAVA，并希望保留patch后的代码进行再开发时
|
|
2. 修改了huawei_pljava.patch或升级替换JDK版本时，确保该命令可以正确编译并得到预期结果
|
|
|
|
### 何时使用./build.sh -m only_so
|
|
1. gaussdb在编译时会调用该命令去编译libpljava.so，用来保证如果内核代码变化，libpljava.so能够被正确的编译
|
|
2. 开发人员在对PLJAVA源码中的C代码进行开发过程中，需要多次对libpljava.so进行调试。
|
|
此时我们假设我们已经执行过./build.sh -m build，并在编译后的C源码上进行修改，那么此时只需要对libpljava.so进行编译即可。
|
|
编译后将libpljava.so拷贝到$GAUSSHOME/lib/libpljava.so下，重启集群即可测试新的libpljava.so了
|
|
|
|
### 何时使用./build.sh -m patch_md5
|
|
1. huawei_pljava.patch文件产生修改时（注意，PLJAVA代码变动时，需重新生成huawei_pljava.patch）
|
|
|
|
####################################################################
|
|
## 如何对PLJAVA进行开发
|
|
####################################################################
|
|
1. 执行git clean -xdf保证干净的源代码目录
|
|
2. 执行./build.sh -m build获取到打完patch后的最新的PLJAVA代码
|
|
3. 对最新的PLJAVA代码基础上进行开发
|
|
4. 开发完成后，应根据修改情况对代码仓中PLJAVA相关组件进行更新，请参考#哪些场景需要考虑PLJAVA编译问题
|
|
|
|
####################################################################
|
|
## 哪些场景需要考虑重新编译PLJAVA
|
|
####################################################################
|
|
### JDK升级
|
|
如果JDK版本进行了升级，则需要对PLJAVA进行重新编译。
|
|
目前编译pljava.jar所使用的是Code/buildtools/xxxxx(当前平台)/huaweijdk8/jdk1.8.0_262来进行编译，
|
|
为了保证pljava-so,pljava-api,pljava都可以单独编译，因此JAVA_HOME是硬编码到以下Makefile中（后续可以考虑改进）:
|
|
./pljava-1_5_2/Makefile
|
|
./pljava-1_5_2/pljava-so/Makefile
|
|
./pljava-1_5_2/pljava-api/Makefile
|
|
./pljava-1_5_2/pljava/Makefile
|
|
|
|
因此如果JDK版本进行了升级，则需要对PLJAVA进行重新编译。重新编译分为两种情况：
|
|
|
|
#### JDK为小版本升级，目录仍然为Code/buildtools/xxxxx(当前平台)/huaweijdk8/jdk1.8.0_262没变化
|
|
1. 执行git clean -xdf保证干净的源代码目录
|
|
2. 执行./build.sh -m all得到./install_comm_dist/java/pljava.jar
|
|
3. 将./install_comm_dist/java/pljava.jar拷贝到binarylibs的每个平台下
|
|
即：Code/binarylibs/xxxxx(所有平台）/pljava/comm/java/pljava.jar
|
|
4. 将./install_llt_dist/java/pljava.jar拷贝到binarylibs的每个平台下
|
|
即：Code/binarylibs/xxxxx(所有平台）/pljava/llt/java/pljava.jar
|
|
5. git add Code/binarylibs/xxxxx(所有平台)/pljava/*
|
|
6. git commit
|
|
|
|
#### JDK为大版本升级，目录已经变更为其他目录了
|
|
1. vi huawei_pljava.patch，搜索所有的JAVA_HOME，并将里面的路径（huaweijdk8/jdk1.8.0_262）修改为正确的路径，之后保存
|
|
2. 执行./build.sh -m patch_md5更新patch的md5值
|
|
3. 执行**JDK小版本升级**中的步骤1-4
|
|
4. git add Code/binarylibs/xxxxx(所有平台)/pljava/* huawei_pljava.patch patch_ids.dat
|
|
5. git commit
|
|
|
|
####################################################################
|
|
### PLJAVA中JAVA代码需变更
|
|
例如JDK进行大版本升级时，有可能PLJAVA中的JAVA代码存在兼容性问题需要适配，或者是因为版本上的某些整改等，
|
|
导致PLJAVA中的JAVA代码变化时，必须对PLJAVA进行重新编译
|
|
1. 如果开发过程中执行过编译，请清理掉所有的.class，.o以及javah编译出来的.h文件，它们一般会存放在各级的target目录下
|
|
2. 对修改后的pljava-1_5_2重命名为pljava-1_5_2-new（建议在其他目录也备份，因为很容易编译时误删）
|
|
3. 解压源文件，unzip pljava_1.5.2_src.zip && tar -xf pljava_1.5.2_src/pljava-1_5_2.tar.gz
|
|
4. 执行diff -ruN pljava-1_5_2 pljava-1_5_2-new > huawei_pljava.patch 生成新的patch文件
|
|
5. 执行./build.sh -m patch_md5更新patch的md5值
|
|
6. 执行**JDK小版本升级**中的步骤1-4
|
|
7. git add Code/binarylibs/xxxxx(所有平台)/pljava/* huawei_pljava.patch patch_ids.dat
|
|
8. git commit
|
|
|
|
### PLJAVA中C代码需变更
|
|
完成对pljava-so目录下的C代码的开发后，需要更新PLJAVA中的patch，以保证gaussdb编译时能够获得最新的libpljava.so
|
|
1. 执行**PLJAVA中JAVA代码需变更**的步骤1-5
|
|
2. git add huawei_pljava.patch patch_ids.dat
|
|
3. git commit
|
|
|
|
####################################################################
|
|
### PLJAVA中udstools.py变更
|
|
例如安全告警需要对udstools.py进行变更时，需要重新处理
|
|
1. 如果新的udstools.py的总行数未变化，则仅需要修改huawei_pljava.patch。
|
|
vi huawei_pljava.patch，搜索udstools.py，在其中进行修改
|
|
2. 如果改动带来行数变化，则使用 diff -ruN udstools.py udstools.py-new，并将内容在huawei_pljava.patch中对应位置进行替换
|
|
3. 执行./build.sh -m patch_md5更新patch的md5值
|
|
4. 重命名新的udstools.py-new为udstools.py放置于binarylibs的每个平台下
|
|
即：Code/binarylibs/xxxxx(所有平台）/pljava/comm/udstools.py和Code/binarylibs/xxxxx(所有平台）/pljava/llt/udstools.py
|
|
5. git add Code/binarylibs/xxxxx(所有平台)/pljava/* huawei_pljava.patch patch_ids.dat
|
|
6. git commit
|
|
|
|
####################################################################
|
|
### PLJAVA中Makefile变更
|
|
1. 如果新的Makefile的总行数未变化，则仅需要修改huawei_pljava.patch
|
|
vi huawei_pljava.patch，搜索对应的Makefile，在其中进行修改
|
|
2. 如果改动带来行数变化，则使用 diff -ruN Makefile Makefile-new，并将内容在huawei_pljava.patch中对应位置进行替换
|
|
3. 执行./build.sh -m patch_md5更新patch的md5值
|
|
4. git add huawei_pljava.patch patch_ids.dat
|
|
5. git commit
|