jjb/geode/apache-geode-test/execute_stressnew.sh

   1 #!/usr/bin/env bash
   2
   3 #
   4 # Licensed to the Apache Software Foundation (ASF) under one or more
   5 # contributor license agreements.  See the NOTICE file distributed with
   6 # this work for additional information regarding copyright ownership.
   7 # The ASF licenses this file to You under the Apache License, Version 2.0
   8 # (the "License"); you may not use this file except in compliance with
   9 # the License.  You may obtain a copy of the License at
  10 #
  11 #      http://www.apache.org/licenses/LICENSE-2.0
  12 #
  13 # Unless required by applicable law or agreed to in writing, software
  14 # distributed under the License is distributed on an "AS IS" BASIS,
  15 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16 # See the License for the specific language governing permissions and
  17 # limitations under the License.
  18 #
  19
  20 set -e
  21
  22 BASE_DIR=$(pwd)
  23
  24 SOURCE="${BASH_SOURCE[0]}"
  25 while [[ -h "$SOURCE" ]]; do # resolve $SOURCE until the file is no longer a symlink
  26   SCRIPTDIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
  27   SOURCE="$(readlink "$SOURCE")"
  28   [[ $SOURCE != /* ]] && SOURCE="$DIR/$SOURCE" # if $SOURCE was a relative symlink, we need to resolve it relative to the path where the symlink file was located
  29 done
  30 SCRIPTDIR="$( cd -P "$( dirname "$SOURCE" )" && pwd )"
  31
  32 function changes_for_path() {
  33   pushd geode >> /dev/null
  34     local path="$1" # only expand once in the line below
  35     # Get the last release tag on the branch
  36     local releaseTag=$(git describe --abbrev=0 --tags)
  37     local releaseBase=$(git rev-list -n 1 $releaseTag) || exit $?
  38
  39     if [[ "${releaseBase}" == "" ]]; then
  40       echo "Could not determine release base. Exiting..."
  41       exit 1
  42     fi
  43     git diff --name-only ${releaseBase} -- $path
  44   popd >> /dev/null
  45 }
  46
  47 UNIT_TEST_CHANGES=$(changes_for_path '*/src/test/java') || exit $?
  48 INTEGRATION_TEST_CHANGES=$(changes_for_path '*/src/integrationTest/java') || exit $?
  49 DISTRIBUTED_TEST_CHANGES=$(changes_for_path '*/src/distributedTest/java') || exit $?
  50 ACCEPTANCE_TEST_CHANGES=$(changes_for_path '*/src/acceptanceTest/java') || exit $?
  51 UPGRADE_TEST_CHANGES=$(changes_for_path '*/src/upgradeTest/java') || exit $?
  52
  53 CHANGED_FILES_ARRAY=( $UNIT_TEST_CHANGES $INTEGRATION_TEST_CHANGES $DISTRIBUTED_TEST_CHANGES $ACCEPTANCE_TEST_CHANGES $UPGRADE_TEST_CHANGES )
  54 NUM_CHANGED_FILES=${#CHANGED_FILES_ARRAY[@]}
  55
  56 echo "${NUM_CHANGED_FILES} changed tests"
  57
  58 if [[  "${NUM_CHANGED_FILES}" -eq 0 ]]
  59 then
  60   echo "No changed test files, nothing to test."
  61   exit 0
  62 fi
  63
  64 if [[ "${NUM_CHANGED_FILES}" -gt 25 ]]
  65 then
  66   echo "${NUM_CHANGED_FILES} is too many changed tests to stress test. Allowing this job to pass without stress testing."
  67   exit 0
  68 fi
  69
  70 TEST_TARGETS=""
  71
  72 function append_to_test_targets() {
  73   local target="$1"
  74   local files="$2"
  75   if [[ -n "$files" ]]
  76   then
  77     TEST_TARGETS="$TEST_TARGETS $target"
  78     for FILENAME in $files
  79     do
  80       SHORT_NAME=$(basename $FILENAME)
  81       SHORT_NAME="${SHORT_NAME%.java}"
  82       TEST_TARGETS="$TEST_TARGETS --tests $SHORT_NAME"
  83     done
  84   fi
  85 }
  86
  87 append_to_test_targets "repeatUnitTest" "$UNIT_TEST_CHANGES"
  88 append_to_test_targets "repeatIntegrationTest" "$INTEGRATION_TEST_CHANGES"
  89 append_to_test_targets "repeatDistributedTest" "$DISTRIBUTED_TEST_CHANGES"
  90 append_to_test_targets "repeatUpgradeTest" "$UPGRADE_TEST_CHANGES"
  91
  92 # Acceptance tests cannot currently run in parallel, so do not stress these tests
  93 #append_to_test_targets "repeatAcceptanceTest" "$ACCEPTANCE_TEST_CHANGES"
  94
  95 export GRADLE_TASK="compileTestJava compileIntegrationTestJava compileDistributedTestJava $TEST_TARGETS"
  96 export GRADLE_TASK_OPTIONS="--no-parallel -Prepeat=50 -PfailOnNoMatchingTests=false"
  97
  98 echo "---------------------------------------------------"
  99 echo "GRADLE_TASK_OPTIONS=${GRADLE_TASK_OPTIONS}"
 100 echo "GRADLE_TASK=${GRADLE_TASK}"
 101 echo "---------------------------------------------------"
 102
 103 REPODIR=$(cd geode; git rev-parse --show-toplevel)
 104
 105 if [[ ${PARALLEL_GRADLE:-"true"} == "true" ]]; then
 106   PARALLEL_GRADLE="--parallel"
 107 else
 108   PARALLEL_GRADLE="--no-parallel"
 109 fi
 110 DEFAULT_GRADLE_TASK_OPTIONS="${PARALLEL_GRADLE} --console=plain --no-daemon"
 111 GRADLE_SKIP_TASK_OPTIONS="-x javadoc -x spotlessCheck -x rat"
 112
 113 if [[ -n "${PARALLEL_DUNIT}" && "${PARALLEL_DUNIT}" == "true" ]]; then
 114   PARALLEL_DUNIT="-PparallelDunit -PdunitDockerUser=geode"
 115   if [ -n "${DUNIT_PARALLEL_FORKS}" ]; then
 116     DUNIT_PARALLEL_FORKS="-PdunitParallelForks=${DUNIT_PARALLEL_FORKS}"
 117   fi
 118 else
 119   PARALLEL_DUNIT=""
 120   DUNIT_PARALLEL_FORKS=""
 121 fi
 122
 123 case $ARTIFACT_SLUG in
 124   windows*)
 125     JAVA_BUILD_PATH=C:/java${JAVA_BUILD_VERSION}
 126     JAVA_TEST_PATH=C:/java${JAVA_TEST_VERSION}
 127     SEP=";"
 128     ;;
 129   *)
 130     JAVA_BUILD_PATH=/usr/lib/jvm/java-${JAVA_BUILD_VERSION}-openjdk-amd64
 131     JAVA_TEST_PATH=/usr/lib/jvm/java-${JAVA_TEST_VERSION}-openjdk-amd64
 132     SEP="&&"
 133     ;;
 134 esac
 135
 136 GRADLE_ARGS=" \
 137     -PcompileJVM=${JAVA_BUILD_PATH} \
 138     -PcompileJVMVer=${JAVA_BUILD_VERSION} \
 139     -PtestJVM=${JAVA_TEST_PATH} \
 140     -PtestJVMVer=${JAVA_TEST_VERSION} \
 141     ${PARALLEL_DUNIT} \
 142     ${DUNIT_PARALLEL_FORKS} \
 143     -PdunitDockerImage=\$(docker images --format '{{.Repository}}:{{.Tag}}' | grep test-container) \
 144     ${DEFAULT_GRADLE_TASK_OPTIONS} \
 145     ${GRADLE_SKIP_TASK_OPTIONS} \
 146     ${GRADLE_TASK} \
 147     ${GRADLE_TASK_OPTIONS} \
 148     ${GRADLE_GLOBAL_ARGS}"
 149
 150 EXEC_COMMAND="bash -c 'echo Building with: $SEP \
 151   ${JAVA_BUILD_PATH}/bin/java -version $SEP \
 152   echo Testing with: $SEP \
 153   ${JAVA_TEST_PATH}/bin/java -version $SEP \
 154   cd geode $SEP \
 155   cp gradlew gradlewStrict $SEP \
 156   sed -e 's/JAVA_HOME/GRADLE_JVM/g' -i.bak gradlewStrict $SEP \
 157   GRADLE_JVM=${JAVA_BUILD_PATH} ./gradlewStrict ${GRADLE_ARGS}'"
 158 echo "${EXEC_COMMAND}"
 159 eval "${EXEC_COMMAND}"
 160
 161 # Cleanup
 162 # Make sure all test containers are stopped and removed when tests are finished
 163 DOCKER_CONTAINERS=$(sudo docker ps -a -q 2> /dev/null)
 164 if [ -n "${DOCKER_CONTAINERS}" ]; then
 165   docker stop ${DOCKER_CONTAINERS} > /dev/null
 166   echo -e  "Removing containers with ID:"
 167   docker rm ${DOCKER_CONTAINERS}
 168 fi
 169