jjb/cloud-infra/scripts/generate-change-metadata.sh

   1 #!/bin/bash
   2
   3 # ============LICENSE_START=======================================================
   4 #  Copyright (C) 2019 The Nordix Foundation. All rights reserved.
   5 # ================================================================================
   6 # Licensed under the Apache License, Version 2.0 (the "License");
   7 # you may not use this file except in compliance with the License.
   8 # You may obtain a copy of the License at
   9 #
  10 #      http://www.apache.org/licenses/LICENSE-2.0
  11 #
  12 # Unless required by applicable law or agreed to in writing, software
  13 # distributed under the License is distributed on an "AS IS" BASIS,
  14 # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  15 # See the License for the specific language governing permissions and
  16 # limitations under the License.
  17 #
  18 # SPDX-License-Identifier: Apache-2.0
  19 # ============LICENSE_END=========================================================
  20
  21
  22 set -o nounset
  23 set -o errexit
  24 set -o pipefail
  25
  26 # NOTE (fdegir): in case if a change depends on another open change in different repo
  27 # we determine it here and override the version and refspec for that repo
  28 function determine_dependency() {
  29   echo "Info  : Determining dependency"
  30   echo "Info  : Commit message is"
  31   echo "-------------------------------------------------------------------------"
  32   echo "$GERRIT_CHANGE_COMMIT_MESSAGE"
  33   echo "-------------------------------------------------------------------------"
  34
  35   if ! echo "$GERRIT_CHANGE_COMMIT_MESSAGE" | grep -qs "^Depends-On:"; then
  36     echo "Info  : No dependency found"
  37     return
  38   else
  39     echo "Info  : Dependency found!"
  40     DEPENDENT_CHANGE_ID=$(echo "$GERRIT_CHANGE_COMMIT_MESSAGE" | grep "^Depends-On:" | cut -d":" -f2 | sed 's/\s*//g')
  41   fi
  42
  43   echo "Info  : Processing change $DEPENDENT_CHANGE_ID"
  44   declare -a DEPENDENT_CHANGE_METADATA
  45   readarray -t DEPENDENT_CHANGE_METADATA < <(curl -s "https://gerrit.nordix.org/changes/?q=$DEPENDENT_CHANGE_ID&o=CURRENT_REVISION" 2>&1 \
  46       | grep "project\|status\|current_revision\|ref\".*," | sed -e 's/\s//g' -e 's/,//g' -e 's/"//g'| cut -d: -f2)
  47
  48   # NOTE (fdegir): check if the dependeny change exists
  49   # and ignore if it doesn't
  50   if [[ -z "${DEPENDENT_CHANGE_METADATA+x}" ]]; then
  51     echo "Warn  : Unable to determine dependent change. Ignoring dependency!"
  52     return
  53   fi
  54
  55   DEPENDENT_CHANGE_PROJECT="${DEPENDENT_CHANGE_METADATA[0]}"
  56   DEPENDENT_CHANGE_STATUS="${DEPENDENT_CHANGE_METADATA[1]}"
  57   DEPENDENT_CHANGE_REVISION="${DEPENDENT_CHANGE_METADATA[2]}"
  58   DEPENDENT_CHANGE_REFSPEC="${DEPENDENT_CHANGE_METADATA[3]}"
  59   echo "-------------------------------------------------------------------------"
  60   echo "        DEPENDENT_CHANGE_PROJECT=$DEPENDENT_CHANGE_PROJECT"
  61   echo "        DEPENDENT_CHANGE_STATUS=$DEPENDENT_CHANGE_STATUS"
  62   echo "        DEPENDENT_CHANGE_REVISION=$DEPENDENT_CHANGE_REVISION"
  63   echo "        DEPENDENT_CHANGE_REFSPEC=$DEPENDENT_CHANGE_REFSPEC"
  64   echo "-------------------------------------------------------------------------"
  65
  66   # NOTE (fdegir): we only follow the dependency if the change status is NEW
  67   if [[ "$DEPENDENT_CHANGE_STATUS" != "NEW" ]]; then
  68     echo "Warn  : Change is not open. Ignoring dependency!"
  69     return
  70   fi
  71
  72   # NOTE (fdegir): we do not accept dependency of a change that is sent to same project as the dependent change
  73   if [[ "$DEPENDENT_CHANGE_PROJECT" == "$GERRIT_PROJECT" ]]; then
  74     echo "Warn  : Change is for the same project. Ignoring dependency!"
  75     return
  76   fi
  77
  78   DEPENDENT_COMPONENT="${DEPENDENT_CHANGE_PROJECT//*\//}"
  79
  80   echo "# dependent change" >> "$CHANGE_METADATA_FILE"
  81
  82   # NOTE (fdegir): if dependent change is on stack repo, we need to treat it
  83   # differently
  84   if [[ "$DEPENDENT_CHANGE_PROJECT" =~ /stack/ ]]; then
  85     # set vars
  86     echo "STACK_TYPE=$DEPENDENT_COMPONENT" >> "$CHANGE_METADATA_FILE"
  87     echo "STACK_VERSION=$DEPENDENT_CHANGE_REVISION" >> "$CHANGE_METADATA_FILE"
  88     echo "STACK_REFSPEC=$DEPENDENT_CHANGE_REFSPEC" >> "$CHANGE_METADATA_FILE"
  89   else
  90     echo "NORDIX_$(echo $DEPENDENT_COMPONENT | tr a-z A-Z)_VERSION=$DEPENDENT_CHANGE_REVISION" >> "$CHANGE_METADATA_FILE"
  91     echo "NORDIX_$(echo $DEPENDENT_COMPONENT | tr a-z A-Z)_REFSPEC=$DEPENDENT_CHANGE_REFSPEC" >> "$CHANGE_METADATA_FILE"
  92   fi
  93
  94 }
  95
  96 # file to record change metadata
  97 export CHANGE_METADATA_FILE="$WORKSPACE/change.properties"
  98 /bin/rm -f "$CHANGE_METADATA_FILE"
  99
 100 echo "Info  : Generating change metadata"
 101
 102 # determine the project
 103 # this scripts is used by all engine repos so we need to determine what this change is for
 104 export ENGINE_COMPONENT="${GERRIT_PROJECT//*\//}"
 105
 106 # Check if we need to override the deploy scenario.
 107 if ! echo "$GERRIT_CHANGE_COMMIT_MESSAGE" | grep -qs "^Deploy-Scenario:"; then
 108   echo "Info  : No DEPLOY_SCENARIO override found."
 109 else
 110   echo "Info  : DEPLOY_SCENARIO override found!"
 111   echo "Info  : Before override: DEPLOY_SCENARIO=${DEPLOY_SCENARIO}"
 112   DEPLOY_SCENARIO=$(echo "$GERRIT_CHANGE_COMMIT_MESSAGE" | grep '^Deploy-Scenario:' | cut -d ":" -f2 | sed 's/\s*//g')
 113   export DEPLOY_SCENARIO
 114   echo "Info  : After override: DEPLOY_SCENARIO=${DEPLOY_SCENARIO}"
 115 fi
 116
 117 echo "Info  : Setting STACK_TYPE and STACK_VERSION"
 118 if [[ "$GERRIT_PROJECT" =~ /stack/ ]]; then
 119   # set vars
 120   export STACK_TYPE="$ENGINE_COMPONENT"
 121   export STACK_VERSION="$GERRIT_PATCHSET_REVISION"
 122   export STACK_REFSPEC="$GERRIT_REFSPEC"
 123
 124   # record vars to properties file
 125   echo "STACK_TYPE=$STACK_TYPE" >> "$CHANGE_METADATA_FILE"
 126   echo "DEPLOY_SCENARIO=$DEPLOY_SCENARIO" >> "$CHANGE_METADATA_FILE"
 127   echo "STACK_VERSION=$STACK_VERSION" >> "$CHANGE_METADATA_FILE"
 128   echo "STACK_REFSPEC=$STACK_REFSPEC" >> "$CHANGE_METADATA_FILE"
 129 elif [[ "$GERRIT_PROJECT" =~ /installer/ ]]; then
 130   # set vars
 131   case "${ENGINE_COMPONENT}" in
 132     kolla)
 133       export STACK_TYPE="openstack"
 134       echo "Info  : Deploy scenario is overriden by job to $DEPLOY_SCENARIO"
 135       ;;
 136     kubespray)
 137       export STACK_TYPE="kubernetes"
 138       echo "Info  : Deploy scenario is overriden by job to $DEPLOY_SCENARIO"
 139       ;;
 140     oom)
 141       export STACK_TYPE="onap"
 142       echo "Info  : Deploy scenario is overriden by job to $DEPLOY_SCENARIO"
 143       ;;
 144     *) echo "ERROR : Invalid engine component $ENGINE_COMPONENT"; exit 1;;
 145   esac
 146   export STACK_VERSION="$GERRIT_BRANCH"
 147
 148   # record vars to properties file
 149   echo "STACK_TYPE=$STACK_TYPE" >> "$CHANGE_METADATA_FILE"
 150   echo "DEPLOY_SCENARIO=$DEPLOY_SCENARIO" >> "$CHANGE_METADATA_FILE"
 151   echo "STACK_VERSION=$STACK_VERSION" >> "$CHANGE_METADATA_FILE"
 152   echo "NORDIX_$(echo $ENGINE_COMPONENT | tr a-z A-Z)_VERSION=$GERRIT_PATCHSET_REVISION" >> "$CHANGE_METADATA_FILE"
 153   echo "NORDIX_$(echo $ENGINE_COMPONENT | tr a-z A-Z)_REFSPEC=$GERRIT_REFSPEC" >> "$CHANGE_METADATA_FILE"
 154 else
 155   # NOTE (fdegir): if the change comes into provisioner repos, we need to set the stack type
 156   # properly for the jobs verifying those changes
 157   # set vars
 158   export STACK_TYPE="${STACK_TYPE:-kubernetes}"
 159   export STACK_VERSION=$GERRIT_BRANCH
 160
 161   # record vars to properties file
 162   echo "STACK_TYPE=$STACK_TYPE" >> "$CHANGE_METADATA_FILE"
 163   echo "DEPLOY_SCENARIO=$DEPLOY_SCENARIO" >> "$CHANGE_METADATA_FILE"
 164   echo "STACK_VERSION=$STACK_VERSION" >> "$CHANGE_METADATA_FILE"
 165   echo "NORDIX_$(echo $ENGINE_COMPONENT | tr a-z A-Z)_VERSION=$GERRIT_PATCHSET_REVISION" >> "$CHANGE_METADATA_FILE"
 166   echo "NORDIX_$(echo $ENGINE_COMPONENT | tr a-z A-Z)_REFSPEC=$GERRIT_REFSPEC" >> "$CHANGE_METADATA_FILE"
 167 fi
 168
 169 # global vars
 170 export NORDIX_ARM_HTTPS_URL="https://artifactory.nordix.org/artifactory"
 171 export ARTIFACT_ARM_FOLDER="gerrit"
 172 export BUILD_IDENTIFIER=$GERRIT_CHANGE_NUMBER
 173 export OFFLINE_INSTALLER_FILE="/tmp/${STACK_TYPE}-${GERRIT_BRANCH}-${DISTRO}.bsx"
 174 export BUILD_ARTIFACTS="/tmp/${STACK_TYPE}-${GERRIT_BRANCH}-${DISTRO}.bsx"
 175 export NORDIX_ARM_REPO="nordix-${STACK_TYPE}"
 176 export NORDIX_ARTIFACT_URL="$NORDIX_ARM_HTTPS_URL/$NORDIX_ARM_REPO/oss/$ARTIFACT_ARM_FOLDER/$BUILD_IDENTIFIER"
 177
 178 cat << EOF >> "$CHANGE_METADATA_FILE"
 179 BUILD_IDENTIFIER=$BUILD_IDENTIFIER
 180 BUILD_DATE=$(date '+%Y%m%d%H%M')
 181 BUILT_BY=$BUILD_URL
 182 DISTRO=$DISTRO
 183 CI_LOOP=$CI_LOOP
 184 ENGINE_SHA=$(git rev-parse HEAD)
 185 OFFLINE_INSTALLER_FILE=$OFFLINE_INSTALLER_FILE
 186 BUILD_ARTIFACTS=$BUILD_ARTIFACTS
 187 NORDIX_ARM_REPO=nordix-${STACK_TYPE}
 188 NORDIX_ARTIFACT_URL=$NORDIX_ARTIFACT_URL
 189 EOF
 190
 191 # NOTE (fdegir): we generated the change metadata file normally until here
 192 # we now determine the dependency as the last step to ensure we override vars
 193 determine_dependency
 194
 195 echo "Info  : Change metadata"
 196 echo "-------------------------------------------------------------------------"
 197 cat "$CHANGE_METADATA_FILE"
 198 echo "-------------------------------------------------------------------------"
 199
 200 # vim: set ts=2 sw=2 expandtab: