Enable scenario input for engine verify jobs

There will be cases where we need to specify the scenario to
verify the engine with. Most obvious example to this is while
adding newly implemented scenarios into sdf.yml.

Change-Id: Ia60ac75a9f65f9c29efd9804095f15e2338f9be9

Remove trailing quote in build description

Change-Id: I925f44c12afd0796cc03687664da1f076b6e596b

Use uri for sdf and stop setting DEPLOY_SCENARIO parameter

Change-Id: Ied5bd18d3b0090ee8d41810b4a68e30c5677b39f

Write change.properties file for scenario-verify jobs

Change-Id: Ia27182ee90377c470835745763427e05e21a03d6

Fix scenario verification jobs

Change-Id: I9d99820cd1d3493fa24d23b2af061fb455afa280

Create jobs to verify changes to scenarios

Currently only commit message based scenario determination is
in place. Determining the scenario based on the changed files
is yet to be implemented.

The scripts and the jobs will be refactored to increase the
reuse and reduce the duplication once the basic scenario verification
is working.

Change-Id: I4b936c955828f34f263e9825a465bba25e4688c1

Add push,rebase,verify jobs for Dublin branch of dcaegen2/collectors/datafile

Change-Id: Ib611f2e4670b03d9d49e4226fbed2203ea27ce65

Add push,rebase,verify jobs for Dublin branch of dcaegen2/collectors/datafile

Change-Id: Iff614492391b7c3df75b7854368910a6d8135cfb

Add rebase/push jobs for ONAP project so/docker-config

Change-Id: Ie83f387d16def5324cf14ed6423ddc593d4f30d4

Merge "Create jobs for microservice-generation in Acumos project"

Create jobs for microservice-generation in Acumos project

Change-Id: I0bb5315c5443aa44f7af191818a9379a5f61e868

Switch to functest-smoke suite for periodic jobs

Functest Smoke suite will be used for testing new versions of the
platform and the scenarios in order to decide if a certain version
should be promoted to the next level.

Change-Id: I1be4289b1d15e77d064033b8cba1f73546383e5e

Use correct slave label based on deploy type

Change-Id: If4e87b417a4164b2a58ef6e7fe84e281ebec574d

Configure jobs for baremetal deployments

Change-Id: Ie4a05e35c5109543fced915ef57ef678104d0624

Create jobs for license manager Acumos project

Change-Id: If73613f5fad81c7171b78ef70fc785351d6dcf74

Create jobs for acumos/kubernetes-client

Change-Id: Ie83d9c43a4b9c37a48e1107b7a41655754e99d9f

Merge "Reenable yardstick for virtual deployments"

Reenable yardstick for virtual deployments

The failures were probably due to instability of the cloud so attempting to reenable Yardstick to see if that is the case. If things don't work as expected, Yardstick might need to be disabled again.

This reverts commit 676634418826beb45e728d3e0e34be97a7a69ebe.

Change-Id: Iff081a4b72237e60e14b4c3a37aa00ed47e0dcdd

Move verify and periodic jobs to City Cloud instances

Change-Id: I56dc843cedf5992d78bf930455aa4dcdd9edb341

Disable yardstick for virtual deployments

Virtual deployments are not suited for running performance
tests as it can be seen in build history. As we are working
on bringing in baremetal in place, we can stop running yardstick
for virtual deployments which we already made it working.

Change-Id: Ic97fe7a60931e3b9e4b462fc9ff0134098e4ba27

Reduce ansible verbosity

Change-Id: Ice1ce68656bbf14ae9011513a13da1ec0c3335a1

Merge "acumos: Add jobs for federation project"

Add ENGINE_ANSIBLE_PARAMS to enable debugging

We add -vvv to the periodical jobs so that we can see what is going
on for the issues.

Change-Id: I650ec786787a0fb4535b8be6f6be0a5c3507d1f1

acumos: Add jobs for federation project

Change-Id: Ibff0a987919362299da7f13a8bc75969862e03a4

Gather macros used by jobs in same file

Nearly all the jobs use same macros so it is better to move
them to a file to ease the handling of them.

Change-Id: I46a9b1f7f1894b8994332f7dc42d7676043faf3b

Remove incorrectly added files to git

Change-Id: I445a3215e65db89e09fdfd13595e7fab6f92425a

bugfix: Use correct macros for cloud-infra-verify-engine jobs

Change-Id: Ib69dc57b7f7efbe4d88b5456ebce5818dfd8f8b3

Fix cloud-infra-periodic job build job macros

Change-Id: Ia83660b1a5bf9619bb2a9d077dabe056ebafb3f9

Adapt jobs to integrate yardstick

Integrating yardstick requires all jobs to be adapted accordingly.
- cloud-infra-test.sh: we now started using arguments to set values
explicitly.
- cloud-infra-periodic-engine.yaml: periodic runs now include yardstick
as well. it is ok to run yardstick kubernetes testing but it will probably
not work with an openstack deployment due to lower performance of virtual
deployments.
- cloud-infra-verify-engine.yaml: additional parameters are declared to
set variables explictly.
- cloud-infra-verify-test.yaml: we now verify changes coming to infra/test
repo for both of the test frameworks, functest and yardstick, to ensure
changes do not cause problems for any of these.

Change-Id: I2ec82bc7c0424ca190dcf51d032eec5e52855062

cloud-infra: Add periodic jobs to verify the stability

Change-Id: I3d96126b6a6da5655fd6612ef5b01a6672c9bab3

Add verify jobs for mirrored Acumos projects

This change adds globals for Acumos due to lack of namespacing
imported projects.

Using Acumos globals, verify jobs are created for portal-marketplace
and security-verification repos.

Change-Id: I53c1c4fc14c521732d3229a7116bfa3b2ddfb108

Chdir before removing the dir we are in

Change-Id: Ibc1b2bb41cdeed0c11a7d2491aecce89063e1b12

Remove WORKSPACE to ensure we can clone infra/test repo

Change-Id: I36c4a62608bd22fcda34be31b1a1a9eb8272249f

Ensure infra/test repo is cloned to WORKSPACE

Change-Id: I042ccceee6f1d66f65ede057acbd41908e92b0cc

Add jobs to verify changes sent to infra/test repo

This change adds jobs to verify changes sent to infra/test repo in
order to ensure changes do not break things as infra/test repo will
be used for gating, post-merge and periodic jobs and have blocking
effect.

The job is expected to run on a slave with an existing deployment.
See the comments in cloud-infra-verify-test.yaml for details.

Change-Id: Ibe6271bbfd71c0a0d599964189f64619b582da45

Rename cloud-infra-verify jjb file and the jobs

This change renames the existing cloud-infra-verify-jobs.yaml file
as cloud-infra-verify-engine.yaml in order to prepare for creating
jobs to verify changes sent to cloud-infra/test repository. The jobs
that will test changes sent to cloud-infra/test will be declared in
cloud-infra-verify-test.yaml.

The jobs that test changes coming to cloud-infra/engine repo are
also renamed from cloud-infra-verify-{distro}-virtual-master to
cloud-infra-verify-engine-{distro}-virtual-master.

Additional jobs will be created for verifying changes coming to
infra/swconfig and infra/hwconfig once we start utilizing these repos.

Apart from that, a comment to explain what the jobs declared in
cloud-infra-verify-deploy.yaml do, what are the prerequisies, and
so on are included.

Finally, support for ubuntu1604 is dropped as we moved to ubuntu18.04
and switched to coreos for ipa image.

Change-Id: I109637d51257fba7ccbae96128814e2974979089

cloud-infra: Reduce the noise in the log

Change-Id: If213c93daf840c535a4020a70356367227c069f7

cloud-infra: Use prebuilt deployment image

There is no point building deployment images over and over so
this change adds a parameter USE_PREBUILT_DEPLOYMENT_IMAGE and
sets it to true which instructs engine to download the image
from Nordix Artifactory before installing bifrost.

Change-Id: Idcc788a66908a56cf94ac58ae7a60c541f41f4dd

Add jobs for buscontroller/dbcapi repos

Change-Id: Iec3d8b4b30a9ca59788bc3c8957ed8cc2311db30
Signed-off-by: econwar <conor.ward@est.tech>

Merge "Add rebase/push jobs for SDNC/OAM"

Do not pipefail as pgrep returns non-zero exit code

Change-Id: I17c1d935058bc9d22bbccd8a4673f1ac0d323671

Add rebase/push jobs for SDNC/OAM

Change-Id: I861061197946033c66b799715c9a7c4201c7260b

Merge "Add rebase/push jobs for dcaegen2/deployments"

Adding oom/offline-installer JJB jobs

Change-Id: I5d2456301a97a1e0bee33adf0a84de3314b69ab7
Signed-off-by: eronkeo <ronan.keogh@est.tech>

Wait for package manager process to finish

Change-Id: Ibfceb987bb5f2d4281813c836d4ac5e0af466c32

Add rebase/push jobs for dcaegen2/deployments

Change-Id: I58bfab08b57dc03f060f38e507e81dc07ac5e796

Fix project name in acumos push-upstream job template

Change-Id: Ic80b2779d991748c13e376ef32167d95f7d8e849

Fix gerrit trigger for acumos push-upstream job template

Change-Id: I52bea4068f89f2414e4e0c977aeb774c31296b22

Add Acumos push-upstream jobs

Similar to change 620, this is a quick fix to get Acumos working.

Change-Id: I98fcc4dc21aca206327fd315b1c1e5c07f342e3c

Add Acumos Gerrit configuration and rebase jobs

Please note that this is a quick fix to get Acumos
work started. We need to group projects/jobs under
upstream project name to prevent name clashes and this
is a significant change, requiring more time to fix.

Change-Id: I77327ef1948ae28ff19b8813fcbfe5e90b928f4d

Merge "Add rebase/push/verify jobs for policy/drools-pdp"

Merge "Add verify jobs for aai"

Add rebase/push/verify jobs for policy/drools-pdp

Change-Id: I0cf1cdb7225f765d413659f73e2c295d8e4898bc
Signed-off-by: Hengye <yehui.wang@est.tech>

Add verify jobs for aai

Change-Id: I1c80d2535d36ef5cfbe7b75d800b46fbdbeea3db
Signed-off-by: rokenny <ronan.kenny@est.tech>

Add verify jobs for appc

Change-Id: Ic5a6359bf8fb81fa7267bbb66b0d7c1fd96607d2
Signed-off-by: rokenny <ronan.kenny@est.tech>

Merge "Add JJB Jobs for policy/engine and policy/xacml"

Add rebase/push/verify jobs for ccsdk/cds

Change-Id: I5c5b060054381fb7f43d618557f92ef1203f1e98
Signed-off-by: ottero <rodrigo.ottero@est.tech>

Add JJB Jobs for policy/engine and policy/xacml

Change-Id: Id6391eee746b8396f689a2190fb2291bed5fcce3
Signed-off-by: Hengye <yehui.wang@est.tech>

Add rebase/push jobs for CCSDK/APPS

Change-Id: I5c5b060044381bb7f43d618557f92ef1203f1e98
Signed-off-by: ottero <rodrigo.ottero@est.tech>

Add rebase/push jobs for aai/schema-service

Change-Id: I5c5b060044381bb7f43d618557f92ef1203f1e97
Signed-off-by: rokenny <ronan.kenny@est.tech>

Parameterize DIB OS variables and move to Ubuntu1804

Due to the issues with Ubuntu1604, the job is disabled until
further work is done and instead Ubuntu1804 job is enabled.

Apart from that, the variables used by DIB is parameterized
within job so we can run diffent distro jobs.

Change-Id: I1ad85e7c64873ac187081e8daae7cc0c61be9298

Adjust jobs based on supported distros

This change creates jobs for the distros we intend to support.
Ubuntu1804 and Centos7 jobs are placeholders and disabled so
they don't vote yet.

Slave labels are also adjusted accordingly.

Change-Id: I19cd87fc27d8bf8090650b899816e316397ba995

Add rebase/push jobs for APPC

Change-Id: I1808cf3d518b1bee28d97431c8f87fa7f78ae813
Signed-off-by: rokenny <ronan.kenny@est.tech>

cloud-infra: Pre-provisioned slaves and wait before using slave

Jenkins OpenStack instances doesn't really help in our case since the
job needs a slave where it can trigger creation of a slave from
OpenStack which will break the downstream triggering of job on same
slave. We instead fallback to pre-provisioned slaves.

Another issue is that when the instance first gets attached to Jenkins
as slave, it takes some time before it becomes fully functional so
we need to wait.

Change-Id: Ic77b81d2bbdd107cd1a506fc1e9f7ec6be6b3c1e

cloud-infra-jjb: Adjust configuration to make it work

This change attempts to fix build blocker, throttling and openstack slave
parameters.

Change-Id: I6277996d341f474681098e959da0a9583d7425eb

Update Jenkins Job Builder to version 2.9.1

The version that is currently used in Nordix Jenkins is buggy and
it doesn't correctly reflect the configuration to Jenkins.

This change updates JJB version to 2.9.1.

Change-Id: Ie16e338fc911551eb90ac951f4346bcc36489aa2

cloud-infra: Fix SLAVE_LABEL to schedule jobs on

Jenkins seems to schedule job on all the slaves with the matching
label even it is told not to do so explicitly. This change removes
setting those explicitly to see if default behavior is correct.

Change-Id: I4b4bc05f322b4b4543b78928a5ae788ddc2761c7

cloud-infra: Cleanup leftovers before testing patch

Change-Id: I5979d183b32d6e0d615c98cb2700bfbe7ff981fa

Add rebase/push jobs for so

Change-Id: I6188aab2494a3f12607aff8f7aaf412e13908dd9

Merge "Revert "Use slaves created from cloud""

Revert "Use slaves created from cloud"

The OpenStack Cloud Plugin doesn't seem to behave as
expected and the slaves provisioned from the cloud do
not take on new builds.

This reverts commit 0ae6e78e2cf396ec2ddd1d58d6067880c47688dc.

Change-Id: I5d1813a8b5127ab20beae5d1ae212cb8422a7b87

Merge "Use slaves created from cloud"

Merge "Run rebase jobs on a daily basis"

Use slaves created from cloud

Change-Id: I2bc9551368da59e98dab7096a84378b00920f2fe

Add casablanca branch to integration repo jobs

Change-Id: I21e3ef972edc9dcbc5b3f2d624118ad8072e6860

Merge "Make slack less chatty"

Make slack less chatty

It is important to get notifications about the failures
but it is probably not that useful to notify when the job
turns back to normal. People can check the status themselves
and if things don't start working, they can contact to others.

Change-Id: I60e4a819fb96a89396471be254103bdddf986a8e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Run rebase jobs on a daily basis

It is important that the repos on Nordix Gerrit is always in sync
with the upstream repos. Gerrit Trigger might not work at all times,
especially when there is maintenance in Nordix so it is important
to run rebase jobs periodically to catch up with the upstream if
the sync is not performed for some reason.

Change-Id: I3d915163b8148d6d164259a81978193df54a3afa
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Fix push-upstream on branches other than master

Change-Id: I4ee89e5c89cf6b64f585f02ea4fac768d298e776

Add casablanca branch to push-upstream/rebase

Change-Id: I09ce6e4d39f23ca9d555fa6fd390d0cc7c6952ad

cloud-infra: Fix gerrit project name and the regexp

Change-Id: I4209f59ebc8c6294f590e49027729fbe7152892e
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Change project-compare-type in Gerrit Trigger to REG_EXP

There will be situations where patches for multiple projects
are needed to be verified by common jobs. This change makes
it possible to achieve this by using REG_EXP inproject-compare-type.

One can specify the projects with a trigger like below

  triggers:
    - nordix-gerrit-trigger-patchset-created:
        project: 'projectA|projectB\/subprojectB'

Change-Id: Iec99a3dddc9505b862a5eeb197064d8f5cbd5be7
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

cloud-infra: Add basic verify jobs

This change adds a multijob that gets triggered due to changes
coming to any of the projects listed below on Gerrit.

- infra/engine
- infra/swconfig

When the job gets triggered, it will trigger 2 multijob phases

- deploy: deployment of the stack using VMs will be done
- test: healthcheck of the deployed stack is done

If the main job or any of the phase jobs fail, the result will
be posted to Gerrit as Verified-1, blocking the change from
being merged to master.

It is expected that these jobs to evolve over time so they are
created only in order to have some basic verification in place.

The reason to choose multijob job type is that when a new patch
is published for an existing change, multijob aborts the build
that is running for the previous patch and starts a new build for
the new patch so this helps keeping things clean and tidy.

Change-Id: I21375ef2254e8b47ab2b5268366469f3d100fa99
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Add global wrapper to fix workspace permissions

Change-Id: I94008deb3d62d0aa5b69d8aceeab5385a38d4cd3
Signed-off-by: Fatih Degirmenci <fdegir@gmail.com>

Discard old builds

Change-Id: I066ef3c714ec59390f1ea2b84a5daf3ce6af831b

Create dfc verify job for nordix-dev

Change-Id: Ib01b6b9a31dbf20fb9a3dd82451b2e20a81d067c

Add rebase/push jobs for sdc

Change-Id: Idb8e7eb8aa0284386818221d036a9c4a3ff1dc81

Add rebase/push jobs for testsuite

Change-Id: I7d71eaad47d55de320c3b37b57c33c7cc7f4a674

Add rebase/verify/push jobs for policy/drools-applications

Change-Id: I8ff804826a49f3ce05cdef5bd007851380870253

Add rebase/verify/push jobs for policy/models

Change-Id: I846f98f420fda54ce059efc7ca128b4f50e3a939

Enable slack notifications for push and rebase jobs

Change-Id: Ib20225ffff100b330819c24dc40a4176f917e819

Add global jjb macro for slack notifications

Change-Id: Ia8084335c0eaed8cd0bcb679ce6b6c38d9350634

Merge "Replaced slashes with dashes in project name"

Replaced slashes with dashes in project name

Change-Id: Ie418732bfd0706b6a80ac906397a334d23de4ece

Fix typo in dcaegen2/collectors/datafile project name

Change-Id: I9956a23737e59cf7503915cb8741fa5103e4e81c

Merge "Add rebase, push jobs for dcaegen2/platform/blueprints"

Merge "Enable 10 minutes build-timeout for rebase jobs"

Merge "Enable 45 minutes build-timeout for java verify jobs"

Enable 10 minutes build-timeout for rebase jobs

Change-Id: I1bb999558e406f6483879bc25a3b6078f8a94892

Enable 45 minutes build-timeout for java verify jobs

Change-Id: Ia1748e030e97d5bb663f6d1e945e2714cd5a9a77