OPENDEV: Add additional parameters to SCM module

The projects should have control about their workspace.
Following parmaters are introduced for git-scm and git-scm-gerrit
to control what should be done with git repository when the
jenkins job is executed:
- wipe_workspace: Wipe out repository and force clone (default: true)
- clean_before: Clean up the workspace before every checkout
  by deleting all untracked files and directories (default: false)

Change-Id: I6216334251d9af8c0c6b9818b2ef3280d6196ef5

OPENDEV: TEST-Update SCM to checkout master branch

It looks like SCM can't determinate which branch to checkout
when we specify 'refs/heads/*' we can specify 'refs/heads/master'
as the script will checkout correct branch.

Fix project parameter for push-upstream: opendev/{project}

Change-Id: I7b320a63611ead0e3693e3edc886739c1424b024

OPENDEV: TEST - Update rebase job to track and sync all upstream branches

Change-Id: I9c26c34d2375a6a0f0de392ef3d893cd42c4d8c3

OPENDEV: Add patchset-created trigger for push upstream jenkins job.

Updating all remaining OpenDev repositories with this change.

Change-Id: Ib22df459acd28350968c0a9405dd3b11719eba0c

OPENDEV: Add patchset-created trigger for push upstream jenkins job.

Change-Id: I10b919e92255731ba45f8f5e536811b76c31d100

Change ccsdk jobs to add Dublin branch

Change-Id: I99107966cd671269f0be5a9f10f79c50a7d5e620

ONAP: Add Dublin branch to doc project

Change-Id: I5b721b720d9dd388f44cadcfa415f6de3551bad3

ONAP: Add rebase, push-upstrea jobs for doc project under new onap namespace.

Change-Id: I2e0b352931dccf580171e011111b25cdcca98ae7

Simplify OpenDev push-upstream job

This patch adjust the OpenDev push-upstream jenkins job to follow the
following rules:
* do not change the commit that is being upstreamed
* do not force the git user.name to be the gerrit id. Git authorship can
  be independent from gerrit review ownership. Query Nordix Gerrit about
  the user name instead.
* consider 'no new changes' error from OpenDev Gerrit as success as it
  means the current patch is up-to-date upstream

Change-Id: Ib7a0d9d6052db357148d07f57b141730b837055f

OPENDEV: The openstack-dev/sandbox project renamed to opendev/sandbox in upstream

Change-Id: I2079fe81f7cfc0cddb0c81cb59bdbb9906458080

OPENDEV TEST: Enable push-upstream test script for openstack-dev/sandbox project

Change-Id: Id2f53e43cfa27443579dfb0e8601537030bb1b1e

OPENDEV: Add rebase and push-upstream Jenkins jobs for the projects:

 - openstack-python-novaclient
 - openstack-nova-specs
 - openstack-osc-placement
 - openstack-placement
 - openstack-project-team-guide
 - openstack-neutron-lib
 - openstack-neutron-specs
 - openstack-python-neutronclient
 - openstack-devstack
 - openstack-devstack-gate
 - openstack-tempest
 - openstack-tempest-lib
 - openstack-cinder
 - openstack-python-cinderclient
 - openstack-networking-l2gw
 - openstack-networking-l2gw-tempest-plugin
 - openstack-networking-bagpipe
 - openstack-networking-bgpvpn
 - openstack-networking-midonet
 - openstack-networking-odl
 - openstack-networking-sfc
 - openstack-neutron-fwaas
 - openstack-neutron-lbaas
 - openstack-neutron-tempest-plugin
 - openstack-neutron-vpnaas
 - openstack-requirements
 - openstack-releases
 - openstack-openstackclient
 - openstack-project-config
 - openstack-glance
 - zuul-project-config
 - zuul-zuul
 - zuul-zuul-base-jobs
 - zuul-zuul-jobs
 - opendev-base-jobs
 - opendev-project-config
 - openstack-aodh
 - openstack-ceilometer
 - openstack-grenade
 - openstack-heat
 - openstack-horizon
 - openstack-keystone
 - openstack-oslo-cache
 - openstack-oslo-concurrency
 - openstack-oslo-config
 - openstack-oslo-context
 - openstack-oslo-db
 - openstack-oslo-i18n
 - openstack-oslo-limit
 - openstack-oslo-log
 - openstack-oslo-messaging
 - openstack-oslo-middleware
 - openstack-oslo-policy
 - openstack-oslo-privsep
 - openstack-oslo-reports
 - openstack-oslo-rootwrap
 - openstack-oslo-serialization
 - openstack-oslo-service
 - openstack-oslo-tools
 - openstack-oslo-upgradecheck
 - openstack-oslo-utils
 - openstack-oslo-versionedobjects
 - openstack-oslotest
 - openstack-osprofiler
 - openstack-trove
 - openstack-openstacksdk
 - openstack-keystoneauth
 - openstack-os-vif
 - openstack-rally
 - openstack-rally-openstack

Change-Id: I2f28faa748d56beeeffc23e3c6b02dfe61a0217d

OPENDEV: Add rebase, push-upstrea jobs for openstack-dev/sandbox project

Change-Id: I766f2ce31cdb7459e4e8ecd1f11006225cec7c14

Moving opendev project under jjb directory

Change-Id: Icca1c96dbfaee055563a1b5710bb674c6462474f

OpenDev: Introducing OpenDev to Nordix

Adding initial OpenStack repositories:
- Openstack Neutron
- Openstack Nova

Change-Id: I4f2505d10d0879500182320a972b4957a5e32711

ONAP: Add Dublin branch for so project

Change-Id: Ic91211aa23ad969280e0ca4d1533a3e7dfddcd3e

ONAP: Add rebase, push-upstrea jobs for policy-oom project

Change-Id: Ied9d6ae1b561acc128c199f8766083d865476a3d

Opendaylight: Introducing Opendeyight to Nordix

Adding the rebase and push upstream for the ODL projects:
- controller
- intergration/test
- mdsal
- netconf

Change-Id: I64a434d6ae596b63f6c323073acea58f34e66a14

Fix skip-vote by not using gerrit-trigger macro

It seems gerrit-trigger skip-vote is not overriden correctly
so this change rolls the changes made as part of [1] and instead
uses full gerrit-trigger configuration in cloud-infra-verify-engine
jjb.

[1] https://gerrit.nordix.org/#/c/1256/

Change-Id: I29e76c627a80819f86677515e8d508cc974ebdd5

Merge changes from topic 'add-odl-gerrit'

* changes:
  Add change-merged trigger for ODL Gerrit
  Addd ODL Gerrit parameters to global jjb macros

Merge "Acumos: Add jobs for acumos-java-client project"

Move skip-vote from global macros to job templates

We want some jobs to be run in none-voting fashion such as
cloud-infra-centos while the work is going on with them.

This change moves skip-vote setting into the job templates
so we can control it per job rather than globally.

Change-Id: Ic654181fc66eafae0079e97b405a94f71a68c25e

Add change-merged trigger for ODL Gerrit

Change-Id: I4a2b7c5d7f4f80172ae22f240301e9d295725ed8

Addd ODL Gerrit parameters to global jjb macros

Change-Id: I320360138310b1d5bd43a890cb89086f762cb2d8

Acumos: Add jobs for acumos-java-client project

Change-Id: I3e48b2f906dee296cc84a3f80982bfb6095acfc0

Acumos: Add jobs for portal-marketplace project

Change-Id: Iadeaf1d76894e14e4471958025b2042ba658cbaa

Update .gitignore

Change-Id: I13f59324cd3f7bf0deef98c499843936e5ac927c

Acumos: Add jobs for face-privacy-filter project

Change-Id: Ia020eb0c4e4a6896ab9bff276e6ab7ff3dfdd56b

Add push,rebase,verify jobs for Dublin branch of sdnc/oam project

Change-Id: I3ad81f37bf4da69925fcbd88049a490eee343791

Add push,rebase,verify jobs for Dublin branch of dmaap/datarouter and integration/csitc projects

Change-Id: I86c051d99191ea9afc3db09491e9a1c92dc141bc

Merge "Fix the build blocker in verify scenario job"

Fix the build blocker in verify scenario job

Change-Id: Ifbccd9f2d0a319feb30e9c5266e3f49b5c6ee9f2

Merge "Add push and rebase jobs for Dublin branch of sdc project"

Add push and rebase jobs for Dublin branch of sdc project

Change-Id: I92c3d5c1b77f60c539dbd9ebe8b33ec6ce92d357

Fix build blockers due to introduction of centos support

Change-Id: I627d4bcabbb4a5e65e0f6ae10d4804b969f8c99a

Refactor jobs for introduction of Centos7 support

engine is currently being updated to introduce support for Centos7.
During that work, engine code has been refactored, aligning how things
are called and done when it comes to various configuration options based
on the distribution.

Engine now uses single variable to do things based on the distribution
selected by user using -o argument. This argument can take either ubuntu1804
or centos7. Based on that, we determine DIB stuff using vars files per
distro. This results in the removal of DIB parameters from jobs and DISTRIBUTION
parameter and only use DISTRO parameter which is then used by engine
accordingly.

Centos7 jobs for engine and scenario verification are enabled in a none-voting
fashion so if they fail due to development work, they will not block a change
from being merged. Only Ubuntu1804 jobs will vote until we prove Centos7 works
for all the scenarios we have.

Periodic jobs for engine and scenario are not enabled for Centos7 in order not
to waste the resources we have until Centos7 is proving to be working.

Change-Id: I09ab256ce1904b2c9d7b968e3be399ff82c099aa

Use common phase jobs for scenario periodic jobs

Change-Id: I4dd1c6eaee69f8790bcf82b9405edfbf37bf3dd4

Abort the scenario periodic job in case of phase failure

Change-Id: I6cbf39355b9767137d3c304db7a715d585338814

Create periodic jobs for k8-multus-nofeature

Change-Id: I471e357e21537023a84ed245af4c493707d695ee

Fix downstream jobs for scenario periodic jobs

Change-Id: I02db71657c854bafac26a9d233a6c5492829e236

Create periodic jobs for scenarios

These jobs will be used for promoting scenarios based on deployment
and testing on baremetal.

The jobs are currently triggered daily without checking if anything
changed. This will be updated and they will only be triggered if
infra/engine or infra/swconfig/<scenario> change so we build only
when something happens.

Promotion logic is not implemented yet and will be done in a separate
change.

In addition to periodic jobs for scenarios, trigger for baremetal
engine periodic job is switched to daily in order to free up time
for scenario periodic jobs.

And as usual, lots of duplications here and there and these will be
fixed by refactoring jobs and scripts once the basic pipeline is
in place.

Change-Id: Iaf0da0191fbde1abad60b5ca14dd191095fac761

Set installer type for periodic-engine jobs

Change-Id: I98bf52c09b92415d24bb2b69450110e055dc7517

Set yardstick dispatcher for engine verify jobs

Change-Id: Id082b41da571ec1ae9ec4a0abdbe3df05607a9e4

Set yardstick dispatcher for testfw verify jobs

Change-Id: Ia0711aa1defad9b59eba60ccd91f8dc9243d8323

Enable InfluxDB reporting for Yardstick on baremetal

Change-Id: I1bb74f445ff25204f85a96f95e39486b244bf4e2

Enable scenario input for engine verify jobs

There will be cases where we need to specify the scenario to
verify the engine with. Most obvious example to this is while
adding newly implemented scenarios into sdf.yml.

Change-Id: Ia60ac75a9f65f9c29efd9804095f15e2338f9be9

Remove trailing quote in build description

Change-Id: I925f44c12afd0796cc03687664da1f076b6e596b

Use uri for sdf and stop setting DEPLOY_SCENARIO parameter

Change-Id: Ied5bd18d3b0090ee8d41810b4a68e30c5677b39f

Write change.properties file for scenario-verify jobs

Change-Id: Ia27182ee90377c470835745763427e05e21a03d6

Fix scenario verification jobs

Change-Id: I9d99820cd1d3493fa24d23b2af061fb455afa280

Create jobs to verify changes to scenarios

Currently only commit message based scenario determination is
in place. Determining the scenario based on the changed files
is yet to be implemented.

The scripts and the jobs will be refactored to increase the
reuse and reduce the duplication once the basic scenario verification
is working.

Change-Id: I4b936c955828f34f263e9825a465bba25e4688c1

Add push,rebase,verify jobs for Dublin branch of dcaegen2/collectors/datafile

Change-Id: Ib611f2e4670b03d9d49e4226fbed2203ea27ce65

Add push,rebase,verify jobs for Dublin branch of dcaegen2/collectors/datafile

Change-Id: Iff614492391b7c3df75b7854368910a6d8135cfb

Add rebase/push jobs for ONAP project so/docker-config

Change-Id: Ie83f387d16def5324cf14ed6423ddc593d4f30d4

Merge "Create jobs for microservice-generation in Acumos project"

Create jobs for microservice-generation in Acumos project

Change-Id: I0bb5315c5443aa44f7af191818a9379a5f61e868

Switch to functest-smoke suite for periodic jobs

Functest Smoke suite will be used for testing new versions of the
platform and the scenarios in order to decide if a certain version
should be promoted to the next level.

Change-Id: I1be4289b1d15e77d064033b8cba1f73546383e5e

Use correct slave label based on deploy type

Change-Id: If4e87b417a4164b2a58ef6e7fe84e281ebec574d

Configure jobs for baremetal deployments

Change-Id: Ie4a05e35c5109543fced915ef57ef678104d0624

Create jobs for license manager Acumos project

Change-Id: If73613f5fad81c7171b78ef70fc785351d6dcf74

Create jobs for acumos/kubernetes-client

Change-Id: Ie83d9c43a4b9c37a48e1107b7a41655754e99d9f

Merge "Reenable yardstick for virtual deployments"

Reenable yardstick for virtual deployments

The failures were probably due to instability of the cloud so attempting to reenable Yardstick to see if that is the case. If things don't work as expected, Yardstick might need to be disabled again.

This reverts commit 676634418826beb45e728d3e0e34be97a7a69ebe.

Change-Id: Iff081a4b72237e60e14b4c3a37aa00ed47e0dcdd

Move verify and periodic jobs to City Cloud instances

Change-Id: I56dc843cedf5992d78bf930455aa4dcdd9edb341

Disable yardstick for virtual deployments

Virtual deployments are not suited for running performance
tests as it can be seen in build history. As we are working
on bringing in baremetal in place, we can stop running yardstick
for virtual deployments which we already made it working.

Change-Id: Ic97fe7a60931e3b9e4b462fc9ff0134098e4ba27

Reduce ansible verbosity

Change-Id: Ice1ce68656bbf14ae9011513a13da1ec0c3335a1

Merge "acumos: Add jobs for federation project"

Add ENGINE_ANSIBLE_PARAMS to enable debugging

We add -vvv to the periodical jobs so that we can see what is going
on for the issues.

Change-Id: I650ec786787a0fb4535b8be6f6be0a5c3507d1f1

acumos: Add jobs for federation project

Change-Id: Ibff0a987919362299da7f13a8bc75969862e03a4

Gather macros used by jobs in same file

Nearly all the jobs use same macros so it is better to move
them to a file to ease the handling of them.

Change-Id: I46a9b1f7f1894b8994332f7dc42d7676043faf3b

Remove incorrectly added files to git

Change-Id: I445a3215e65db89e09fdfd13595e7fab6f92425a

bugfix: Use correct macros for cloud-infra-verify-engine jobs

Change-Id: Ib69dc57b7f7efbe4d88b5456ebce5818dfd8f8b3

Fix cloud-infra-periodic job build job macros

Change-Id: Ia83660b1a5bf9619bb2a9d077dabe056ebafb3f9

Adapt jobs to integrate yardstick

Integrating yardstick requires all jobs to be adapted accordingly.
- cloud-infra-test.sh: we now started using arguments to set values
explicitly.
- cloud-infra-periodic-engine.yaml: periodic runs now include yardstick
as well. it is ok to run yardstick kubernetes testing but it will probably
not work with an openstack deployment due to lower performance of virtual
deployments.
- cloud-infra-verify-engine.yaml: additional parameters are declared to
set variables explictly.
- cloud-infra-verify-test.yaml: we now verify changes coming to infra/test
repo for both of the test frameworks, functest and yardstick, to ensure
changes do not cause problems for any of these.

Change-Id: I2ec82bc7c0424ca190dcf51d032eec5e52855062

cloud-infra: Add periodic jobs to verify the stability

Change-Id: I3d96126b6a6da5655fd6612ef5b01a6672c9bab3

Add verify jobs for mirrored Acumos projects

This change adds globals for Acumos due to lack of namespacing
imported projects.

Using Acumos globals, verify jobs are created for portal-marketplace
and security-verification repos.

Change-Id: I53c1c4fc14c521732d3229a7116bfa3b2ddfb108

Chdir before removing the dir we are in

Change-Id: Ibc1b2bb41cdeed0c11a7d2491aecce89063e1b12

Remove WORKSPACE to ensure we can clone infra/test repo

Change-Id: I36c4a62608bd22fcda34be31b1a1a9eb8272249f

Ensure infra/test repo is cloned to WORKSPACE

Change-Id: I042ccceee6f1d66f65ede057acbd41908e92b0cc

Add jobs to verify changes sent to infra/test repo

This change adds jobs to verify changes sent to infra/test repo in
order to ensure changes do not break things as infra/test repo will
be used for gating, post-merge and periodic jobs and have blocking
effect.

The job is expected to run on a slave with an existing deployment.
See the comments in cloud-infra-verify-test.yaml for details.

Change-Id: Ibe6271bbfd71c0a0d599964189f64619b582da45

Rename cloud-infra-verify jjb file and the jobs

This change renames the existing cloud-infra-verify-jobs.yaml file
as cloud-infra-verify-engine.yaml in order to prepare for creating
jobs to verify changes sent to cloud-infra/test repository. The jobs
that will test changes sent to cloud-infra/test will be declared in
cloud-infra-verify-test.yaml.

The jobs that test changes coming to cloud-infra/engine repo are
also renamed from cloud-infra-verify-{distro}-virtual-master to
cloud-infra-verify-engine-{distro}-virtual-master.

Additional jobs will be created for verifying changes coming to
infra/swconfig and infra/hwconfig once we start utilizing these repos.

Apart from that, a comment to explain what the jobs declared in
cloud-infra-verify-deploy.yaml do, what are the prerequisies, and
so on are included.

Finally, support for ubuntu1604 is dropped as we moved to ubuntu18.04
and switched to coreos for ipa image.

Change-Id: I109637d51257fba7ccbae96128814e2974979089

cloud-infra: Reduce the noise in the log

Change-Id: If213c93daf840c535a4020a70356367227c069f7

cloud-infra: Use prebuilt deployment image

There is no point building deployment images over and over so
this change adds a parameter USE_PREBUILT_DEPLOYMENT_IMAGE and
sets it to true which instructs engine to download the image
from Nordix Artifactory before installing bifrost.

Change-Id: Idcc788a66908a56cf94ac58ae7a60c541f41f4dd

Add jobs for buscontroller/dbcapi repos

Change-Id: Iec3d8b4b30a9ca59788bc3c8957ed8cc2311db30
Signed-off-by: econwar <conor.ward@est.tech>

Merge "Add rebase/push jobs for SDNC/OAM"

Do not pipefail as pgrep returns non-zero exit code

Change-Id: I17c1d935058bc9d22bbccd8a4673f1ac0d323671

Add rebase/push jobs for SDNC/OAM

Change-Id: I861061197946033c66b799715c9a7c4201c7260b

Merge "Add rebase/push jobs for dcaegen2/deployments"

Adding oom/offline-installer JJB jobs

Change-Id: I5d2456301a97a1e0bee33adf0a84de3314b69ab7
Signed-off-by: eronkeo <ronan.keogh@est.tech>

Wait for package manager process to finish

Change-Id: Ibfceb987bb5f2d4281813c836d4ac5e0af466c32

Add rebase/push jobs for dcaegen2/deployments

Change-Id: I58bfab08b57dc03f060f38e507e81dc07ac5e796

Fix project name in acumos push-upstream job template

Change-Id: Ic80b2779d991748c13e376ef32167d95f7d8e849

Fix gerrit trigger for acumos push-upstream job template

Change-Id: I52bea4068f89f2414e4e0c977aeb774c31296b22

Add Acumos push-upstream jobs

Similar to change 620, this is a quick fix to get Acumos working.

Change-Id: I98fcc4dc21aca206327fd315b1c1e5c07f342e3c

Add Acumos Gerrit configuration and rebase jobs

Please note that this is a quick fix to get Acumos
work started. We need to group projects/jobs under
upstream project name to prevent name clashes and this
is a significant change, requiring more time to fix.

Change-Id: I77327ef1948ae28ff19b8813fcbfe5e90b928f4d

Merge "Add rebase/push/verify jobs for policy/drools-pdp"

Merge "Add verify jobs for aai"

Add rebase/push/verify jobs for policy/drools-pdp

Change-Id: I0cf1cdb7225f765d413659f73e2c295d8e4898bc
Signed-off-by: Hengye <yehui.wang@est.tech>

Add verify jobs for aai

Change-Id: I1c80d2535d36ef5cfbe7b75d800b46fbdbeea3db
Signed-off-by: rokenny <ronan.kenny@est.tech>

Add verify jobs for appc

Change-Id: Ic5a6359bf8fb81fa7267bbb66b0d7c1fd96607d2
Signed-off-by: rokenny <ronan.kenny@est.tech>