cloud-infra: Remove baremetal periodic engine jobs

Change-Id: I05671bd54aff3975995619c6fcbec54e2983d041

cloud-infra: Reconfigure slave labels

Change-Id: Ife8a096724b3789c24bfa96b179e7fb227acc012

cloud-infra: Set the provisioner type

Heat is now supported in addition to bifrost so the determination
of the provisioner and the temporary SDF are updated accordingly.

Change-Id: I01a48c5f54d2386fca8c3c90fe38daccd1d7dfd4

cloud-infra: Update the distro in temporary sdf

The distro in temporary SDF is hardcoded so this change
changes it to use the distro of Jenkins slave where the
job is running on.

Change-Id: Ieb7b007cf4984fef5fa63bd3107860af1fbc86a5

Fix project in Datafile JJB

Change-Id: I964bad938e7e5c4439b7b4a0a0202327b133e307
Signed-off-by: dfarrelly <david.farrelly@est.tech>

FIX: Sent Slack notification when Jenkins job is back to normal.

Change-Id: I3d38eb39179e87cab694d56b1fcb273385002bec

Acumos: Fix rebase job template

Change-Id: Ic4295f43f2dd2ffd219015003c6e7da41222a770

OpenDaylight: Fix rebase job

Change-Id: Ie38c142d7c5f8210689d3b7cac116f7cd8f6f4dd

Global: Sent Slack notification when Jenkins job is back to normal.

Change-Id: Iea83a29ddf597388238a56b43845b92d214fea02

OpenDaylight: Improve jenkins jobs for OpenDaylight projects

- Mirror branches from OpenDaylight upstream project to Nordix.
- Do not force the git user.name to be the gerrit id.
  Git authorship can be independent from the
  gerrit review ownership now.
- Cache the repository on the Jenkins slave nodes
  when rebasing repositories.
- Make sure the commit hash in the local repo is the same
  as in nordix Gerrit and the same as the commit hash
  in the upstream gerrit.
- Decrease number of jobs required for project in Jenkins

Change-Id: Ia0bb2094375ec3ccf14af28ce65f09ad0613fb3f

ONAP: Add ci-management onap repository

Change-Id: I9de352257ee60c17d1b7dbc17e6dffec30f2bdec

ONAP: Add Dublin branch to integration repo

Change-Id: I6749d38c8ca252dbfdfe31bbee27a1c726e3d95f

Acumos: Introducing namespace, adding new projects

In order to avoind JJB project clash we need to have
namespace for acumos. The following projects are added:
- acumos/ci-management
- acumos/workbench
- acumos/workbench/cmlpstudio
- acumos/workbench/zeppelin

Change-Id: I688b0d553aa8ffddd5675abb913fad944205cbdb

Replacing the Infra build server for jjb builds

Change-Id: Ief6d1d4415481d3b3e036cf663461d33de090ee8

Replacing the Infra build server.

The existing Infra build server is running out
of disk space. It needs to be replaced with
new build server provisioned by OpenStack plugin

Change-Id: I7b2ce7393ea400d0fbbbcf23c3ef5aad163c6d0a

ONAP: Creating ONAP repositories under 'onap' namespace

For the ONAP repositories that have open reviews pending
in the Nordix Gerrit we have to setup separate jobs
to keep both old and new repos in sync with ONAP gerrit
until the reviews are closed for old reositories.

-policy/pap
-policy/apex-pdp
-appc
-dcaegen2
-dcaegen2/collectors/datafile
-dcaegen2/services/pm-mapper
-dmaap/datarouter
-integration
-integration/csit
-sdc
-so
-so/docker-config

Change-Id: I5f4fb802c136382be5456ac4ee2e3702ffa73f47

ONAP: Moving ONAP repositories under onap namespace

- policy/api
- policy/models
- ccsdk/cds
- dcaegen2/platform/blueprints
- oom
- oom/offline-installer

Change-Id: I2d77ec848344ddeccb368c7594e9a2b9f90392b7

Disable concurrent execution for push-upstream jobs

Parallel push from nordix can triggered a race condition in
upstream gerrit that will resulted in a duplicated review
instead of a single review for the first push and the second push.

Change-Id: I613531329aa4185d3f21f1c42c8d031e6cf95b4e

ONAP: Moving ONAP policy repositories under onap namespace

- aai/oom
- aai/schema-service
- appc/cdt
- appc/deployment
- appc/parent
- ccsdk/apps
- dcaegen2/collectors
- dcaegen2/deployments
- dcaegen2/services/prh
- dmaap/buscontroller
- dmaap/dbcapi
- portal
- sdnc/oam
- testsuite
- vid

Change-Id: I8238bb8525e3a6a4505bede4cfbc03bc5436e8c6

ONAP: Moving policy repos under 'onap' namespace

Projects migrated:
- policy/engine
- policy/common
- policy/core
- policy/distribution
- policy/docker
- policy/drools-applications
- policy/drools-pdp
- policy/gui
- policy/oom
- policy/parent
- policy/pdp
- policy/xacml-pdp

Change-Id: I63723988b5e84e68c4e140554daa65ca925de9cf

Disable verify-centos and periodic jobs

The jobs are disabled in order to reduce the queue while
verifying changes. Centos will be looked into once things
stabilize on ubuntu.

Change-Id: If4f2209d9da5523dca12ff013cfc8c71353618a6

ACUMOS: Improve jenkins jobs for Acumos projects

- Mirror branches from Acumos upstream project to Nordix.
- Do not force the git user.name to be the gerrit id.
  Git authorship can be independent from the
  gerrit review ownership now.
- Cache the repository on the Jenkins slave nodes
  when rebasing repositories.
- Make sure the commit hash in the local repo is the same
  as in nordix Gerrit and the same as the commit hash
  in the upstream gerrit.
- Decrease number of jobs required for project in Jenkins

Change-Id: I29ea8b9b2573b5d894246f47b537aeb61027f6f8

OPENDEV: Parse json using jq tool

Change-Id: I864a0a229728337246a18aa28ddcff57481f1e50

ONAP: Add new projects from ONAP upstream

- dcaegen2/platform/plugins
- ccsdk/platform/plugins

Change-Id: Icb15cd244d95998da9043e0a27bbae0f124e3934

OPENDEV: Add new projects, update rebase.sh job

- openstack/os-traits
- openstack/os-resource-classes

Change-Id: Ia65db71e89802cb517654cb4d9233c604d6669c4

OPENDEV: Update jobs to track all OpenDev branches

The rebase and push-upstrem jobs are updated to track
and sync with Nordix gerrit all OpenDev branches.

Change-Id: I6c5acdfeeb6aa6cb333bb9d266cb3839f04d8228

OPENDEV: Add additional parameters to SCM module

The projects should have control about their workspace.
Following parmaters are introduced for git-scm and git-scm-gerrit
to control what should be done with git repository when the
jenkins job is executed:
- wipe_workspace: Wipe out repository and force clone (default: true)
- clean_before: Clean up the workspace before every checkout
  by deleting all untracked files and directories (default: false)

Change-Id: I6216334251d9af8c0c6b9818b2ef3280d6196ef5

OPENDEV: TEST-Update SCM to checkout master branch

It looks like SCM can't determinate which branch to checkout
when we specify 'refs/heads/*' we can specify 'refs/heads/master'
as the script will checkout correct branch.

Fix project parameter for push-upstream: opendev/{project}

Change-Id: I7b320a63611ead0e3693e3edc886739c1424b024

OPENDEV: TEST - Update rebase job to track and sync all upstream branches

Change-Id: I9c26c34d2375a6a0f0de392ef3d893cd42c4d8c3

OPENDEV: Add patchset-created trigger for push upstream jenkins job.

Updating all remaining OpenDev repositories with this change.

Change-Id: Ib22df459acd28350968c0a9405dd3b11719eba0c

OPENDEV: Add patchset-created trigger for push upstream jenkins job.

Change-Id: I10b919e92255731ba45f8f5e536811b76c31d100

Change ccsdk jobs to add Dublin branch

Change-Id: I99107966cd671269f0be5a9f10f79c50a7d5e620

ONAP: Add Dublin branch to doc project

Change-Id: I5b721b720d9dd388f44cadcfa415f6de3551bad3

ONAP: Add rebase, push-upstrea jobs for doc project under new onap namespace.

Change-Id: I2e0b352931dccf580171e011111b25cdcca98ae7

Simplify OpenDev push-upstream job

This patch adjust the OpenDev push-upstream jenkins job to follow the
following rules:
* do not change the commit that is being upstreamed
* do not force the git user.name to be the gerrit id. Git authorship can
  be independent from gerrit review ownership. Query Nordix Gerrit about
  the user name instead.
* consider 'no new changes' error from OpenDev Gerrit as success as it
  means the current patch is up-to-date upstream

Change-Id: Ib7a0d9d6052db357148d07f57b141730b837055f

OPENDEV: The openstack-dev/sandbox project renamed to opendev/sandbox in upstream

Change-Id: I2079fe81f7cfc0cddb0c81cb59bdbb9906458080

OPENDEV TEST: Enable push-upstream test script for openstack-dev/sandbox project

Change-Id: Id2f53e43cfa27443579dfb0e8601537030bb1b1e

OPENDEV: Add rebase and push-upstream Jenkins jobs for the projects:

 - openstack-python-novaclient
 - openstack-nova-specs
 - openstack-osc-placement
 - openstack-placement
 - openstack-project-team-guide
 - openstack-neutron-lib
 - openstack-neutron-specs
 - openstack-python-neutronclient
 - openstack-devstack
 - openstack-devstack-gate
 - openstack-tempest
 - openstack-tempest-lib
 - openstack-cinder
 - openstack-python-cinderclient
 - openstack-networking-l2gw
 - openstack-networking-l2gw-tempest-plugin
 - openstack-networking-bagpipe
 - openstack-networking-bgpvpn
 - openstack-networking-midonet
 - openstack-networking-odl
 - openstack-networking-sfc
 - openstack-neutron-fwaas
 - openstack-neutron-lbaas
 - openstack-neutron-tempest-plugin
 - openstack-neutron-vpnaas
 - openstack-requirements
 - openstack-releases
 - openstack-openstackclient
 - openstack-project-config
 - openstack-glance
 - zuul-project-config
 - zuul-zuul
 - zuul-zuul-base-jobs
 - zuul-zuul-jobs
 - opendev-base-jobs
 - opendev-project-config
 - openstack-aodh
 - openstack-ceilometer
 - openstack-grenade
 - openstack-heat
 - openstack-horizon
 - openstack-keystone
 - openstack-oslo-cache
 - openstack-oslo-concurrency
 - openstack-oslo-config
 - openstack-oslo-context
 - openstack-oslo-db
 - openstack-oslo-i18n
 - openstack-oslo-limit
 - openstack-oslo-log
 - openstack-oslo-messaging
 - openstack-oslo-middleware
 - openstack-oslo-policy
 - openstack-oslo-privsep
 - openstack-oslo-reports
 - openstack-oslo-rootwrap
 - openstack-oslo-serialization
 - openstack-oslo-service
 - openstack-oslo-tools
 - openstack-oslo-upgradecheck
 - openstack-oslo-utils
 - openstack-oslo-versionedobjects
 - openstack-oslotest
 - openstack-osprofiler
 - openstack-trove
 - openstack-openstacksdk
 - openstack-keystoneauth
 - openstack-os-vif
 - openstack-rally
 - openstack-rally-openstack

Change-Id: I2f28faa748d56beeeffc23e3c6b02dfe61a0217d

OPENDEV: Add rebase, push-upstrea jobs for openstack-dev/sandbox project

Change-Id: I766f2ce31cdb7459e4e8ecd1f11006225cec7c14

Moving opendev project under jjb directory

Change-Id: Icca1c96dbfaee055563a1b5710bb674c6462474f

OpenDev: Introducing OpenDev to Nordix

Adding initial OpenStack repositories:
- Openstack Neutron
- Openstack Nova

Change-Id: I4f2505d10d0879500182320a972b4957a5e32711

ONAP: Add Dublin branch for so project

Change-Id: Ic91211aa23ad969280e0ca4d1533a3e7dfddcd3e

ONAP: Add rebase, push-upstrea jobs for policy-oom project

Change-Id: Ied9d6ae1b561acc128c199f8766083d865476a3d

Opendaylight: Introducing Opendeyight to Nordix

Adding the rebase and push upstream for the ODL projects:
- controller
- intergration/test
- mdsal
- netconf

Change-Id: I64a434d6ae596b63f6c323073acea58f34e66a14

Fix skip-vote by not using gerrit-trigger macro

It seems gerrit-trigger skip-vote is not overriden correctly
so this change rolls the changes made as part of [1] and instead
uses full gerrit-trigger configuration in cloud-infra-verify-engine
jjb.

[1] https://gerrit.nordix.org/#/c/1256/

Change-Id: I29e76c627a80819f86677515e8d508cc974ebdd5

Merge changes from topic 'add-odl-gerrit'

* changes:
  Add change-merged trigger for ODL Gerrit
  Addd ODL Gerrit parameters to global jjb macros

Merge "Acumos: Add jobs for acumos-java-client project"

Move skip-vote from global macros to job templates

We want some jobs to be run in none-voting fashion such as
cloud-infra-centos while the work is going on with them.

This change moves skip-vote setting into the job templates
so we can control it per job rather than globally.

Change-Id: Ic654181fc66eafae0079e97b405a94f71a68c25e

Add change-merged trigger for ODL Gerrit

Change-Id: I4a2b7c5d7f4f80172ae22f240301e9d295725ed8

Addd ODL Gerrit parameters to global jjb macros

Change-Id: I320360138310b1d5bd43a890cb89086f762cb2d8

Acumos: Add jobs for acumos-java-client project

Change-Id: I3e48b2f906dee296cc84a3f80982bfb6095acfc0

Acumos: Add jobs for portal-marketplace project

Change-Id: Iadeaf1d76894e14e4471958025b2042ba658cbaa

Update .gitignore

Change-Id: I13f59324cd3f7bf0deef98c499843936e5ac927c

Acumos: Add jobs for face-privacy-filter project

Change-Id: Ia020eb0c4e4a6896ab9bff276e6ab7ff3dfdd56b

Add push,rebase,verify jobs for Dublin branch of sdnc/oam project

Change-Id: I3ad81f37bf4da69925fcbd88049a490eee343791

Add push,rebase,verify jobs for Dublin branch of dmaap/datarouter and integration/csitc projects

Change-Id: I86c051d99191ea9afc3db09491e9a1c92dc141bc

Merge "Fix the build blocker in verify scenario job"

Fix the build blocker in verify scenario job

Change-Id: Ifbccd9f2d0a319feb30e9c5266e3f49b5c6ee9f2

Merge "Add push and rebase jobs for Dublin branch of sdc project"

Add push and rebase jobs for Dublin branch of sdc project

Change-Id: I92c3d5c1b77f60c539dbd9ebe8b33ec6ce92d357

Fix build blockers due to introduction of centos support

Change-Id: I627d4bcabbb4a5e65e0f6ae10d4804b969f8c99a

Refactor jobs for introduction of Centos7 support

engine is currently being updated to introduce support for Centos7.
During that work, engine code has been refactored, aligning how things
are called and done when it comes to various configuration options based
on the distribution.

Engine now uses single variable to do things based on the distribution
selected by user using -o argument. This argument can take either ubuntu1804
or centos7. Based on that, we determine DIB stuff using vars files per
distro. This results in the removal of DIB parameters from jobs and DISTRIBUTION
parameter and only use DISTRO parameter which is then used by engine
accordingly.

Centos7 jobs for engine and scenario verification are enabled in a none-voting
fashion so if they fail due to development work, they will not block a change
from being merged. Only Ubuntu1804 jobs will vote until we prove Centos7 works
for all the scenarios we have.

Periodic jobs for engine and scenario are not enabled for Centos7 in order not
to waste the resources we have until Centos7 is proving to be working.

Change-Id: I09ab256ce1904b2c9d7b968e3be399ff82c099aa

Use common phase jobs for scenario periodic jobs

Change-Id: I4dd1c6eaee69f8790bcf82b9405edfbf37bf3dd4

Abort the scenario periodic job in case of phase failure

Change-Id: I6cbf39355b9767137d3c304db7a715d585338814

Create periodic jobs for k8-multus-nofeature

Change-Id: I471e357e21537023a84ed245af4c493707d695ee

Fix downstream jobs for scenario periodic jobs

Change-Id: I02db71657c854bafac26a9d233a6c5492829e236

Create periodic jobs for scenarios

These jobs will be used for promoting scenarios based on deployment
and testing on baremetal.

The jobs are currently triggered daily without checking if anything
changed. This will be updated and they will only be triggered if
infra/engine or infra/swconfig/<scenario> change so we build only
when something happens.

Promotion logic is not implemented yet and will be done in a separate
change.

In addition to periodic jobs for scenarios, trigger for baremetal
engine periodic job is switched to daily in order to free up time
for scenario periodic jobs.

And as usual, lots of duplications here and there and these will be
fixed by refactoring jobs and scripts once the basic pipeline is
in place.

Change-Id: Iaf0da0191fbde1abad60b5ca14dd191095fac761

Set installer type for periodic-engine jobs

Change-Id: I98bf52c09b92415d24bb2b69450110e055dc7517

Set yardstick dispatcher for engine verify jobs

Change-Id: Id082b41da571ec1ae9ec4a0abdbe3df05607a9e4

Set yardstick dispatcher for testfw verify jobs

Change-Id: Ia0711aa1defad9b59eba60ccd91f8dc9243d8323

Enable InfluxDB reporting for Yardstick on baremetal

Change-Id: I1bb74f445ff25204f85a96f95e39486b244bf4e2

Enable scenario input for engine verify jobs

There will be cases where we need to specify the scenario to
verify the engine with. Most obvious example to this is while
adding newly implemented scenarios into sdf.yml.

Change-Id: Ia60ac75a9f65f9c29efd9804095f15e2338f9be9

Remove trailing quote in build description

Change-Id: I925f44c12afd0796cc03687664da1f076b6e596b

Use uri for sdf and stop setting DEPLOY_SCENARIO parameter

Change-Id: Ied5bd18d3b0090ee8d41810b4a68e30c5677b39f

Write change.properties file for scenario-verify jobs

Change-Id: Ia27182ee90377c470835745763427e05e21a03d6

Fix scenario verification jobs

Change-Id: I9d99820cd1d3493fa24d23b2af061fb455afa280

Create jobs to verify changes to scenarios

Currently only commit message based scenario determination is
in place. Determining the scenario based on the changed files
is yet to be implemented.

The scripts and the jobs will be refactored to increase the
reuse and reduce the duplication once the basic scenario verification
is working.

Change-Id: I4b936c955828f34f263e9825a465bba25e4688c1

Add push,rebase,verify jobs for Dublin branch of dcaegen2/collectors/datafile

Change-Id: Ib611f2e4670b03d9d49e4226fbed2203ea27ce65

Add push,rebase,verify jobs for Dublin branch of dcaegen2/collectors/datafile

Change-Id: Iff614492391b7c3df75b7854368910a6d8135cfb

Add rebase/push jobs for ONAP project so/docker-config

Change-Id: Ie83f387d16def5324cf14ed6423ddc593d4f30d4

Merge "Create jobs for microservice-generation in Acumos project"

Create jobs for microservice-generation in Acumos project

Change-Id: I0bb5315c5443aa44f7af191818a9379a5f61e868

Switch to functest-smoke suite for periodic jobs

Functest Smoke suite will be used for testing new versions of the
platform and the scenarios in order to decide if a certain version
should be promoted to the next level.

Change-Id: I1be4289b1d15e77d064033b8cba1f73546383e5e

Use correct slave label based on deploy type

Change-Id: If4e87b417a4164b2a58ef6e7fe84e281ebec574d

Configure jobs for baremetal deployments

Change-Id: Ie4a05e35c5109543fced915ef57ef678104d0624

Create jobs for license manager Acumos project

Change-Id: If73613f5fad81c7171b78ef70fc785351d6dcf74

Create jobs for acumos/kubernetes-client

Change-Id: Ie83d9c43a4b9c37a48e1107b7a41655754e99d9f

Merge "Reenable yardstick for virtual deployments"

Reenable yardstick for virtual deployments

The failures were probably due to instability of the cloud so attempting to reenable Yardstick to see if that is the case. If things don't work as expected, Yardstick might need to be disabled again.

This reverts commit 676634418826beb45e728d3e0e34be97a7a69ebe.

Change-Id: Iff081a4b72237e60e14b4c3a37aa00ed47e0dcdd

Move verify and periodic jobs to City Cloud instances

Change-Id: I56dc843cedf5992d78bf930455aa4dcdd9edb341

Disable yardstick for virtual deployments

Virtual deployments are not suited for running performance
tests as it can be seen in build history. As we are working
on bringing in baremetal in place, we can stop running yardstick
for virtual deployments which we already made it working.

Change-Id: Ic97fe7a60931e3b9e4b462fc9ff0134098e4ba27

Reduce ansible verbosity

Change-Id: Ice1ce68656bbf14ae9011513a13da1ec0c3335a1

Merge "acumos: Add jobs for federation project"

Add ENGINE_ANSIBLE_PARAMS to enable debugging

We add -vvv to the periodical jobs so that we can see what is going
on for the issues.

Change-Id: I650ec786787a0fb4535b8be6f6be0a5c3507d1f1

acumos: Add jobs for federation project

Change-Id: Ibff0a987919362299da7f13a8bc75969862e03a4

Gather macros used by jobs in same file

Nearly all the jobs use same macros so it is better to move
them to a file to ease the handling of them.

Change-Id: I46a9b1f7f1894b8994332f7dc42d7676043faf3b

Remove incorrectly added files to git

Change-Id: I445a3215e65db89e09fdfd13595e7fab6f92425a

bugfix: Use correct macros for cloud-infra-verify-engine jobs

Change-Id: Ib69dc57b7f7efbe4d88b5456ebce5818dfd8f8b3

Fix cloud-infra-periodic job build job macros

Change-Id: Ia83660b1a5bf9619bb2a9d077dabe056ebafb3f9

Adapt jobs to integrate yardstick

Integrating yardstick requires all jobs to be adapted accordingly.
- cloud-infra-test.sh: we now started using arguments to set values
explicitly.
- cloud-infra-periodic-engine.yaml: periodic runs now include yardstick
as well. it is ok to run yardstick kubernetes testing but it will probably
not work with an openstack deployment due to lower performance of virtual
deployments.
- cloud-infra-verify-engine.yaml: additional parameters are declared to
set variables explictly.
- cloud-infra-verify-test.yaml: we now verify changes coming to infra/test
repo for both of the test frameworks, functest and yardstick, to ensure
changes do not cause problems for any of these.

Change-Id: I2ec82bc7c0424ca190dcf51d032eec5e52855062