feat: adapt mandatory test 6.1.11 for csaf 2.1 #211
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Should pass the test (valid example 4) as the weakness was called "Sensitive Information Accessible by Physical Probing of JTAG Interface" in 4.9
Should pass the test (valid example 5) as the weakness was called "System-on-Chip (SoC) Using Components without Unique, Immutable Identifiers" in 4.13.
Should fail the test (failing example 2) as the weakness was not present in 4.12 (but added in 4.13; see https://cwe.mitre.org/data/reports/diff_reports/v4.12_v4.13.html)
Should fail the test (failing example 4) as the weakness was called "System-on-Chip (SoC) Using Components without Unique, Immutable Identifiers" in 4.13. Did you just check against the latest version? |
tschmidtb51
requested changes
Feb 19, 2025
Comment on lines
28
to
39
| additionalProperties: true, | ||
| properties: { | ||
| id: { type: 'string' }, | ||
| }, | ||
| optionalProperties: { | ||
| name: { type: 'string' }, | ||
| }, |
There was a problem hiding this comment.
Isn't that missing the versionhere?
Comment on lines
52
to
93
| for (let i = 0; i < doc.vulnerabilities.length; ++i) { | ||
| const vulnerability = doc.vulnerabilities[i] | ||
| for (let j = 0; j < vulnerability.cwes.length; ++j) { | ||
| const cwe = vulnerability.cwes.at(i) | ||
| if (validateCWE(cwe)) { | ||
| const entry = cwec.weaknesses.find((w) => w.id === cwe.id) | ||
| if (!entry) { | ||
| isValid = false | ||
| errors.push({ | ||
| instancePath: `/vulnerabilities/${i}/cwes/${j}/id`, | ||
| message: 'no weakness with this id is recognized', | ||
| }) | ||
| continue | ||
| } | ||
| if (entry.name !== cwe.name) { | ||
| isValid = false | ||
| errors.push({ | ||
| instancePath: `/vulnerabilities/${i}/cwes/${j}/name`, | ||
| message: 'the name does not match the weakness with the given id', | ||
| }) | ||
| continue | ||
| } | ||
| } | ||
| } | ||
| } |
There was a problem hiding this comment.
Where is the version considered?
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
43c7fee to
47510f2
Compare
|
Okay, now I included all catalogues that are necessary for the tests. We should probably discuss in the meeting next week, how many catalogue versions should be embedded in the lib. |
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
47510f2 to
64bf3f2
Compare
domachine
changed the base branch from
196-csaf-2.1
to
196-csaf-2.1-exclude-unimplemented-tests-from-test-suite
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1-exclude-unimplemented-tests-from-test-suite
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
tschmidtb51
reviewed
Feb 27, 2025
Base automatically changed from
196-csaf-2.1-exclude-unimplemented-tests-from-test-suite
to
196-csaf-2.1
February 27, 2025 09:44
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
64bf3f2 to
9238623
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
9238623 to
eb90422
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
@domachine To be conforming: all available. |
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
eb90422 to
5399bd4
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
@tschmidtb51 now I included all available cwe catalogues. I also rebased the branch on the branch with the new test script (#220) so that you can use this to run the test against individual csaf files. |
domachine
changed the base branch from
196-csaf-2.1
to
217-csaf-2.1-test-script
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
5399bd4 to
b38d58c
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
rainer-exxcellent
requested changes
Mar 6, 2025
| /** @type {Array<{ message: string; instancePath: string }>} */ | ||
| const errors = [] | ||
| let isValid = true | ||
| debugger |
There was a problem hiding this comment.
Please remove debugger statement
domachine
force-pushed
the
197-mandatory-test-6.1.11
branch
from
b38d58c to
4062f49
Compare
|
Coverage after merging 197-mandatory-test-6.1.11 into 196-csaf-2.1
Coverage Report
|
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
I'm not sure, @tschmidtb51 what do you think? |
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Potentially invalid test cases:
All of the above test cases fail against the new test. I checked them manually and I think that they are invalid.