fix: proper nj transliteration

.nvmrc

@@ -1 +1 @@
-lts/fermium
+lts/hydrogen

package.json

@@ -2,7 +2,9 @@
   "name": "@interslavic/utils",
   "version": "0.0.0",
   "description": "Utilities for declension, conjugation, transliteration, etc.",
+  "type": "commonjs",
   "main": "dist/index.js",
+  "types": "dist/index.d.ts",
   "files": [
     "dist",
     "src",
@@ -45,7 +47,7 @@
   "devDependencies": {
     "@commitlint/cli": "^11.0.0",
     "@commitlint/config-conventional": "^11.0.0",
-    "@types/jest": "^28.1.8",
+    "@types/jest": "^29.0.0",
     "@types/js-yaml": "^4.0.5",
     "@types/lodash": "^4.14.168",
     "@typescript-eslint/eslint-plugin": "^5.59.8",

scripts/generate-nj-suite.mjs

@@ -0,0 +1,54 @@
+#!/usr/bin/env node
+
+import fs from 'node:fs';
+import utils from '../dist/index.js';
+
+function* extractWords(str) {
+  // include letters and combining marks
+  const regex = /([\p{L}\p{M}]+)/gu;
+  let match;
+
+  while ((match = regex.exec(str)) !== null) {
+    yield match[1];
+  }
+}
+
+function* extractWordsFromFile(filePath) {
+  const raw = fs.readFileSync(filePath, 'utf8');
+  yield* extractWords(raw);
+}
+
+function* allWords() {
+  yield* extractWordsFromFile('src/adjective/testCases.json');
+  yield* extractWordsFromFile('src/noun/__snapshots__/declensionNoun.test.ts.snap');
+  yield* extractWordsFromFile('src/numeral/testCases.json');
+  yield* extractWordsFromFile('src/pronoun/testCases.json');
+  yield* extractWordsFromFile('src/verb/testCases.json');
+}
+
+function endsWithNj(word) {
+  return word.endsWith('nja')
+    || word.endsWith('njah')
+    || word.endsWith('njam')
+    || word.endsWith('njami')
+    || word.endsWith('nje')
+    || word.endsWith('njem')
+    || word.endsWith('nju');
+}
+
+function buildExceptionList() {
+  const set = new Set();
+  for (const word of allWords()) {
+    if (endsWithNj(word)) {
+      set.add(utils.transliterate(word.toLowerCase(), 'art-Latn-x-interslv'));
+    }
+  }
+  return [...set].sort();
+}
+
+function toTrieToken(word) {
+  return '%' + word.split('').reverse().join('') + '%';
+}
+
+console.log(buildExceptionList().map(toTrieToken).join(' '));
+

src/transliterate/index.test.ts

@@ -4,13 +4,13 @@ const latin = `\
 Na vȯzvyšenosti ovca, ktora ne iměla vȯlnų, uviděla konjev. Pŕvy tęgal tęžky voz, vtory nosil veliko brěmę, tretji brzo vozil mųža.
 Ovca rěkla konjam: «Boli mně sŕdce, kȯgda viđų, kako člověk vladaje konjami.»
 Konji rěkli: «Slušaj, ovco, nam boli sŕdce, kȯgda vidimo ovo: mųž, gospodaŕ, bere tvojų vȯlnų, da by iměl dlja sebe teplo paĺto. A ovca jest bez vȯlny.»
-Uslyšavši to, ovca izběgla v råvninų. | Odjezd. T́ma.`;
+Uslyšavši to, ovca izběgla v råvninų. | Odjezd. T́ma, i korenje revenja počęli råsteńje.`;
 
 const cyrillic = `\
 На возвышености овца, ктора не имѣла вълнѫ, увидѣла коњев. Прьвы тѧгал тѧжкы воз, вторы носил велико брємѧ, третји брзо возил мѫжа.
 Овца рѣкла коням: «Боли мнє срьдце, къгда виџу, како чловѣк владаје коньами.»
 Конји рѣкли: «Слушай, овцо, нам боли срьдце, къгда видимо ово: мѫж, господарь, бере твоѭ вълнѫ, да бы имѣл дља себе тепло пальто. А овца ѥсть без вълны.»
-Услышавши то, овца избѣгла в рӑвнинѹ. | Одјезд. Тьма.`;
+Услышавши то, овца избѣгла в рӑвнинѹ. | Одјезд. Тьма, и корење ревења почѧли рӑстеньје.`;
 
 describe('transliterate to', () => {
   describe.each([

src/transliterate/nje/Dict.ts

@@ -0,0 +1,3 @@
+export interface Dict {
+  [key: string]: Dict | number;
+}