0109

.github/workflows/commit.yml

@@ -34,7 +34,7 @@ jobs:
         pushd tools
         python3 -m pip install -r requirements.txt
         touch tables/*.py
-        python3 make.py
+        python3 make.py -c
         popd
 
     - name: Grant execute permission for gradlew

.github/workflows/push-request.yml

@@ -22,5 +22,5 @@ jobs:
         pushd tools
         python3 -m pip install -r requirements.txt
         touch tables/*.py
-        python3 make.py
+        python3 make.py -c
         popd

tools/make.py

@@ -7,12 +7,13 @@
 import argparse
 
 parser = argparse.ArgumentParser(description='Create mcpdict database')
+parser.add_argument('-c', action='store_true', help='check 同音字頻', required=False)
 parser.add_argument('-省', help='province to include', required=False)
 args, argv = parser.parse_known_args()
 start = time()
 
 dicts = defaultdict(dict)
-langs = getLangs(dicts, argv, 省=args.省)
+langs = getLangs(dicts, argv, args)
 keys = [f"{lang.簡稱}" for lang in langs]
 fields = [f"`{i}`" for i in keys]
 CREATE = 'CREATE VIRTUAL TABLE mcpdict USING fts3 (%s)' % (",".join(fields))

tools/tables/__init__.py

@@ -142,7 +142,47 @@ def getLangsByArgv(infos, argv):
 					break
 	return l
 
-def getLangs(dicts, 參數, 省=None):
+def 獲取同音字頻(get=False):
+	if not get: return
+	同音字頻 = defaultdict(int)
+	詳情 = tables._詳情.加載()
+	for mod,d in 詳情.items():
+		try:
+			if d["文件格式"]:
+				語 = import_module(f'tables._{d["文件格式"]}').表()
+				語.setmod(mod)
+			else:
+				語 = import_module(f"tables.{mod}").表()
+			if not 語.文件名: 語.文件名 = d["文件名"]
+		except:
+			continue
+		if "繁" not in d["繁簡"]: 語.simplified = 2
+		if d["地圖集二分區"] == None: d["地圖集二分區"] = ""
+		if "聯表列名" in d:
+			a = d["聯表列名"].upper()
+			語.音列 = sum([26**(len(a)-1-i)*(ord(j)-ord('A')+1) for i,j in enumerate(a)]) - 1
+		if d["聲調"]:
+			調典 = dict()
+			調組 = json.loads(d["聲調"])
+			for 調 in 調組:
+				調值 = 調組[調][0]
+				if 調值 in 調典 and "入" in 調組[調][3]:
+					調值 += "0"
+				調典[調值] = 調
+			語.調典 = 調典
+		語.info = d
+		語.加載()
+		if 語.音節數 > 0:
+			for 字組 in 語.聲韻典.values():
+				if len(字組) < 2: continue
+				for 項 in combinations(字組, 2):
+					雙字 = "".join(sorted(項))
+					同音字頻[雙字] += 1
+	return 同音字頻
+
+def getLangs(dicts, 參數, args):
+	省 = args.省
+	同音字頻 = 獲取同音字頻(args.c)
 	詳情 = tables._詳情.加載(省)
 	語組 = []
 	數 = 0
@@ -158,14 +198,6 @@ def getLangs(dicts, 參數, 省=None):
 	推薦人 = defaultdict(int)
 	維護人 = defaultdict(int)
 	keys = None
-	同音字頻 = defaultdict(int)
-	同音字頻表 = os.path.exists("同音字頻.tsv")
-	if 同音字頻表:
-		t = open("同音字頻.tsv", "r", encoding="U8")
-		for line in t:
-			字, 頻 = line.strip().split("\t")
-			同音字頻[字] = int(頻)
-		t.close()
 	t = open("warnings.txt", "w", encoding="U16")
 	for mod in mods:
 		if mod in 詳情:
@@ -200,7 +232,7 @@ def getLangs(dicts, 參數, 省=None):
 					調典[調值] = 調
 				語.調典 = 調典
 			語.info = d
-			語.加載(dicts)
+			語.加載(dicts, 更新=args.c)
 			if d["文件名"] != "mcpdict.db":
 				if 語.字數 == 0: continue
 				if 語.字數 < 900:
@@ -226,7 +258,7 @@ def getLangs(dicts, 參數, 省=None):
 				if 人:
 					維護人[人] += 1
 			數 += 1
-			if 同音字頻表:
+			if 同音字頻:
 				if 語.檢查同音字() and 語.字數 < 10000:
 					for 音, 字組 in 語.聲韻典.items():
 						if len(字組) < 2: continue
@@ -239,12 +271,6 @@ def getLangs(dicts, 參數, 省=None):
 								字頻 += 同音字頻["".join(sorted((字甲, 字乙)))]
 							if 字頻 < 1.8 * n:
 								語.誤.append(f"{字甲}可能不讀[{音}]{''.join(字組乙)[:4]}")
-			elif 語.音節數 > 0:
-				for 字組 in 語.聲韻典.values():
-					if len(字組) < 2: continue
-					for 項 in combinations(字組, 2):
-						雙字 = "".join(sorted(項))
-						同音字頻[雙字] += 1
 			語.info["解析日志"] = None
 			語.info["同音字表"] = None
 			if 語.誤:
@@ -295,12 +321,6 @@ def getLangs(dicts, 參數, 省=None):
 		if not keys: keys = 語.info.keys()
 		語組.append(語)
 	t.close()
-	if not 同音字頻表:
-		t = open("同音字頻.tsv", "w", encoding="U8")
-		for i, j in 同音字頻.items():
-			if j > 1:
-				t.write(f"{i}\t{j}\n")
-		t.close()
 	字 = 語組[0]
 	for 項 in keys:
 		if 項 not in 字.info: 字.info[項] = None

tools/tables/_縣志.py

@@ -22,14 +22,15 @@ def 統(自, 行):
 			行 = 行.lstrip("ø")
 		elif 名 in ("江夏湖泗"):
 			行 = 行.replace("ø[", "0[")
-		elif 名 in ("遂川","大庸南","大庸北", "婺川", "蒙山程村","欽州東場", "陽朔鳳樓"):
+		elif 名 in ("遂川","大庸南","大庸北", "婺川", "蒙山程村","欽州東場", "陽朔鳳樓","桑植芙蓉橋"):
 			行 = 自.行轉調類(行)
 		elif 名 in ("道眞"):
 			行 = 自.行轉調類(行).lstrip("ø")
 		elif 名 in ("奉化",):
 			行 = 自.行轉調類(行, r"(\d+)(?![:\d])")
 		elif 名 in ("巢湖",):
 			行 = 自.normS(行)
+			if 行.startswith("	") and not 行.startswith("	#"): 行 = "Ø" + 行
 		elif 名 in ("崇仁"):
 			行 = 自.normS(行)
 		elif 名 in ("羅山","贛縣安平"):
@@ -237,7 +238,9 @@ def 析韻(自, 行):
 		elif "［" in 行 or "］" in 行: return
 		韻 = 行
 		if 韻: 韻 = 韻.split("\t")[0].strip().strip("[]")
-		if 有字(韻): 韻 = ""
+		if 有字(韻):
+			if 自.韻: 自.誤.append(f"[{韻}]前不應斷行，或不是合法韻母")
+			return 自.韻
 		自.韻 = 韻
 		if 韻: 自.韻組.append(韻)
 		return 韻
@@ -303,7 +306,7 @@ def 更新(自):
 								異讀 = ""
 					註 = 註[1:-1]
 					if 註.count("{") != 註.count("}"):
-						自.誤.append(f"大括號未成對:{註}")
+						自.誤.append(f"括號未成對:{註}")
 						註 = 註.replace("{", "").replace("}", "")
 					音義 = 音 + 異讀 + "\t" + 序號 + 音義 + 註
 					if 音義 not in 典[字]:

tools/tables/_表.py

@@ -133,9 +133,10 @@ def docx2tsv(doc):
 	lines = []
 	for each in Document(doc).paragraphs:
 		行 = "".join(map(run2text, each.runs)).replace("}{", "")
-		lines.append(行 + "\n")
+		lines.append(行)
+	行 = "\n".join(lines).replace("}\n{", "")
 	t = open(tsv, "w", encoding="U8", newline="\n")
-	t.writelines(lines)
+	t.write(行)
 	t.close()
 
 def ybKey(x):
@@ -297,16 +298,16 @@ def 正音(自, 音, 檢查=False):
 		音 = 自._正音(音)
 		if not 檢查: return 音
 		if "\t" in 音:
-			自.誤.append(f"{音} 音節有TAB空檔")
+			自.誤.append(f"[{音}]音節含TAB字符")
 			音 = 音.replace("\t", "")
-		if 爲字(音[0]):
-			自.誤.append(f"{音} 音節錯誤")
-		if re.match(r".+\d{3,}", 音):
-			自.誤.append(f"{音} 調類錯誤")
+		if not re.match(r".+\d{0,2}[a-z\-=]?", 音):
+			自.誤.append(f"[{音}]音節錯誤")
+		elif 有字(音):
+			自.誤.append(f"[{音}]音節包含漢字")
 		if 音 not in 自.音集:
 			自.音集.add(音)
 		else:
-			自.誤.append(f"{音} 音節重複")
+			自.誤.append(f"[{音}]音節重複")
 		return 音
 
 	def 檢查同音字(自):
@@ -354,7 +355,7 @@ def 寫(自, d):
 				字 = s2t(字, 自.simplified)
 			if not 爲字(字):
 				if 自.爲方言():
-					自.誤.append(f"【{字}】[{','.join([i.strip() for i in pys])}]不是漢字")
+					自.誤.append(f"【{字}】({','.join([i.strip() for i in pys])})不是漢字")
 				continue
 			if 自.註序:
 				pys = sorted(pys,key=ybKey)
@@ -366,7 +367,7 @@ def 寫(自, d):
 					音, 註 = py, ""
 				音 = 自.正音(音)
 				if 字 == "□" and not 註:
-					自.誤.append(f"□[{音}]没有注释")
+					自.誤.append(f"【□】({音})無註釋")
 				音 = f"{音}\t{註}"
 				print(f"{字}\t{音}", file=t)
 		t.close()
@@ -396,9 +397,9 @@ def 音節數(自):
 	def 聲韻數(自):
 		return len(自.聲韻典)
 
-	def 讀(自):
+	def 讀(自, 更新=False):
 		自.音表.clear()
-		if 自.過時(): 自.更新()
+		if 自.過時() or 更新 and 自.spath: 自.更新()
 		自.音典.clear()
 		自.聲韻典.clear()
 		自.d.clear()
@@ -428,7 +429,7 @@ def 讀(自):
 				if "-" not in 音:
 					自.音典[音].add(字)
 					繁註 = s2t(註.replace(" ", ""))
-					if "訓" not in 繁註 and "(又)" not in 繁註 and "口語" not in 繁註 and "合音" not in 繁註 and "語流" not in 繁註 and "音變" not in 繁註 and "連讀" not in 繁註 and "存疑" not in 繁註 and "地方字" not in 繁註 and "地名" not in 繁註 and "俗" not in 繁註 and 字 != "□":
+					if "訓" not in 繁註 and "替" not in 繁註 and "口語" not in 繁註 and "合音" not in 繁註 and "語流" not in 繁註 and "音變" not in 繁註 and "連讀" not in 繁註 and "存疑" not in 繁註 and "地方字" not in 繁註 and "地名" not in 繁註 and "俗" not in 繁註 and 字 != "□":
 						聲韻 = 自.分音(音)[0]
 						自.聲韻典[聲韻].add(字)
 				if 註:
@@ -444,9 +445,10 @@ def 讀(自):
 			if py not in 自.d[字]:
 				自.d[字].append(py)
 
-	def 加載(自, dicts):
-		自.讀()
+	def 加載(自, dicts=None, 更新=False):
+		自.讀(更新)
 		if not 自.d: return
+		if dicts is None: return
 		for 字, 音集 in 自.d.items():
 			if 字 not in dicts:
 				dicts[字] = {"漢字": 字}

tools/tables/_詳情.py

@@ -94,7 +94,7 @@ def normSource(books):
 			return books.value
 	return None
 
-def 加載(省):
+def 加載(省=None):
 	if not 省 and not 過時():
 		return json.load(open(tpath,encoding="U8"))
 	d = dict()

tools/tables/_音典.py

@@ -160,6 +160,7 @@ def 析(自, 列):
 			if 異讀 == "文": 音+="="
 			elif 異讀 == "白": 音+="-"
 		elif 名 in ("台山斗山墟",):
+			if (len(列) < 13): return
 			字, 音標, 註 = 列[0], 列[12], 列[13]
 		elif 名 in ("新會天湖",):
 			字, 聲, 韻, 調值, 註 = 列[0], 列[11], 列[12], 列[13], 列[14]

tools/tables/data/三江黄牌.tsv

@@ -80,7 +80,7 @@ t	[7b]搭答
 d̥	[8b]达沓{一~纸}
 l	[8b]腊蜡
 k	[7b]甲胛{肩~}
-ŋ	[7b]夹{~菜}
+ŋ	[7b]夹~菜
 xʱ	[8b]和{~面}合
 d̥z̥	[8b]杂
 ʔ	[7b]压
@@ -182,7 +182,7 @@ tʰ	[1]梯[3]体
 d̥	[2]题提蹄啼[6]弟{此词也表示“男”义}地{~上}
 n	[2]泥
 l	[2]犁
-k	[1]鸡肌[5]□{屎}
+k	[1]鸡肌[5]□[屎]
 ts	[5]济剂{一~药}
 tsʰ	[5]砌
 d̥z̥	[2]齐脐
@@ -475,7 +475,7 @@ d̥ʑ̥	[2]茶察查{调~}
 ɕ	[1]沙纱
 Ø	[4]也{~是}野[6]夜
 #iɑi	
-ɕ	[1]斋[6]寨
+tɕ	[1]斋[6]寨
 tɕʰ	[1]差{出~}
 ɕ	[1]筛{~子}
 #iɑu