数据集方面的合作

[YRQ66]

你好，首先非常感谢你在Latex OCR方面所做的贡献，我下载过您提供的550K数据集，经过数据清洗，大概有1000个token，其中绝大多数我感觉已经造成数据集的冗余，也许剔除掉更好，然而这并不简单，我想经过mathpix api数据进行清洗或许是个可行的方案，对您提供的550K数据集我正在做这方面的工作，从结果上来看，600个token就可以完全覆盖，但我仍然缺乏最够的向550K这样高质量多行复杂印刷体数据（同时我正在构造手写体和扫描体），或许我们可以合作，我可以提供mathpix清洗后的数据（mathpix大概可以有600万的额度）如果对此感兴趣，欢迎联系

[OleehyO]

我这边比较缺乏手写体和扫描体样式的数据，不过我没有在您的主页找到联系方式，这是我的邮箱：[email protected]

[z20150214]

我比较缺乏手写体和扫描体样式的数据，但是我没有在您的主页找到联系方式，这是我的邮箱：[email protected]

谷歌mathwriting-2024 上个月开源的手写数据集 附inkml转图片示例脚本，希望有帮助。

[z20150214]

import os
import numpy as np
from skimage.draw import line
from skimage.morphology import thin
import matplotlib.pyplot as plt
import xml.etree.ElementTree as ET
import random

def get_traces_data(inkml_file_abs_path, xmlns='{http://www.w3.org/2003/InkML}'):

if inkml_file_abs_path.endswith('.inkml'):
    tree = ET.parse(inkml_file_abs_path)
    root = tree.getroot()
    doc_namespace = "{http://www.w3.org/2003/InkML}"
    'Stores traces_all with their corresponding id'
    #convert integers to float before
    traces_ids, traces_raw = zip(*[[trace_tag.get('id'), [[float(axis_coord) for axis_coord in coord.strip(' ').split(' ')]
                                                                                for coord in (trace_tag.text).replace('\n', '').split(',')]]
                                                                                    for trace_tag in root.findall(doc_namespace + 'trace')])
    t_i = 0
    in_inches = False
    while t_i < len(traces_raw) and not in_inches:
        coord_i = 0
        while coord_i < len(traces_raw[t_i]) and not in_inches:
            in_inches = all([not axis_coord.is_integer() for axis_coord in traces_raw[t_i][coord_i]])
            coord_i += 1
        t_i += 1

    if in_inches:
        traces_raw = [[[round(axis_coord * 1000) for axis_coord in coord] for coord in trace]for trace in traces_raw]
    else:
        traces_raw = [[[int(axis_coord) for axis_coord in coord] for coord in trace]for trace in traces_raw]

    traces_all_list = [{"id": t_id, "coords": trace} for t_id, trace in zip(traces_ids, traces_raw)]

    'convert in dictionary traces_all  by id to make searching for references faster'
    traces_all = {}
    for t in traces_all_list:
        traces_all[t["id"]] = t["coords"]
        
    # 读取normalizedLabel值
    normalized_label = root.find(doc_namespace + 'annotation[@type="normalizedLabel"]').text.strip()
    
    return traces_all, normalized_label
else:
    print('File ', inkml_file_abs_path, ' does not exist !')
    return {}

def inkml2img(input_path, output_path, color_ratio=0.5, thickness_ratio=0.5):
traces, normalized_label = get_traces_data(input_path)

# 获取当前坐标轴实例
ax = plt.gca()

# 颜色
color = (random.uniform(0.0, color_ratio / 2),
         random.uniform(0.0, color_ratio / 2),
         random.uniform(0.0, color_ratio / 2))

# 粗细
linewidth = random.uniform(1.0, 2.5) * thickness_ratio

# 绘制墨迹
for trace_id, trace_coords in traces.items():
    trace_x = [coord[0] for coord in trace_coords]
    trace_y = [coord[1] for coord in trace_coords]
    ax.plot(trace_x, trace_y, color=color, linewidth=linewidth)

# 设置坐标轴样式
ax.invert_yaxis()
ax.set_aspect('equal', adjustable='box')
ax.get_xaxis().set_visible(False)
ax.get_yaxis().set_visible(False)
ax.spines['top'].set_visible(False)
ax.spines['right'].set_visible(False)
ax.spines['bottom'].set_visible(False)
ax.spines['left'].set_visible(False)

# 保存图像
plt.savefig(output_path, bbox_inches='tight', dpi=100)

# 清除当前图形
plt.clf()

# 保存normalizedLabel到txt文件
with open(os.path.splitext(output_path)[0] + '.txt', 'w') as f:
    f.write(normalized_label)

def batch_process_inkml(input_dir, output_dir, color_ratio=0.3, thickness_ratio=0.5):
# 创建输出目录（如果不存在）
if not os.path.exists(output_dir):
os.makedirs(output_dir)

# 遍历输入目录中的所有文件
for filename in os.listdir(input_dir):
    if filename.endswith('.inkml'):
        input_path = os.path.join(input_dir, filename)
        output_filename = filename.split('.')[0] + '.png'
        output_path = os.path.join(output_dir, output_filename)
        inkml2img(input_path, output_path, color_ratio=color_ratio, thickness_ratio=thickness_ratio)

if name == "main":
import sys
input_inkml_dir = sys.argv[1]
output_image_dir = sys.argv[2]
color_ratio = float(sys.argv[3]) # 颜色比例
thickness_ratio = float(sys.argv[4]) # 粗细比例
batch_process_inkml(input_inkml_dir, output_image_dir, color_ratio=color_ratio, thickness_ratio=thickness_ratio)

[z20150214]

数据集：google-research/google-research@ac8f8f6

[YRQ66]

@OleehyO 首先感谢您的回复，我们课题组的部分相关工作（构造数据集）即将进入尾声，完成后我将第一时间与您取得联系。
@z20150214 感谢您的补充，我之前研究该数据集，该数据集是在线手写类型，与我们课题组所构造的手写体、扫描体并不相同