合合信息如何解决古彝文识别中的困难与挑战

0. 前言

作为世界上最古老的文字系统之一，古彝文字记录了人类数千年的发展历史。古彝文字识别研究可以将珍贵的古彝文字文献转化为电子文件，使其更容易保存和传承。但由于历史发展、地域限制等诸多因素，古彝文字识别研究进展缓慢。本文介绍了如何将新颖的深度学习技术应用于古文字识别中，并介绍了和合信息如何解决古彝文字识别中的困难和挑战。依托和合信息在古文字识别领域的积累，与传统的古彝识别模型相比，和合信息联合上海大学提出的基于深度学习的古彝识别模型能够以更高的准确率识别古彝字迹。大大提高了古彝文识别的准确率。

1. 古易 1.1 古易简介

彝族有着古老而灿烂的文化。他们记录并保存了大量的典籍，是中国传统文化宝库的重要组成部分。

按照1980年发布的四川标准彝文，共有819个字；2012年发布的云、川、贵、桂通用彝文，共有5598个字。与这些演变到现代的标准化彝文不同，古彝文是指民间流通使用的原始文字。生态彝文，据《云川黔桂彝文集》统计，这些古彝文的字数多达87046个。由于古代彝文典籍多记载于石刻、岩画、木碑、纸质书籍上，由于年代久远，往往内容模糊甚至残缺不全，这给古彝文献的鉴定带来了巨大的挑战。

古埃及象形文字词意鱼鸟旗箭瓶

古埃及象形文字（约公元前 3200 年至公元 400 年）

古埃及修道院草书是根据象形文字演变而来的

古代彝族文字的含义

鱼

鸟

月亮

马

头

古代彝族文字

1.2 古彝文字识别的重要性

随着时间的流逝，许多古文字逐渐消失在历史的长河中，古彝文字是少数仍在使用的文字之一。古彝文献的高效识别对于古彝文献的编纂和翻译具有重要意义。不仅可以帮助了解尚未翻译成中文或不规范的古籍，而且可以更实际地保护传统文化。目前，古易的相关编纂工作仍主要依靠手工进行，不仅占用大量的人力成本，而且效率低下，成果难以重复利用。例如，《西南夷志》的校勘和汉译，罗国仪王兴友等人花了10年时间才完成。为了完善和修改第一版译本，王云泉、王世举等人又花了17年时间完成了第二版译本。

随着人工智能特别是深度学习的发展，可以为古彝文字识别提供更加高效的工具，为其保存和传播提供有力支撑。古彝文字的识别不仅是人类知识的延续和传承，也是推动知识发展的关键。和合信息与上海大学的“原始古彝”研究项目将成为抢救、整理、保存、传播和利用彝文字的重要工具。阅读古籍的有效方法。

1.3 古彝文字识别面临的挑战

与其他较为规范的文字相比，古彝文字书写较为随意，没有通用的统一标准，因此其识别难度也随之增加。虽然在文字识别技术上已经有了突破，例如和合信息自主研发的文字识别技术涵盖了文字、文档、表格、印章、二维码、公式等多种常见场景，可以快速、高效地执行准确检测。和识别，支持中英文等50多种语言，以及打印、手写、倾斜、折叠、旋转等。但由于格式多样性、字符集庞大、图像质量较差，目前对古彝文字识别的研究还很少，而且现存的古彝文字大多是手写体，这进一步加深了古彝文字识别的难度。综上所述，古彝文字识别面临的挑战主要集中在以下几个方面：

2 国内外古彝文字识别研究进展

在古彝文字识别领域，研究的主要焦点仍然是民族院校和科研院所，研究成果的应用和转化率较低。王家梅等人利用图像分割技术实现了古彝文的识别。他们首先通过预处理将细分、归一化、二值化等经典图像处理技术应用于彝族文字，然后利用模板匹配方法对预处理后的图像进行识别。。朱化龙等人提出了一种基于特征提取的分类方法，这是一种经典的传统机器学习方法。他们利用人工从古彝文字中提取方向线元素、笔划密度特征、投影特征等，然后采用多类别投票的方法来确定文本的最终字符。类别。

此外，还有许多国内外学者对多种古代文献进行研究。例如，北京大学的“古籍识别”项目利用文本识别、自动标点符号、命名实体识别等技术来识别古籍；阿里巴巴的“中国经典揭晓”项目利用人工智能技术，将加州大学伯克利分校收藏的一批中国古籍数字化。

3. 基于深度学习的古彝文字识别 3.1 深度学习简介

近年来，深度学习（DL）在多个领域取得了突破性进展，特别是在图像识别、目标检测、自然语言处理等领域。神经网络由具有权重和偏差的人工神经元组成，在模型训练过程中调整权重和偏差，以获得性能优异的学习模型。每个神经元可以接收一组输入，以某种方式处理它们，并输出一个或多个值。如果我们堆叠多层神经网络，则称为深度神经网络，而处理这些深度神经网络的人工智能分支称为深度学习。

传统全连接神经网络的主要缺点之一是它们忽略输入数据的结构，所有数据在输入网络之前都被转换为一维数组。对于简单的数值数据来说这可能不是问题，但是当我们处理图像数据时，全连接网络就显示出缺点。以灰度图像为例，这些图像是二维结构，像素的空间排列包含大量隐藏信息。如果我们忽略这些信息并将图像转换为一维结构，我们将丢失很多潜在的信息。这就是卷积神经网络（CNN）的优势。 CNN在处理图像时会考虑图像的2D结构。

CNN也是由权值和偏置组成的神经元组成。这些神经元接受输入数据，对其进行处理，并输出处理后的值。网络的目标是从输入层的原始图像数据中获得输出层的正确结果。在不同的任务中，网络的目标是不同的：在图像分类中，网络的目标是获取图片类别；在目标检测中，网络的目标是Targeting，即目标所在的位置。普通的全连接神经网络和 CNN 之间的区别在于所使用的神经网络层的类型以及我们如何处理输入数据。假设CNN的输入是一张图像，那么CNN就可以用来提取图像的特征。另外，CNN的输入不仅限于图像，还可以是文本等数据。

CNN 是一种经典的深度学习网络，常用于图像识别等任务。与任何其他神经网络一样，权重和偏差被分配给图像中的元素，并且能够区分这些元素。与其他分类模型相比，CNN 需要更少的数据预处理。

CNN架构的基本形式可以比作人脑中的神经元和树突，它的灵感来自于视觉皮层。单个神经元仅对视野受限区域的刺激做出反应。视野的这个区域称为感受野。这些感受野重叠后，就覆盖了整个视野。

循环神经网络（RNN）是另一种经典的神经网络架构。 RNN可以看作是一种节省内存的机制。如果网络可以提供单独的记忆变量，则可以每次提取词向量的特征并刷新记忆变量，直到最后一次输入完成。此时，内存变量存储了所有序列的语义特征，并且由于输入序列的顺序，内存变量的内容与序列顺序密切相关。 RNN 架构可视化如下：

右边的网络是左边网络的扩展结果。右边的网络每一时刻接受当前输入和前一时刻的网络状态，并提取每一时刻的输出。

在每个时刻 ttt，网络层接受当前时刻的输入 xtx_txt和上一时刻的网络状态向量 ht−1h_{t−1}ht−1。根据网络内部运行逻辑 ht=fθ(ht−1,xt )h_t=f_{theta}(h_{t-1},x_t)ht=fθ(ht−1,xt)计算当前时刻新的状态向量hth_tht并将其写入内存状态。每个时刻，网络层都有一个输出oto_tot，ot=gΦ(t)o_t = g_{Phi}(t)ot=gΦ(t)，根据当前时刻状态向量计算并输出网络的。

网络循环接受序列的每个特征向量 xtx_txt并刷新内部状态向量 hth_tht，同时形成输出 oto_tot。这种网络结构就是循环神经网络（RNN）结构。

3.2 基于深度学习的古彝文字识别模型架构

手写文字识别已成为最便捷的人机交互手段之一，具有广阔的应用前景。在识别图像中的手写文本的问题中，我们需要处理图像数据和序列数据。在传统的古彝文字识别方法中，设计的解决方案通常需要人工参与。例如：在图像上使用滑动窗口，窗口大小是字符的平均大小，以便可以检测到每个字符，然后以更高的置信度输出它检测到的字符。但窗口的大小或者滑动窗口的数量需要人工确认。所以这本质上是一个特征工程问题。

为了减少人工时间成本，可以通过卷积神经网络（CNN）提取图像特征，然后将这些特征作为输入传递给循环神经网络（RNN）的每个时间戳，以便在每次戳提取输出。因此，我们将采用CNN和RNN相结合的方式来解决手写文本识别问题。我们不必手动构造特征，只需要优化模型即可得到CNN和RNN的最佳参数。经典的文本识别架构如下：

与传统的古彝语识别模型相比，基于深度学习的方法在识别古彝语笔迹方面具有更高的准确率和效率。

4. 古彝文字识别研究进展与展望

2022年12月，和合信息与上海大学社会科学学院签署校企合作协议。目标将结合和合信息在智能文字识别领域的经验，完成“贵州古彝图像识别及数字校对项目”。上海大学在古彝语研究方面的雄厚基础和丰富经验，使海量古彝语起源数字化，对于民族传统文化的保护和传承具有重要意义。

和合信息是一家行业领先的人工智能和大数据科技公司。智能文字识别技术是和合信息的核心技术之一。在ICDAR、ICPR等国际人工智能竞赛中获得15项冠军，在CVPR、AAAI等国际人工智能竞赛中获得15项冠军，学术成果在顶级会议发表。和合信息的智能文本识别技术主要包括智能图像处理、复杂场景文本识别、自然语言处理三大核心模块。通过在智能文本识别和商业大数据领域积累的经验，优势：通过智能图像处理技术解决了图像采集不规则的问题，可以极大优化图像质量，为后续文本信息提取和识别奠定基础项目的。复杂文本识别适用于多语言、多格式、多风格等，这样的复杂场景，结合自然语言处理技术，可以获得识别结果的语义信息。

虽然古彝文字识别的研究还处于起步阶段，但基于和合信息早期在甲骨文、金文等古文字研究方面的积累，通过引入强大的智能文字识别技术，可以大大提升古彝文字的识别能力。建立标准化、统一的数据库。和合信息与上海大学共同推进的“原始古易”研究项目将填补国内外古易数字化研究领域的空白。

古彝数据库和翻译系统的建立，将显着提高古彝识别的效率和准确性，对于小语种保护和古代文化传承具有重要里程碑意义。

概括

目前，古彝文字识别的研究还处于起步阶段，大多数研究仅集中在标准化的古彝文字上。由于缺乏汉字库，大多数模型只能处理常见的古彝文。因此，对于古彝文字的其他研究可以说是少之又少。和合信息基于深度学习的古彝文识别项目将填补目前国内外研究空白。将深度学习技术引入古彝文字识别中，将为文化保护和发展做出更多有益的探索，让传统文化绽放出更加灿烂的光芒。花。