【财务信息技术】数据挖掘技术在大型企业集团财务管理中的应用

数据挖掘技术

在大型企业集团财务管理中的应用

本文发表于《财务与会计》2022年09期

【摘要】数据挖掘技术可以从多种角度对传统财务管理手段和方式予以补充和提高。本文介绍了数据挖掘的特征和一般功能，分析了大数据时代大型企业集团传统财务管理的不足，提出大型企业集团财务管理中应用数据挖掘技术应从底层数据分析中助力效益专一求精、从业财数据融合中发掘潜在价值、从内外数据结合中预测发展趋势、从多维数据比较中创建预警模型等方面着手，并以S 航运集团为例，介绍了数据挖掘技术在大型企业集团的具体应用，最后指出了应用数据挖掘技术需要考虑的因素。

【关键词】数据挖掘技术；财务管理；大型企业集团

正文共8238字，预计阅读需要20分钟。阅读本文你将了解：

• 数据挖掘技术的发展

• 大数据时代大型企业集团传统财务管理的不足

• 数据挖掘技术在大型企业集团财务管理中的应用

• 数据挖掘技术在S 航运集团的应用

• 应用数据挖掘技术需要考虑的因素

现代信息技术的飞速发展带来数据的海量增长，传统的数据分析手段无法将其有效地转化为知识，产生了数据爆炸却知识贫乏的现象。人们迫切希望能对海量数据进行深入分析，发现并提取隐藏在其中的有效信息，以更好地利用这些数据。正是在这样的背景下，数据挖掘技术应运而生。

一、数据挖掘技术的发展

（一）数据挖掘的定义

数据挖掘是从大量的实际应用数据中，提取隐含且有用的信息和知识的一种数据技术。在商业应用领域，数据挖掘是指按照特定目标，对大量数据进行探索分析，提取关键数据，并辅助商业决策的一种分析活动，其目的是帮助分析人员发现数据关联或被忽略的关键要素，或者验证已知的规律，帮助决策者建立或完善决策模型，辅助做出正确的商业决策。

（二）数据挖掘的特征

1. 基于大数据。数据挖掘所面临的对象往往是巨大的数据集合，并往往具有成百上千的维度，同时数据类型多样，可以是来自于关系型数据库中的结构化数据，也可以是文本、图形、影像数据，其数据质量往往无法保证清洁、完整、一致，而是带有噪声（数据偏离期望值）且价值稀疏的。

2. 结论非平凡。数据挖掘没有假定的结论，不是一个从数据库中检索信息、演绎推理来证明或否定假设的过程，而是在不预设结论的前提下由计算机自动探索信息、归纳现象、发现知识的过程。数据挖掘的结论往往是人们事先不知（至少是不易预知）的深藏在数据内部的知识，而不是直接浮现在数据表面的信息。

3. 必须产生价值。使用者必须结合使用需求对数据挖掘的结论进行甄别，从中遴选出用户感兴趣，对内部管理、经营决策有辅助作用的知识。同时，数据化的结果不易理解和使用，使用者必须一端连接数据模型，一端连接最终用户，将模型计算的结果转换为可以被最终用户理解、描述的文本和数据，从而实现模型结论在实务管理中的应用。

4. 多学科融汇。数据挖掘是一项融汇了概率论、统计学、人工智能、机器学习、模式识别、数据库技术、并行计算、分布式计算等多学科知识的交叉技术。

（三）数据挖掘的一般功能

数据挖掘使用多种方法从不同角度对企业内外部数据进行分析归纳，应用于营销和管理中的多种决策辅助场景，如客户画像、客户满意度分析、趋势预测、市场细分、供应商管理、经营风险分析、欺诈识别、产品定价、危机信号捕捉与预警、经营效果预测等方面，从而改进管理、捕捉机会或提前进行危机管理。概括而言，数据挖掘主要有四项功能：

1. 趋势分析。从大量数据中寻找前瞻性指标和预测性信息，并套用在新的数据之上，从而完成数据预测。如利用现有数据预测未来市场走向，进而预测未来企业的经营表现。

2. 关联分析。从大量数据当中归纳发现多个指标之间的规律性关系或关系网。如通过营销数据分析发现影响营销效果的关键因素，为产品定位、营销策略提供参考依据；又如通过采购、消耗数据发现影响成本高低的关键要素，为成本管理提供辅助。

3. 聚类分析。将众多记录划分为一系列有意义的群组，从而给出差异性的特征描述和应对方案。如通过客户群体数据分析将客户划分为不同类型的次级群体，分别给予不同的优惠策略或账期。

4. 偏离分析。找出数据中不满足规则的特例并归纳其变化规律，以辅助决策者捕获机会或进行危机管理。如通过企业内部众多经营案例的分析，发现显著高于或低于一般水平的案例，从而获得改进管理的要点。

二、大数据时代大型企业集团传统财务管理的不足

（一）财务信息效率不足

财务信息是历史信息，它往往在业务开展之后生成，且企业集团层级结构复杂，财务报表需要逐级汇总编报，使财务信息不可避免地带有滞后性，在时间效率上存在不足，分析结果无法适应快速变动的市场及经营情况，甚至产生误导，造成决策失准。为财务管理引入数据挖掘技术，可以为财务分析补充实时分析和前瞻性分析，将财务管理意见实时反馈至业务前端。通过业财指标的预测性、关联性分析，阐明业务开展对财务指标的具体影响机制、影响情况，从而在业务开展的同时即可发挥财务的控制与管理功能，动态控制执行偏差，实现财务管理与业务管理的事前、事中、事后同步开展。

（二）财务信息深度不足

传统财务管理的基础是账表数据，综合度较高，是企业集团各方面经营活动的综合结果，但企业集团内部各业务模块之间往往具有高度复杂的内部层级和分工，业务、财务的信息化系统也往往相互独立，信息共享和对接存在壁垒，造成财务管理难以穿透企业层级，财务指标对业务实际存在解释困难。以数据挖掘技术应用为支撑的数字化改造，将使财务管理获得清单级别的细颗粒业务信息，并促使企业集团打通内部系统壁垒，形成统一的数据标准体系，最终形成财务管理的业务驱动及重构。

（三）财务信息广度不足

传统财务管理以财务数据为核心，通过指标计算和下钻细分来倒推业务模型开展收入、成本管理。由于人力及信息容量有限，账务数据无法容纳全部前端业务数据，无法考虑有关企业经营的全部影响因素。同时，相对固定的分析指标也无法适应以产品多样化、服务个性化和以小批量生产为代表的现代化企业经营方式。相对于此，数据挖掘技术可以在账务数据之外，引入直接或间接关乎企业经营的、更加丰富细致的业务开展、市场变动、宏观经济等多元数据，可以进一步发现深层业务动因与财务结果之间的关联性及影响关系，从而为财务管理提供更加宽广的数据基础和视角、更加丰富的指标体系和管理方法。

（四）财务风险管控不足

承上，由于财务数据在广度和深度方面的不足，企业集团内部数据的互通性存在壁垒，企业在财务风险管控上也存在不足：一是事前评估不足，只能依赖有限的数据甚至主要依靠自身经验来定性评估风险，局限性较大；二是事中信息传递流动性差，纵横向联系不足，甚至存在下级企业已经“爆雷”，上级企业才知晓事件存在的情况；三是数据来源、口径等标准不统一，信息不一致甚至相互矛盾，集团总部难以把控整体情况，综合应对存在困难。现代企业集团多已建立了风险数据库来对主要风险进行系统性地收集、分类、评估影响、制定预案，但多是对既往经验的人工总结，更新慢、时效性不佳，发生风险事件时也往往仅能提供案例和一般解决方法支持，无法实现实时控制。引入数据挖掘技术，一方面可以加速企业内部数据集成，实现数据的层级穿透，加速内部数据互通对接；另一方面可以甄选内外部业务、市场、宏观指标，捕捉先导或异常信号，及时发现风险苗头；还可以对风险的影响进行量化建模，评估影响范围和影响金额，进而建立预警模型，及早发现风险并及时应对。

三、数据挖掘技术在大型企业集团财务管理中的应用

（一）从底层数据分析中助力效益专一求精

数据已经成为企业增加收入和控制成本的关键，大数据可以增强具体业务开展中的营销方法和成本控制方法，将传统的基于小样本量抽样研究转变为基于数据总体的整体归纳。应用回归分析、聚类分析、神经网络等技术，管理人员可以借助直接来自业务底层的精细数据，充分了解企业内外部情况，优化决策控制模型，合理制定定价策略和产品组合策略，计算成本需求，归纳成本动因，从而精确制定营销策略、生产策略，增强客户体验，提高运营效率，助力企业实现效益、专一求精。

（二）从业财数据融合中发掘潜在价值

定位于投资管理中心的企业集团总部，对下级公司的业务管理往往局限于简单的数据统计。应用大数据技术构建数据集成平台，可以打通上下级之间的业务数据壁垒，使经营过程对上透明化，企业集团得以充分了解各个生产环节的具体信息，管理指令更加简明易行，管理要求直插到底，实现总部在总体规划的基础上对前端生产的灵活调控，优化了企业内外部价值链条。

（三）从内外数据结合中预测发展趋势

应用数据挖掘技术，企业可通过整合分析企业财务报表、宏观经济环境、行业发展规律等方面的数据，采用趋势分析等方法，构建相应的预测模型，在销售策略、成本控制、资金流动等方面综合规划最优决策，为企业经营战略的制定与实施提供保障。如企业可以改变过去调查问卷的形式，转由从网络中大量评论中提取有效信息，对产品进行针对性改进，捕捉社会热点以针对性地设计营销策略，做出更有前瞻性的销售预测。在预算管理方面，应用数据挖掘技术可以在大量历史和实时数据中探查收入、成本、收益预测的合理动因基础，并伴随业务开展进行适时控制。

（四）从多维数据比较中创建预警模型

企业集团可采用数据挖掘技术广泛选择多种指标，挖掘指标间的关联关系，构建财务预警模型，帮助企业管理层动态评价与掌握企业财务风险，从而提前采取针对性措施和方法予以防范化解。数据挖掘技术同样可以应用在对下级单位的内部审计当中，从大量账务数据、业务数据交叉对比分析中发现不符合一般规律的可疑事项，针对性开展审计，将事后、现场审计转变为动态审计、远程审计，提高审计效率，提升集团公司对下级单位的管控能力。

四、数据挖掘技术在S航运集团的应用

S 航运集团（以下简称S 集团）为国内大型的航运企业集团。集团总部下设若干家子公司，专业化经营集装箱、干散货、能源等多种类型的运输业务，经营网点遍布全球。为了满足不断发展的管理需要，S 集团在船舶经营、安全管理、财务管理、投资管理等多个经营管理线条上建立了较为完备的信息化基础系统。但是，S 集团各个子公司的业务系统分散、底层业务数据标准不统一、对集团不透明；财务数据虽已纳入统一的财务系统，但财务管理模式、科目设置、核算方法均自成一体，存在一定的差异，造成集团总部在业务、财务两条主线上仅能依赖有限的报表、报告掌握下级单位情况，报表信息的深度、广度、效率、准确性、真实性等方面均难以满足集团进一步加强管控的需求。特别是传统的数据报送方法一旦求深求广，便难以保证效率和准确；一旦要求效率和准确，信息便不够详实丰富，存在“数据跷跷板”现象。同时，各子公司对多年沉淀数据利用不充分，数据分散无法形成合力，经营决策仍大量依赖人工经验判断，缺乏数据技术的支持。

近年来，S 集团确定了数字化转型战略，全面启动了数字化升级改造工作，以建设数据集成分析平台为起点，集成整合内外部多种数据，通过数据标准化治理，实现对底层数据的直接穿透，实现总部自助按需提数、按需管理，解决“数据跷跷板”问题。同时，S 集团以集成平台为基础，引入数据挖掘技术，在智能决策、风险防控、内部审计等方面实现落地应用，有效实现了数据的深度、广度、效率、准确性、真实性的全方位提升。

（一）数据集成平台的框架结构

S 集团数据集成平台由数据源、数据中台、前端应用和数据资产管理平台构成：（1）数据源层包括财务、运营、客户、船舶、安全等内部生产经营基础数据，政府与公共服务、金融市场、船舶识别等外部数据，以及考核指标、口径等非标准数据。（2）数据中台是一种通过数据技术对海量数据进行采集、计算、存储、加工，同时统一标准和口径的数据和技术的组合，一般包括数据整合、数据提炼与分析、数据可视化、数据应用和价值变现等主要功能。S 集团的数据中台包括负责数据提取和补充录入的数据抽取层；负责数据清洗、转换、加载、存储的数据存储和处理层；负责存放报表、统计规则、挖掘和学习模型的分析模型层；负责生成固定报表、灵活查询、数据发布、提供外部接口、存放算法的应用服务层以及负责用户管理、日志管理的数据服务门户五个层次。（3）前端应用层根据实际需求，分为经营动态、市场信息、智能地图、主业分析、辅助决策、风险预警、业务标准、考核对标等若干模块，分别服务于集团高层决策、中层管理和基层操作等不同层次的管理应用。（4）数据资产管理平台包括元数据管理、数据共享与安全、数据质量控制、数据服务治理等若干模块。

（二）数据挖掘技术的典型应用

本文以船货匹配、信心指数和智能审计为例，简要说明数据挖掘技术在S 集团的应用。

船货匹配和船舶调度是船舶经营的中心工作。过去S 集团仅能通过层层分解的方法，依赖经营调度人工匹配大量的船舶和货物信息，数据处理能力有限。数据集成平台建成后，经营人员可通过数据接口提取经营系统中货盘的货种、运量、运价、装/ 卸港、运载期限等货物信息，以及船位、目的港、预空时间等经营信息；提取船舶管理系统中的船舶载重、可运货种、证书、修船期限、成本水平等船舶管理信息；按照经营需求，从分析模型库中提取预设的以货定船、以船定货或船货双边匹配模型，并选择效益最高或船期最短等约束条件。最后，将模型和约束条件施用于待匹配数据之上，从而获得整体最优的匹配结果，并通过应用层辅助决策模块下达给船舶调度操作执行。

S 集团通过与外部机构公布的市场数据建立数据接口，引入BDI（波罗的海干散货运价指数）及其次级指数BCI（好望角型船舶运价指数）、BPI（巴拿马型船舶运价指数）、BSI（灵便型船舶运价指数）的历史数据。市场研究人员使用时间序列分析模型ARCH 研究市场指数的波动特征和发展趋势，对各型船舶面对市场变化时的反应幅度、持续时间、平稳性等问题进行建模。同时，构建以内部专家意见为核心的市场信心指数模型，对机器预测结果进行印证与修订，最终实现对市场走势进行滚动的长短期预测。S 集团利用上述研究成果及预测模型辅助经营战略决策，利用不同船型的不同特点灵活调整船队结构和经营方式，波动操作，规避风险。

智能审计方面，以异常交易数据发现为例。数据集成平台定期通过数据接口从生产经营系统提取有关交易的全量信息，经标准化后存放于数据仓库，再从数据库中提取交易的数量、价格、审批步骤等信息，形成面向审计工作的特定数据集合（数据集市）。有审计需求时，审计人员从数据集市中提取特定时间段内的交易数据，形成待审计数据集，从智能算法库中获得K-MEANS 等聚类算法，对审计数据集进行聚类分析。算法自行探索交易信息的量价匹配、审批合规等一般规律，发现不符合规律的异常点，并通过风险预警模块提示给审计人员，由审计人员开展针对性审计步骤，从而辅助发现或防范经营风险，完善内控流程。

此外，在集成平台的建设过程中，S 集团应用支持向量机等深度学习方法，探索船舶吨位、船龄、主辅机功率、运转时间等主要技术、经营参数与修理、备件、物料、润油消耗之间的模型关系，建立了船舶机务成本标准，确定船存物资品类的最佳存量；应用交互挖掘算法，选取盈利能力、运营能力、成长能力、偿债能力、现金流量等大类指标，按照财务风险的发展步骤将风险分为若干等级，确定各等级的指标阈值，实现自动识别风险事件，并根据风险等级自动向相关人员发出预警信息。

五、应用数据挖掘技术需要考虑的因素

（一）综合平衡技术应用成本

从二十世纪七八十年代末的会计电算化改造开始，经过数十年发展，我国企业已具备一定的信息化建设基础，并向着数字化不断迈进。这给数据挖掘技术的应用提供了较为充分的技术和经济性基础，但企业也应当从经济、时间、文化再造等方面综合考虑数字化改造的实施成本。

1. 经济成本。企业一般无法单独引入数据挖掘技术，应当结合企业自身的数字化改造同步进行。短期内，数字化改造工作要求企业梳理自身业务流程和数据结构，构建软硬件平台、引入新型技术并进行配套的人才培养及招聘，会造成短期内的资金及成本压力。企业应当量力而行，探索适应自身情况的转型升级路径。

2. 时间成本。数字化改造要求业务和财务在管理流程上的紧密配合，在数据上的无缝集成。企业需要投入大量精力来改造系统、对接数据、调整工作流程。同时，数据挖掘只关心关联性，但关联性不是因果关系，不必然产生令人满意的结果。如果刻板地套用而不从业务动因角度加以甄别提炼，则可能导致错误的逻辑推论和经营决策，因此企业在引入数据挖掘技术时应做好长期磨合培育的心理预期和时间准备。企业应当对此有中长期的规划，综合考虑各方面的时间性要求，综合规划实施的路径及改造的深度。

3. 文化再造成本。以数据挖掘、人工智能为代表的数字化改造触及到企业决策思路的转换，管理者知识结构、思维过程受到深层挑战。企业治理的基础将由“人为治理”向“人机结合治理”、甚至是“机器治理”转变，对于其间所需要消耗的成本，企业必须进行全盘考虑。

（二）做好需求调研及开发，做到需求与技术深度结合

数字化转型初期，用户往往因不熟悉新技术而无法总结出有效需求，随着新技术逐步应用推行，用户才会逐步产生进一步的使用需求。因此，改造工作不应局限于初始的需求调研，而是应当在一个较长的期间内多次调研，并通过实际应用进一步开发用户需求。企业可根据既有管理经验和初步数据探索的结果，合理设定深层财务分析管理的指标，再将指标分解为相关影响因素并设定权重，最后使用数据挖掘技术构建数据模型和财务分析框架，设计调研——开发——应用验证——再调研的工作闭环，逐步实现贴近实务需求的高质量的数字化转型。

（三）加快信息资源共享平台的自主建设，构建统一的数据中台和数据标准

企业在实施数字化升级的同时，应当优先注意整合内外部各类信息资源，以财务数据为核心，统一整合各个业务板块的沉淀数据，形成服务于各种数据应用的公共数据中心，实现实物、资金、信息三流合一，为企业奠定全面并高度可信的信息基础。在基本完成数据资源整合的基础上，可逐步添加在线分析、数据仓库、数据挖掘、决策支持等功能与服务，建成弹性、高效、可个性化定制的数据集成平台。

企业在建设数据集成平台的同时，应着力于规范统一数据标准，打通企业内部系统壁垒，在财、物、人员等公共数据上，做到各系统标准统一，方便数据对接，避免频繁转换。

（四）财务人员分层管理与提升财务人员综合素质

随着财务管理的细化与流程化，财务人员与岗位设置应当进行分层次管理。一是将财务核算与财务管理相分离，推行财务共享；二是将财报、预算、资产管理、业务分析相分离；三是培养或招聘专门人才，在财务内部设置算法与IT 岗位，增强财务管理与业务、IT 的融合。

财务人员的岗位可以分层设置，但是财务人员不能成为固定的螺丝钉式工具人，应当具备适应各个岗位的全面素质，尤其是适应数字化升级的信息化和数学能力。企业在加强培训和定期轮岗的同时，应强调信息化及数学知识的培养，尽可能使全员具备基本或较高的信息化工具应用及数据分析能力，进而构建完全自主的模型管理和算法开发团队。

（五）充分发挥传统财务分析的价值，完善财务报告体系

相对以数据挖掘技术为代表的大数据分析而言，传统财务分析虽然存在数据量小、计算简单、时效性不佳等问题，但因其规则清晰、审核严格，具有来源可靠、格式通用、分析结论可交叉验证等优势，仍具有不可替代的作用。企业在财务管理工作中应继续重视并充分发挥传统财务分析的优势与价值，将大小数据充分结合、互相补充、交叉验证，进一步提升数据的分析水平和预测精度。

传统的财务报告体系内容、格式、算法、周期相对固定，可以总括性地描述企业状况，但难以体现动态信息变化。企业财务部门应根据经营管理需求，结合数据挖掘技术产生的模型及分类方法，完善和发展报告体系，形成综合报告+ 专项报告、定期报告+ 不定期报告、固定格式报告+ 弹性报告的报告体系，并完善报告所依赖的数据基础。

（六）高度重视数据安全

数据平台集成了企业的核心数据，在方便分析使用的同时也带来高度风险，企业应为集成平台构建多层、严密、完善的安全防护体系。一是加强身份认证和安全管理，构建权限分级管理体系和权限控制机制；二是加强数据密级管理，并妥善掌管密钥，防止无关人员对数据的任意使用；三是通过软硬件措施隔离数据，使数据的存放和使用处于一个相对隔绝的安全环境当中；四是加强数据容灾备份，保障异常状态下，企业能够及时恢复历史数据，防止重要信息丢失。