雷电加速客户端与跨境网络连接

误区整理

培训完成率很高,为什么仍不能直接写成就业成效

培训完成率、退出后就业率、中位收入、证书取得与技能进展各有不同分母和时间窗。本文依据美国劳工部 WIOA 指引、国际劳工组织评估方法与 OECD 案例,说明怎样避免把过程成绩误写成就业效果。

一份职业培训简报把“九成学员完成课程”放在最醒目的位置,旁边又列出证书人数。读者很容易顺着版面得出结论:大多数人已经找到工作,而且收入有所改善。可是简报没有说明谁算学员、谁已经退出、就业在哪个季度观察,也没有交代找不到工资记录的人如何处理。这个高比例或许准确,却只回答了课程过程中的一个问题。

判断培训成效不能从百分比大小开始,而应先问分母是谁、观察发生在什么时候。完成、退出后就业、收入、证书取得和技能进展各有自己的统计对象。把其中一个数字搬去回答另一个问题,会让原本合格的统计变成错误叙述。

完成课程只说明过程走到哪一步

完成率通常描述进入课程的人有多少达到既定结业条件。条件可能是出席时数、通过考核、完成实作或提交作品。它能帮助管理者发现课程是否难以持续、教学安排是否合理,也能显示参与者是否走到服务流程末端。

但完成课程不是一份雇佣合同。学员结业后可能立即就业、继续升学、回到原工作、照顾家人,也可能仍在求职。即使课程教授的技能与岗位高度相关,地区需求、招聘时间、薪资条件、交通和照护责任仍会影响就业。完成率没有设计来容纳这些事情。

OECD 在科索沃职业教育的政策评估中给出一个很具体的例子:当地收集了职业教育完成率,却没有报告毕业后的就业率。工作本位学习后的录用情况和收入资料。报告的结论不是完成率毫无价值,而是缺少后续结果时,无法据此完成充分的职业指导分析。这项观察只针对当时的科索沃资料条件,但它清楚展示了过程数据与决策所需结果之间的距离。

因此,看到完成率时先记录它的分母。是所有报名者、实际到课者、进入正式训练者,还是达到最低服务时数的人?退课、转班和延期是否保留在分母?同样写“完成率”,这些规则改变后,数字可能明显不同。

退出后的第二与第四季度不是同一个观察点

美国劳工部 WIOA 指引把退出后第二季度就业率和第四季度就业率列为两个指标。对多数核心项目而言,第二季度指标以报告期内退出者为分母,以其中在退出后第二季度处于无补贴就业者为分子。第四季度重复观察同一类结果,但时间向后移动。青年项目还允许教育或训练状态进入相应结果,不能与成人项目不加说明地合并。

这里的“退出”不是完成课程的同义词。退出日期决定季度从何时起算,一个人可能完成某项训练后继续接受其他服务,尚未进入退出后的观察钟。反过来,有人也可能没有按预期完成课程,却已经结束项目并进入后续就业观察。

两个季度并列的价值在于区分较早就业与一段时间后的持续状态。第二季度就业率较高,第四季度下降,可能表示部分工作没有维持;第四季度较高,也可能来自后来才找到工作的人。若报告只写“就业率”而删掉季度,读者无法知道数字描述哪一段经历。

WIOA 还列出特定退出原因的排除规则,并允许通过失业保险工资记录、联邦或军职资料以及符合要求的补充工资资料确认就业。资料尚未取得时,记录可能暂不进入计算,待资料到齐再处理。于是同一项目在不同资料截点上出现变化,不必然表示真实就业突然改变,也可能是匹配进度不同。

阅读报告时,应要求同时给出分子人数、分母人数、退出批次和资料截点。只给百分比会隐藏样本是否很小,也看不出多少记录仍在等待。若第二与第四季度使用不同批次,更不能把两者直接解释成同一群人的留任变化。

中位收入没有覆盖未就业者

“退出后第二季度中位收入”看起来像全体学员的收入水平,其实不是。WIOA 指引先选出第二季度已有无补贴就业的退出者,再把这些人的季度收入从低到高排序,取居中的值。没有在该季度就业的人不在这组收入分布里,资料尚未取得的记录也有独立处理规则。

这带来两个阅读限制。第一,中位数不是平均数。它表示排序中间位置,不会告诉你最高与最低收入相差多少,也不能显示有多少人靠近中位值。第二,它带有就业条件。就业率下降而已就业者收入上升时,中位收入仍可能变好;这不代表所有参与者都增加收入。

一个简单的检查方法,是把就业率与中位收入放在相邻两栏。就业率回答“多少退出者在该季度就业”,中位收入回答“这些就业者的收入分布中点在哪里”。若想讨论所有参与者的经济结果,还需要说明未就业者、零收入、资料缺失和其他收入来源怎样处理,不能把有条件的中位值向全体扩张。

工资率和季度收入也不应混写。时薪是单位时间价格,季度收入受工时、就业持续时间和多份工作影响。WIOA 指引提醒在只有工资率时才按规定转换,正式报告则要说明使用工资记录还是补充资料。把时薪直接当季度收入,会在单位层面就产生错误。

证书取得有自己的资格范围

证书人数经常与完成率并排出现,但证书取得指标并不一定覆盖所有结业者。WIOA 对证书取得设置了教育或训练范围,观察可延伸到参与期间或退出后一年。只参加在职训练或定制训练的人不进入该指标的通常分母,取得中学文凭者还需满足就业或继续进入通往高等教育证书的训练等附加条件,才能计作成功结果。

所以,“一百人结业、七十人取得证书”不自动等于证书率百分之七十。要核对一百人是否都属于证书指标的适用训练,是否已经达到完整观察期,以及排除规则如何执行。正确分母可能小于结业人数,也可能来自不同退出批次。

证书本身也不能替代就业质量。某项证书可能是进入职业的必要条件,也可能只是学习阶段的证明。报告可以陈述取得率及其定义,却不能在没有后续岗位资料时保证持证者已经受雇。若要判断证书与就业的关系,应另做关联或影响分析,并说明行业需求与地区差异。

技能进展可以发生在学员尚未退出时

可衡量技能进展与前述退出后指标有另一项根本差异。WIOA 把它定义为项目年度内的阶段性进展,不要求参与者先退出。可接受的证明包括教育功能级别变化、取得文凭、符合要求的成绩单、向既定里程碑前进的雇主或训练机构报告,以及职业考试或技术基准。

这类指标回答的是“训练途中是否出现可记录的进步”。一位学员在项目年度结束前通过职业考试,可以构成技能进展;他是否完成全部课程、是否取得最终证书、退出后是否就业,仍是后续问题。反之,一个已经就业的人若不在相应教育训练范围,也不会因为就业本身自动成为技能进展成功。

培训完成率很高,为什么仍不能直接写成就业成效 配图 1
培训完成率很高,为什么仍不能直接写成就业成效 配图 1

指标的时间结构不同,也解释了为什么不能把所有百分比排成单一路径。技能进展按项目年度观察,证书可延伸到退出后一年,就业与收入看退出后的特定季度。某人在一张表里已经成功,在另一张表里可能尚未进入观察期。报告应把“尚未可观察”与“观察后未成功”分开。

资料缺失和正式排除必须分栏

分母变化有两种常被混淆的来源。正式排除是规则明确规定某些记录不进入指标,例如特定退出原因或不属于该指标的训练类型。资料缺失则可能只是工资记录尚未回传、姓名匹配失败或补充资料仍在核验。前者来自定义,后者来自观测状态。

若两者都被写成“无法统计”,读者无法判断结果是否稳定。较好的资料状态表至少分成已匹配、补充资料确认、资料尚未取得、正式排除和其他待核验五类。每类都列人数,并说明最终进入哪一个指标的分母。

还要避免只报告可追踪者。若项目只联系到积极回应的学员,结果可能偏向近况较好或较愿意保持联系的人。行政工资记录可以减少一部分追踪偏差,却可能漏掉自雇、跨地区工作或不在覆盖系统内的就业,因此补充资料仍需来源文件和验证规则。没有任何单一资料源能让分母问题自动消失。

监测结果不是因果影响

国际劳工组织的青年就业项目教材把绩效监测与影响评估分开。绩效监测可以持续记录投入、课程交付、完成率、能力测验、项目后就业和收入。这些结果告诉管理者参与者后来发生了什么,也能揭示实施是否偏离计划。

但参与者后来就业,不等于培训独自造成这份工作。经济复苏、新企业开业、季节需求、个人原有经验和同时接受的其他服务,都可能影响结果。ILO 因而把跟踪到的总体就业视为项目作用与外部因素共同形成的结果。

要回答“若没有这项培训,同一批人会怎样”,就遇到反事实问题。一个人不能同时参加和不参加同一项目,研究者只能建立可信的比较组。ILO 教材用参与组结果减去比较组结果表达影响,但前提是比较组能代表参与者未参加时的可能经历。随便找一群未参训者并不足够,因为动机、教育、健康和就业障碍可能本来就不同。

因此,项目报告可以说“退出者在第二季度的就业率为多少”,也可以说“参加者收入在前后发生变化”;若没有适当比较设计,就不应写成“培训使就业率提高多少”。这不是咬文嚼字,而是在描述性结果与因果结论之间保留证据边界。

用一张分母卡复核每个数字

实际审核时,可以让每项指标回答九个问题:名称是什么,分子是谁,分母是谁,起算事件是什么,观察期多长,哪些情况正式排除,资料来自哪里。多少资料尚未取得,以及它是描述性监测还是因果估计。

先处理完成率。记录报名、实际参与和达到完成条件的人数,说明退课与延期。再处理就业率,锁定退出批次与第二或第四季度,列出工资记录和补充资料覆盖。收入栏只使用相应季度已就业者,并标明中位数、单位和分布范围。证书栏写清适用训练、观察一年规则及附加条件。技能进展栏则说明项目年度、证明类型和参与期。

随后做三组受控比较。第一组保持同一退出批次,比较第二与第四季度就业,观察持续性而不是换样本。第二组在同一季度同时看就业率与已就业者中位收入,避免收入改善遮住就业覆盖下降。第三组把完成、证书和技能进展并排,但不强求它们使用同一分母,而是在表头公开各自范围。

如果报告要提出因果主张,再增加评估设计栏:比较组如何形成,基线是否相似,是否存在选择偏差,追踪流失是否两组不同,以及估计适用于哪些参与者。没有这些信息,就把结论留在“观察到的结果”,不要跨到“培训造成的变化”。

结论应保留指标各自的边界

高完成率可以证明课程流程顺利,高技能进展可以证明训练途中出现了文件化进步,证书率可以说明特定适用人群在规定时间内取得资格。退出后就业和收入则描述较后的劳动力市场结果。它们彼此相关,却不是同一个数字的不同名字。

真正可靠的成效叙述,会把百分比还原成人数、分母、时间窗和资料状态。它也会明确区分正式排除与尚未取得资料,并把描述性监测与因果影响分开。这样读者才能知道数字回答了什么,也知道它没有回答什么。

所以,面对“九成学员完成课程”,最合适的下一句不是“项目就业成效很好”,而是“九成是以谁为分母、完成条件为何。退出后第二与第四季度有多少人就业,已就业者收入如何,其他记录又处在什么资料状态”。问题变长了,结论却因此更接近事实。

资料来源

  • U.S. Department of Labor:《Training and Employment Guidance Letter No. 10-16, Change 3》,发布或更新于 2024-06-11
  • International Labour Organization:《Monitoring and Evaluation of Youth Employment Programmes: A Learning Package》,发布或更新于 2013-01-01
  • OECD:《Competitiveness in South East Europe 2021: A Policy Outlook — Kosovo profile》,发布或更新于 2021-07-05