C公益用户7279
【志夏评估】第一期 职通计划 科学评估报告
输入“/”快速插入内容
【志夏评估】第一期 职通计划 科学评估报告
【志夏评估】第一期 职通计划 科学评估报告
用户6587用户6587用户7279用户7279
用户6241用户62412024年7月10日修改
💡
正式开始前，我们希望将本次评估中的关键内容放在开头：
亮点：
1、学生在参与活动后的问题解决能力（问题解决能力为陈述问题 - 确定方法 - 提出方案 - 评价方案 - 执行方案 - 评价结果的全过程）得分显著高于活动前，平均增加了1.741分，“志夏青年”显著提高了学生的问题解决能力；
2、志夏提供的学习机会，学员们不仅可以掌握表达技巧，还能学会如何在工作场合中进行有效沟通；
3、志夏青年活动对于学生的团队协作能力有一定的积极影响，学员更加熟悉团队合作的流程和方法，明白团队协作的重要性；未参与学生的团队协作能力则在整个大四学期间显著下滑，这可能是因为未参与学生难以在大四阶段获得关于此项能力的锻炼；
4、志夏青年项目对学员的心理韧性增长有着长远的影响，社群和榜样的力量在整个项目中发挥了较大的作用；
5、面试设计环节筛选从能力项角度出发更加关注参与者的 问题解决（筛选出能力值小的）、团队协作（筛选出能力值大的）以及学习能力（筛选出能力值大的），这可能代表志夏青年最终选择了一批有较大成长空间、具备一定团队协作能力但现阶段还缺乏解决具体问题经验的青年人，或许也是企业和我们最想要的一批人。
缺点：
1、学员的各项能力除问题解决能力外并没有统计学意义上的增长（访谈中受众提到项目对其沟通能力和团队协作能力有一定程度上正向的影响），学习能力、自我效能感、成就动机三项能力特质并未有提升，这代表项目设计未能对受众的能力提升起到决定性的作用，需要重新考虑调整整体项目设计，以及反思能力项的培养对于整体项目的价值；
2、虽能力增长有限，但学员整体的入职率已经达到志夏项目组的预期，需要项目组反思这是否代表一开始设定以能力增长为核心的评估目标可能是错误的，决定学员入职的情况存在其他可能关键的因素，或者一开始的筛选比培养对项目最终目标结果起了更加决定性的影响。
3、学员对职业和职场的认知并未来自志夏课程。已经进入职场的学员对职场的认知更多来自于进入职场后的体验，暂未进入职场的学员自述职场认知也并未来自志夏的相关课程。这表明这表明实际工作经验对于职场认知的形成至关重要，职场系的相关课程内容与职场实际需求之间存在一定的脱节。
一、评估方法及设计
1、评估目标
在项目评估正式开始前，评估小组针对项目目的和项目组需求确定了本次评估工作的科学评估目标，内容如下：
1、了解学员在能力上的变化情况以及项目对学员成长带来的影响
2、寻找项目成败的关键因素：
1.
了解企业对于参与“志夏青年”项目的学员入职后的满意度，以及企业在进行满意度评价时所依据的要素
2.
明确企业在满意度评价中哪些因素是项目干预带来的提升，哪些是其他因素导致
3、了解人才在企业的表现，以帮助项目反馈迭代，并用作后续沉淀性数据
其中，第 2 和第 3 两项目标的数据收集将在学员入职 3 个月后的企业回访过程中进行收集，本报告中暂不涉及。本报告主要对评估目标1进行回应。
2、评估设计思路
本次评估设计思路为“对照组实验”思路，即：
1、针对全程参与完项目的受众进行不同能力纬度上的前后测量，对比其前后测分数差异变化，进而了解学员能力变化；
2、面向通过复试（包含通过和没通过面试）的学员进行前测收集，对比通过面试但未全程参与项目的受众与通过面试并全程参与项目的受众的能力变化差值之间存在的差异，进一步验证项目效果。
需特别说明的是，因在后测未能收集到足够数量的通过面试但未全程参与项目的受众的问卷，因此其对比仅能作为参考，最终结果可能不具备统计学意义上的效力。
3、评估研究方法
1、问卷调查法
问卷调查法是教育研究中最基本、最常用的方法。是研究者依照标准化的程序，把问卷分发或邮寄给与研究事项有关的人员，然后对问卷回收整理，并进行统计分析，从而得出研究结果的研究方法。
本次科学评估中对问卷数据的处理主要应用了配对T检验方法。
配对T检验（Paired t-test）
配对T检验是一种统计方法，用于比较两个相关样本的均值是否存在显著差异。常用于前后测量的比较或相同实验对象在不同条件下的比较。
在能力维度选择方面，结合 C公益自身活动开展经验、桌面研究和企业高层访谈等内容，我们将企业看中的“好员工”所应当具备的能力划分为三个大板块九个小项，其中可以进行测量的能力为：学习能力、问题解决能力、自我效能感、成就动机、人际沟通能力和团队协作能力。
具体测量量表以及各项能力的释义可查阅此文档【志夏】核心能力测量量表 梳理
2、访谈法
本研究意在探讨“志夏青年”活动对于学生的实际影响以及影响程度，并且深入探究了解这些影响是否能够帮助学生成功地找到工作。访谈法是社会科学研究方法的一种，通过研究者和被研究者交谈的方式来收集研究资料和数据。研究者通过访谈了解某一社会群体的生活经历和生活方式，了解被访谈者的内心深处的个人见解，他们独自的情感、动力和需求，探讨特定社会现象的形成过程，有助于对事物进行深入研究。
本次访谈采用半结构化形式，结合固定问题和开放性问题，旨在深入了解“志夏青年”活动对学生的实际影响及其程度。访谈问题覆盖多个方面，包括活动体验、能力提升、就业情况等。访谈大纲如下：2024.6 志夏学员访谈大纲
二、参与受众成长与变化
1、学员在能力上的变化
基于对 27 名学生参与活动前后的学习能力、问题解决能力、自我效能感、成就动机、人际沟通和团队协作能力进行项目前后的量表测试得分收集，结果采用配对样本T检验的方法进行检验，结果显示学员们在参加活动后 问题解决能力 显著提升，而其他能力项在统计学生未见明显变化。此外，通过对学员的半结构化访谈收集学员对自身能力变化的主观感受，发现志夏项目的学习使学员们在 沟通表达能力 和 团队协作意识 方面取得了显著的提升。
1）问题解决能力