使用 mphistory →
MPHISTORY · GUIDE

用公众号旧文做内容分析,怎样避免把缺失当成没发过?

面向整理公众号研究语料的研究助理,将区间覆盖、正文状态与分析准入分开记录,保留缺失原因和统计口径,让历史文章能被检索、复核和再次分析。

MPHistory 团队 · 发布于

先记录看到了什么,再判断没有什么

用公众号历史文章做内容分析,先确定研究范围,再把区间是否核全、正文是否可读、是否进入分析分开记录。某个月没有本地文件,只能说明当前档案没有观察到文章;未核实完整发文记录前,不能把它记成“当月零发文”。

本文面向为课题整理公众号语料的研究助理。例如,要比较同一账号不同学年的栏目变化,下载之后就统计关键词,可能把尚未取得的旧文或正文缺失误判成主题消失。以下场景和编号均为方法示例,不对应真实研究结果。

一、把研究范围写在下载范围前面

先写清账号、目标起止日期、纳入的内容形态和分析单位。按单篇文章链接计数,还是按一次推送计数,需要事先约定;每篇的 HTML 和 Markdown 是两种文件格式,不能算两篇作品。

另按月份或学期列一张范围表,记录已取得批次、实际最早与最晚日期、尚未取得的区间、独立核对依据。只有两端日期覆盖目标区间,仍不能证明中间没有遗漏。

有权取得完整发文台账时,可逐项比对;没有这样的依据,就写“范围待核”,不要计算全量覆盖率。W3C 的数据质量词汇文档给出的完整性指标示例,以声明范围内应有的记录数为参照。应用到这里,关键是先说明“应有什么”,不能拿下载成功率代替历史内容覆盖率。

二、保留原始包,让缺失记录也能被找到

在 MPHistory 粘贴该号一篇公开文章链接,预览确认账号后,可按需取得历史包。它从最新往前分批打包,提供 HTML、Markdown、本地图片、目录页和 manifest.csv。篇数、续接条件、价格及服务器保留期限,查看首页当前规则。

保留原始 zip,在解压副本上整理。清单中的一条记录不代表正文完整;对正文不可用的条目,也保留题名、原文链接和状态,之后才能知道分析排除了什么。

图片型文章尤其需要逐篇判断:若研究主题来自图片中的文字,Markdown 正文可读也不等于材料可分析。自行转录时标明对应图片与复核位置;视频、音频不能因为文章在包内就视为已离线保存。

三、原始状态与研究决定分列保存

从清单复制来源信息,另建分析台账,不覆盖原始清单。给每篇分配固定编号,保留原题、作者或署名、公众号、发布日期、原文链接、批次和本地路径,再补研究决定。

下面是自建台账的填写示例,并非产品自动生成的字段:

编号 取得与检查结果 分析决定
R01 正文可读,关键图片已核 纳入主题编码,附依据段落
R02 有题名与链接,正文不可用 暂不做正文主题判断,保留缺失原因
R03 与前批同一原文链接重复 合并为一个分析单位,保留两处批次位置

同名文章不要直接去重;不同地址疑似指向同一文章时,核对后再记录对应关系。这里合并的是分析记录,原始包仍保留。

“主题未编码”也要与“核读后不属于该主题”分开。正文缺失时,不要仅凭标题填上主题,更不能统一填成“其他”或数值零。UK Data Service 的数据准备指南要求说明采集、处理过程,并定义和记录缺失值。这里据此把缺失原因与主题判断分列,具体字段由研究者自行设计。

四、统计时说清分母,比较时带上缺口

汇总前,分别列出发现的独立文章记录、正文可用的记录、最终纳入分析的记录,以及排除原因。题名可用的条目可能进入题名分析,却不能自动进入正文分析;两种分析应各有准入规则。

如果只分析可读正文,结论可写“在本次取得且纳入分析的文章中……”,不要扩大为“该账号所有文章都……”。这仍可能受材料缺失影响,不能仅靠调整措辞消除偏差。

比较月份或账号时,同时查看范围表。一个月份尚未取得、另一个月份材料较全,直接比较数量没有共同口径;可暂缓比较,或把结论限定为已经核实的范围。缺失项后来补齐,另存新的纳入清单,记录变更理由,重新计算受影响的结果。

主题命中后若还要引用文中的研究发现,应继续核对原始报告或论文,方法见把公众号解读追溯到原始材料。语料可读与观点有证据支持,需要分别检查。

五、留下别人能复查的语料说明

可在自己的研究目录中保存以下说明模板:

研究问题、账号、目标日期与分析单位:
实际取得范围、批次、保存日期:
范围核对依据、尚未核全的区间:
文章台账位置、状态字段与缺失值含义:
纳入/排除规则、去重依据、编码规则版本:
本次纳入清单、补录与结果重算记录:
原始包位置、来源信息、授权记录与访问范围:

交付前,从一个汇总结果返回纳入清单,打开对应文章,核对编码依据;再找一条缺失记录,确认能解释为何未进入分析。台账可按编号、题名、日期和状态检索,让下一次研究能复用材料,也能重新判断取舍。

保存作者和原文出处,并核对版权与授权边界。MPHistory 首页说明的用途为个人学习、研究和收藏;课题组共享、公开全文或上传外部 AI 服务,不能仅凭“研究用途”推定已经获准。权限未确认时,先保留来源信息,不扩大全文共享。

MPHistory 完成一次性历史打包,台账、检索与分析需自行维护。需要持续接收新文章,可另行了解 Mp2RSS 的订阅说明:它从订阅后收录新发布内容,不回溯历史。新材料进入研究目录时,仍需沿用同一套范围和准入记录。