yzsdr

Glitch and Datamosh|故障与压缩运动

故障可发生在电视电子束、磁带磁层、文件字节、JPEG 分块或视频运动信息中。艺术家通过偶然事故、设备操作或文件改写,使系统规则在画面上可见。

Datamosh 利用了视频文件节省容量的一种办法:后一帧不必重新保存全部画面,可以告诉播放器把前面的哪块像素移到哪里,再补上差异。正常播放时,观众察觉不到这个过程。艺术家打乱帧的关系以后,播放器可能继续拿旧镜头的像素去执行新镜头的移动指令。人脸、风景和颜色于是粘在一起,直到文件提供足够的新信息,把画面重新拉回正轨。

模拟信号干预

Nam June Paik 的《Magnet TV》(1965)把一块工业磁铁放在黑白电视上方。Whitney 的作品记录说明,磁铁干扰显像管内电子束的扫描,把接收到的电视画面扭成曲线。磁铁位置改变,图像也随之变化;抽象图像是在电视工作过程中产生的。

James Connolly 与 Eric Pellegrino 的 Glitch Art 表演记录;jonCates / GlitchArt,CC BY-SA 4.0。表演者、设备与屏幕同时入镜,显示故障操作的现场关系。

Paik 使电视节目、电子束和磁场共同成为作品材料。视频反馈、损坏录像带和游戏机干扰延续了设备干预,数字时代则增加了对文件格式与压缩器的修改。

帧间预测与错误参照

示例视频从有房子和树的庭院切到有灯塔和帆船的海边。同一镜头的相邻帧通常只有少量变化,编码器可利用重复信息减少文件体积。

I-frame 是可以独立解码的完整图像,中文常叫帧内编码帧,也常宽泛地称作关键帧。P-frame 是预测帧:它从已经解码的参考画面借用内容,再说明哪些地方移动了、哪些像素需要修正。为便于说明,这里先只看 I 与 P;实际视频还可能有 B-frame,参考关系也不一定只有紧邻的上一帧。

运动向量记录参考块的位移。编码器找到一块与参考图相似的区域,记下它相对于参考块的位移。它并不需要知道这一块是房子、脸还是海水。播放器执行的是块与位置的操作,观众才会把这些块认成物体。

运动也不能解释所有变化。例如,一个人转过脸,新的侧脸无法只靠搬动正脸得到。文件还需要保存预测结果与真实画面的差异,称为残差(residual)。解码器先复制、移动参考像素,再补入残差。P-frame 通常包含运动和像素修正,不能简单说成一堆箭头。

点击四个步骤比较房子与灯塔。第②步为正常剪辑;第③步删去海边完整帧,解码器以旧庭院执行海边的向右位移。图中省略残差,用于单独说明错误参照。

正常切到海边时,新的完整帧会把庭院的参考内容换成灯塔、海面和帆船。后续预测帧以海边为参照,移动和像素修正都能找到正确位置。如果拿掉这次更新,播放器仍可能继续读取后面的预测帧。指令来自海边,参考却留在庭院,房子就被海边的运动搬到了新位置。

插件关闭时,下面的四格图保留同一组对照。

第②格有灯塔,第③格仍为房子。红箭头表示海边片段的位移,新像素差异继续覆盖旧内容;下一张可用完整帧重新建立参照。

Datamosh 的实际结果受编码和解码设置影响。它既有块的移动,也有新像素的覆盖;多个参考帧、不同编码设置和错误处理还会改变结果。删掉一帧并不保证所有播放器都继续工作,有的会报错、跳过损坏段,或等下一张完整帧。艺术家通常选择能保留错误延续的格式和工具,再观察画面怎样跨过剪辑点。

还有一种常见操作,是重复预测帧,让同一组位移反复执行。像素不断朝相近方向移动,画面会形成膨胀或拖尾。它与删关键帧有关,却不是同一个步骤。

Anthropocene Beach 与 Datamosh

Sabato Visconti 的 Anthropocene Beach 把 datamosh 用在海滩影像上。海水、天空和人的移动本来就有连续关系,压缩残留一旦沿着动作扩散,人物轮廓便会与环境交换位置。观众不再容易把“人”与“背景”分成两个稳定层,人的边缘有时继续移动,身体内部却已经被海水或其他颜色占据。

人物轮廓与内部颜色可不同步,身体暂时分解为移动局部,再被新信息恢复。静态图只保留一次混合,作品原页提供视频。

Yung Jake 的 Datamosh(2011)将这一效果用于音乐视频。此后广告、VJ 软件和社交媒体模板也开始使用。

故障类型

信号故障发生在传输和显示过程中。磁场、视频反馈、扫描线干扰会改变设备正在处理的波形;它常与现场操作和观看位置有关。

文件故障直接改写 JPEG、PNG 或音频的字节。解码器读到不符合格式的内容后,可能重复某段数据、丢失颜色,或拒绝打开文件。画面中的断裂来自文件结构,未必有持续的运动方向。

压缩也会在不破坏文件的情况下留下痕迹。JPEG 将图像拆成小块,把块内的亮暗、颜色变化写成一组系数;常见的 DCT 是“离散余弦变换”,就是这种表示变化的数学方法。压缩较强时,精细变化被粗略记录或省略,块与块之间的边界、文字边缘的光圈便可能变得明显。这里的方块和帧间预测的拖曳发生在不同步骤。

Compression artifacts 示例;T-tus,CC BY 2.0。方块边缘与色带来自分块和颜色分量处理,本身不等于 datamosh。
JPEG 缩放与压缩伪影比较;PureAsbestos / Croomfolk,CC0。压缩加强后文字边缘与色块失真,不涉及帧间运动错置。

界面或系统故障则发生在窗口、字体、光标、错误提示和网页布局上。游戏可以让 HUD 偏移、菜单重复或模型穿出墙面,用来暗示系统失效;若只在画面上放一层红蓝分离,玩家无法判断错误属于世界、设备还是界面。

软件控制与应用

软件可控制故障强度、持续时间、颜色、频率和触发点。剪辑越界、对象参照丢失或字体先于背景损坏,可分别对应不同的错误来源。

与 PS1-era 3D 的区别在错误发生阶段。PS1 的抖动出现在顶点、纹理和帧缓冲的实时计算里;datamosh 的错位出现在帧的依赖关系和解码时序里。两者都能被今天的工具模拟,模拟时却应保留各自的时间结构。

与 Risograph 对照时,可以比较两种“错位”:Riso 的色层在纸上重复套印,Glitch 的信息在时间轴上重复引用。记录到 视觉词汇 时,除了写“拖影”或“噪点”,还要写错误发生在信号、文件、压缩还是界面。

来源与图像 credits