我最喜欢的科幻剧《黑镜》里有这么一集,未来一家科技公司提供了所谓的全光谱记忆技术,所见即所得,实时录像,随时回放,而且这份记忆还能云端存储 30 年。
虽然后续剧情逐渐走向高科技所带来的道德伦理问题,以及男主的不幸遭遇,但这个背景设定还是让我看了一震。
不扯那些狗血的事,单从追求效率的角度说,所见即所得,还能随时回过头来复盘总结,一定会有用。
毕竟谁上网的时候都遇到过类似「之前那篇文章怎么说来着?」、「昨天开会的时候提了一嘴啥?」的问题。
所以像剪藏工具、笔记软件、录屏应用才这么会受欢迎,时断时续的记忆可能会欺骗你,但电子版「白纸黑字」记录下来的内容不会欺骗你。
不过科幻归科幻,电影归电影,全光谱记忆技术 确实离我们还有十万八千里。。。
在未来到达之前,国外却有人搞了这么一款工具,被网友称为「人生搜索引擎」、「现实中的贾维斯」、「第二大脑」,甚至上升到了生产力强国的高度。
没错 Rewind,去年才刚刚完成内测的软件,翻译过来就是倒带。
这名字起的形象且贴切,功能如其名,Rewind 把电脑的所有历史操作变成了一个可回溯的数据库。
你只管打开这个软件,想回溯记忆时搜索关键词,就能得到答案,文章也好、图片也罢,甚至是视频里飘过的弹幕,或者音频里出现的语句,它都能瞬间从「数据库」中提取出来。
不要觉得夸张,上述功能在发布后的这几个月已经被无数用户验证过了,人生搜索引擎实至名归,但贾维斯和外置大脑呢?
早期的 Rewind 搞定了数据,数据摆在那还需要人工筛选调用,虽然图形化操作简化了这些,但仍不够自然。
直到今年 ChatGPT 来了,是的,Rewind 接入了 GPT-4,当你用白话,而非关键词,向 Rewind 提问后,被处理好的数据就被送到了眼前。
是不是很科幻,但当你知道原理后,或许会对 Rewind 有新的认识。
倒带
把电脑上的任何操作记录下来,不是什么新鲜事,为了商业安全也好,不道德的压榨员工也罢,Rewind 最初做的,和监控软件无甚区别——
对屏幕内容进行连续录制和自动化分析。
再用白话说一下,就是隐藏在后台的录屏,可以想象成每隔几秒截一张图,然后图片里内容就被存放了起来。
反正对于用户来说,任何操作都是线性的,只要记录我们对各个应用的操作,就能区分出来时间节点。
所以在 Rewind 上,会有这么一条时间线,拖着时间线就能回溯过去的「记忆」。
注意,不止是看到的,Rewind 需要你赋予它录音权限,听到的内容同样会被记录。
当你通过搜索提取记忆时,可以快速复制录制中的文字,浏览器访问的网页可以一键直达,其他类型应用的记忆,如果识别出来,也能点击访问。
原理
究其根本,Rewind 实现的思路是系统 API + OCR + ASR。
虽然画的有饼,但 Rewind 这个工具全面拥抱了苹果电脑的软硬件,当前也只能在搭载了 M1M2 芯片的苹果电脑上实现。
从录屏到 OCR 用的是系统自带的功能接口,语音识别的 ASR 用的则是 OpenAI 开源的 Whisper 模型。
不过在 OCR 搞定画面,ASR 搞定语音后,这才有了所谓的记录,就像高端食材只需要简单烹饪一样,科幻的功能背后,是粗暴简单的技术路线。
但不管怎么说,你想想看,24 小时的录制屏幕,肯定会有大量的数据,Rewind 录制时是以 2 秒 1 帧的方式录的屏。
24 小时就会录下 4 万多张图,哪怕控制分辨率,一天下来也有 20、30G 的大小,这样保存记忆的代价或许太大了些。
不过别担心,Rewind 着重说了这点,重点就是去除录屏中的冗余数据,其中的门道并未详说。
但官网公布的效果喜人,经过压缩,原本 10G+ 的录屏能压缩到 2M+,近 3750 倍的压缩,在压缩后,原本一整天 20、30G 的空间占用,平均下来能用一个月,甚至更长。
当然,永久记忆不现实,如果短期保存(一周、一月),把旧记忆定期清除,内存占用这里你可以想象成圈了一块地,专门给 Rewind 用来记录就好了。
不过单占用这里,我搜 Rewind 的资料时,在少数派上有看到,Rewind 官网分享的测试结果仅仅只是对于单屏而言,如果是多屏用户数据量你得乘上相应倍数了,在寸土寸金的 Mac 上,这不是什么好消息。
隐私
抛开空间占用不谈,别的地方 Rewind 优化做的相当不错,在后台运行基本无感,不会对日常操作产生影响,隐私方面也相当谨慎——
1、 本地存储,他人无权访问。
2、 开关随你,录制内容删除也随你,还可以为专门隐私窗口设置黑名单。
3、 录音功能也需要手动开启。
唯一联网的功能,就是 ChatGPT 了,当你在 Rewind 上提出问题时,做了索引的文本会发送给 GPT-4,并做了隐私处理,不包括个人敏感信息。
但我觉得这次 Rewind 最大的提升就在这里,你可以让它总结一场某日的会议内容:
可以让它总结你浏览过的网站:
附带的来源可以帮你快速定位到某月某天看到的具体消息,也就是你越需要知识的整合,越需要不断回看「记忆」,Rewind 对你的提升也越大。
难免推特上有人说,为了这碟醋(Rewind),专门包了饺子(M 芯片的 Macbook)。。。
结语
Rewind 初看是个科幻故事,但了解下来,你会发现,这不是技术爆炸,而是一次对效率的探索。
之前在星球里讨论 Rewind 的时候,有小伙伴说有了 Rewind,不再需要收藏夹,是的,Rewind 改变了传统的剪藏方式,甚至在接入 ChatGPT 后,会改变与电脑的交互方式。
如果不是「隐私」俩字悬在头上,除 ChatGPT 外,所有功能均本地实现,未接入云端,OCR 也好,ASR 也罢,识别效果还会更上一层楼。
但创业公司嘛,真全都云端了,像这种实时录屏的工具,用户敢不敢用就是另外一回事了。
Rewind 的出现,给我感觉有点像第一次发现 GPT-2 那样,人类已经掌握了打开潘多拉魔盒的钥匙,智能时代不是将来时,而是进行时。
对了,这个软件的背后还有一个小插曲,也就是作者分享的开发灵感来源——
20 岁失聪,助听器改变了生活,失去一种感觉,又重新获得它,感觉就像获得了一个超能力,从那一刻起,我一直在寻找技术可以增强人类能力并赋予我们超能力的方法。
于是有了 Rewind。
官网在这,感兴趣的小伙伴去了解一下吧:rewind.ai
ps:之前咱们的电报群不是被封了嘛,这次又搞了个新的,技术交流、喜欢聊天的小伙伴可以进群逛逛👉https://t.me/wldxhdzq
电报群:wldxhdzq QQ 群:729224889 网站:wldxh.com