超级数据分析：这可能是一个没有隐私的世界

发布时间：2021-02-22 12:57:46来源：后浪

超级数据分析的崛起

从“数字生活”到“生活数字化”，2020年加速了中国数字化发展的转型升级，数字经济与数字产业的蓬勃发展也将个体带入一种全面数字化的生存状态。超级数据分析革命已然来临，数据分析已经渗透到了我们生活的方方面面。

为什么电商平台比你自己更懂你的品位？现代社会建立在大数据的基础之上，经验和直觉已经不好使，统计文盲将难以生存。

《魔鬼统计学》以大量真实生动的案例，讲述了统计学如何化腐朽为神奇，干脆利索地解决一系列传统社会科学语焉不详的问题。在抽丝剥茧探究反直觉的真相的过程中，普及了统计学的基本概念和原则。正是因为其反直觉，甚至是反常识，才给人以恍然大悟的感觉，所以冠之以“魔鬼”。

《魔鬼统计学》

[美]伊恩·艾瑞斯

后浪丨九州出版社

刘清山译

2020年11月

01

技术还是方法？

如今各公司捕捉和融合数字信息的技术能力得以提升，这促进了数据的商品化。如果你能将数据轻松整合到你的现有数据库中，那么你更愿意购买这些数据。如果你认为某人随后会购买你的信息，那么你也更愿意捕捉信息。

超级数据分析目前的迅猛发展主要源于技术进步，而不是统计方法的进步。它与统计预测艺术的全新突破无关。基本统计方法已经存在了几十年——甚至几百年。被Offermatica等公司充分使用的随机化试验多年前就被医学领域熟知和使用了。存储能力的提升对于超级数据分析当前的兴起时机产生了更大影响。我们正在朝着一个没有删除键的世界发展。

摩尔定律很有名，但克莱德定律对于超级数据分析目前的迅猛发展更加重要。自从1956年磁盘驱动器问世以来，大约每平方英寸空间可以记录的信息密度足足增长了1亿倍。

克莱德定律

克莱德定律是在价格不变的情况下，每隔12个月，硬盘的容量就能提升一倍。

我们过去经常为硬盘不够用而担忧。今天，廉价数据存储使巨大的数据库成为可能。由于存储密度的增长，存储价格也在下降。每吉字节存储空间的成本正在以每年30%到40%的速度迅速下降。

一些互联网公司每天要捕捉超过12太字节的数据。一方面，这是极为庞大的信息量——大约相当于国会图书馆半数图书的信息量。另一方面，这些磁盘存储器既不需要占据几英亩的土地，也不需要花费几十亿美元的资金。

实际上，你现在可以用大约400美元为你的台式机购买1太字节的硬盘。行业专家预计，在几年时间里，这个价格还会下降一半。

为个人计算机制造这些大容量硬盘的激烈竞争是由视频驱动的。TiVo和其他数字录像机之所以能够改变家庭视频娱乐领域，是因为它们拥有足够大的存储空间。1太字节硬盘只能存放大约八小时的高清电视节目（或者近1.4万张音乐专辑），但你可以在里面存放大约6600万页文本或数字。

存储密度的提升和价格的下降对于数据的传播非常重要。促使超级数据分析最近迅猛发展的技术革命也在改变我们生活中的其他许多方面。最能解释这种时机的就是使大型电子数据库的捕捉、融合和存储变得更加便宜的数字突破。

02

被“智能尘埃”包围的我们

当下信息的数字化和存储能力意味着任何连接互联网的笔记本电脑现在都可以访问比亚历山大图书馆馆藏大上好几倍的图书馆。

计算技术和执行计算的高速计算机当然必不可少，在这里，我认为数字化数据捕捉、融合和存储设备的进步与当前的潮流具有更加密切的关系。这些数据库技术的突破也促进了信息的商品化。数字化数据现在已经有了市场价值，而且正在融合成巨大的数据仓库。

我们没有理由认为数据库技术不会继续进步。克莱德定律没有终止的迹象。混合和融合技术正在自动化。未来的数据收集程序不仅可以在网上搜索新信息，而且可以自动寻找像罗塞塔石碑那样的对照元素，以便对不同数据集合中的内容进行匹配。

超级数据分析技术日益强大的预测能力有助于将分散数据融合在一起。

我们还应该看到数字领域信息捕捉能力的持续进步——尤其是借由微型传感器的信息捕捉能力——这也许是最重要的。由于电子传感器的微型化，我们已经拥有了捕捉各种信息的能力。你很容易用手机购买汽水、确定主人的位置或者拍摄数字照片。之前从未有过如此众多的人随身携带着随时可以拍照的设备。

不过，在不太遥远的未来，纳米技术可能会促成“全面监控”时代的到来。

信息全面数字化的前景既令人激动，又让人隐忧。这可能是一个没有隐私的世界。到那时，传感设备在我们的社会里将会变得更加普遍。零售商目前通过收银台扫描仪收集数据，以跟踪库存和销售。

不过，由于纳米技术的发展，他们也许很快就会将小型传感器直接安装在产品里。纳米传感器可以跟踪你在使用某个产品之前的犹豫时间、你携带产品移动的距离以及你是否可能将这个产品和其他产品放在一起使用。

当然，产品传感器需要得到消费者的首肯。不过，我们没有理由限制纳米传感器的应用范围，它完全可以嵌入到其他物品或服装里。

我们可能会被“智能尘埃”包围，这些纳米传感器在特定环境中无处不在，并且可以自由流动。它们可能真的像尘埃一样，在微风中飘动。由于只有一立方毫米的体积，因此它们几乎无法探测。

-END-