不到1000行代码，GitHub 1400星，天才黑客开源深度学习框架tinygrad

发布时间：2020-11-26 14:20:43来源：机器之心

机器之心报道

机器之心编辑部

最近，天才黑客GeorgeHotz开源了一个小型深度学习框架tinygrad，兼具PyTorch和micrograd的功能。tinygrad的代码数量不到1000行，目前该项目获得了GitHub1400星。

在深度学习时代，谷歌、Facebook、百度等科技巨头开源了多款框架来帮助开发者更轻松地学习、构建和训练不同类型的神经网络。而这些大公司也花费了很大的精力来维护TensorFlow、PyTorch这样庞大的深度学习框架。

除了这类主流框架之外，开发者们也会开源一些小而精的框架或者库。比如今年4月份，特斯拉人工智能部门主管AndrejKarpathy开源了其编写的微型autograd引擎micrograd，该引擎还用50行代码实现了一个类PyTorchapi的神经网络库。目前，micrograd项目的GitHubstar量达到1200星。

不久前，天才黑客GeorgeHotz（乔治·霍兹）开源了一个小型AutogradTensor库tinygrad，它介于PyTorch和micrograd之间，能够满足做深度学习的大部分要求。上线不到一个月，该项目在GitHub上已经获得1400星。

项目地址：https://github.com/geohot/tinygrad

根据GitHub内容，下文对tinygrad的安装与使用做了简要介绍。感兴趣的同学也可通过GeorgeHotz的YouTube视频进行学习。

视频地址：https://www.youtube.com/channel/UCwgKmJM4ZJQRJ-U5NjvR2dg

tinygrad的安装与使用

「tinygrad可能不是最好的深度学习框架，但它确实是深度学习框架。」

George在项目中保证，tinygrad代码量会永远小于1000行。

安装

tinygrad的安装过程非常简单，只需使用以下命令：

pip3installtinygrad--upgrade

示例

安装好tinygrad之后，就可以进行示例运行，代码如下：

fromtinygrad.tensorimportTensorx=Tensor.eye(3)y=Tensor([[2.0,0,-2.0]])z=y.matmul(x).sum()z.backward()print(x.grad)#dz/dxprint(y.grad)#dz/dy

使用torch的代码如下：

importtorchx=torch.eye(3,requires_grad=True)y=torch.tensor([[2.0,0,-2.0]],requires_grad=True)z=y.matmul(x).sum()z.backward()print(x.grad)#dz/dxprint(y.grad)#dz/dy

满足对神经网络的需求

一个不错的autograd张量库可以满足你对神经网络90％的需求。从tinygrad.optim添加优化器（SGD、RMSprop、Adam），再编写一些minibatching样板代码，就可以实现你的需求。

示例如下：

fromtinygrad.tensorimportTensorimporttinygrad.optimasoptimfromtinygrad.utilsimportlayer_init_uniformclassTinyBobNet:def__init__(self):self.l1=Tensor(layer_init_uniform(784,128))self.l2=Tensor(layer_init_uniform(128,10))defforward(self,x):returnx.dot(self.l1).relu().dot(self.l2).logsoftmax()model=TinyBobNet()optim=optim.SGD([model.l1,model.l2],lr=0.001)#...andcompletelikepytorch,with(x,y)dataout=model.forward(x)loss=out.mul(y).mean()loss.backward()optim.step()

支持GPU

tinygrad通过PyOpenCL支持GPU。但后向传播暂时无法支持所有ops。

fromtinygrad.tensorimportTensor(Tensor.ones(4,4).cuda()+Tensor.ones(4,4).cuda()).cpu()

ImageNet推断

「麻雀虽小，五脏俱全。」tinygrad还能够支持fullEfficientNet，输入一张图像，即可得到其类别。

ipython3examples/efficientnet.pyhttps://upload.wikimedia.org/wikipedia/commons/4/41/Chicken.jpg

如果你安装了webcam和cv2，则可以使用以下代码：

ipython3examples/efficientnet.pywebcam

注意：如果你想加速运行，设置GPU=1。

测试

运行以下代码可执行测试：

python-mpytest

此外，乔治·霍兹还计划添加语言模型、检测模型，进一步减少代码量、提升速度等。

天才黑客乔治·霍兹

该项目的创建者是著名黑客乔治·霍兹，别号Geohot。

他于1989年出生在美国新泽西州，曾就读于罗切斯特理工学院生物工程专业和卡内基梅隆大学计算机科学系。

然而，乔治·霍兹在自己的LinkedIn主页上教育经历描述里是这么写的：

在罗切斯特理工学院就读期间，他的社团活动是「在宿舍黑iPhone」……

这是他著名的黑客经历之一。2007年，17岁的乔治·霍兹成功破解iPhone手机，使手机不再局限于AT&T网络，而是支持其他GSM网络。2009年，他开发出一款针对iOS3.1.2的越狱软件blackra1n。2010年，乔治·霍兹宣布不再进行越狱软件的开发。

然而，他的黑客行动并未停止。

2009年起，乔治·霍兹开始破解PlayStation3（PS3）。2010年初，他宣布得到了PS3系统内存的读写权限和处理器的高级控制权。2011年3月，乔治·霍兹被索尼起诉，后和解。

此外，乔治·霍兹还破解过三星手机等产品。

就工作经历而言，他曾在谷歌、Facebook、SpaceX工作过。目前，他在自己创立的自动驾驶公司comma.ai任职。

2015年，乔治·霍兹创立了人工智能创业公司comma.ai，旨在基于机器学习算法构建自动驾驶技术。乔治·霍兹开发出自动驾驶套件CommaOne，只需1000美元，用户就能将传统汽车升级成自动驾驶版本。不过，后来这一计划被取消。

2020年，在CES大会上，comma.ai展出了其最新产品——辅助驾驶设备CommaTwo，售价999美元。

comma.ai公司还开源了辅助驾驶系统openpilot，参见：https://github.com/commaai/openpilot。

参考链接：https://zh.wikipedia.org/wiki/%E4%B9%94%E6%B2%BB%C2%B7%E9%9C%8D%E5%85%B9

https://en.m.wikipedia.org/wiki/George_Hotz

NeurIPS2020线上分享：面向鲁棒深度学习的对抗分布式训练

论文：《AdversarialDistributionalTrainingforRobustDeepLearning》。

本篇论文中，研究者提出了一种名为对抗分布式训练（adversarialdistributionaltraining,ADT）的新型框架。11月26日，清华大学计算机系博士生董胤蓬，为大家详细解读此前沿研究。

识别二维码，入群一起看直播。

©THEEND

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com