会议室里，林星石的手指轻轻划过那张TPU架构图，仿佛在抚摸一件精致的艺术品。但他接下来的话，却像是一盆冷水，浇在了刚被杰夫·迪恩点燃的热情上。
“杰夫，这是减法的艺术，非常精彩。”林星石抬起头，目光清澈，“但它只是推理的利器，却不是训练的神器。”
杰夫·迪恩愣了一下，随即眉头微皱：“林，你应该知道，目前的深度学习，推理的需求量远大于训练。而且，只要集群规模足够大，用它来做训练也不是不可能。”
“效率，杰夫。我们谈论的是效率。”林星石站起身，走到白板前，拿起一支记号笔，“TPU v1为了追求极致的能效比，采用了8位整数运算（INT8）。这对推理来说足够了，但对于训练……我们需要浮点数，需要梯度下降时的精度。”
他在白板上写下了一个词：FP32。
“传统的单精度浮点数（FP32）太占内存和带宽。”林星石接着在旁边写下了一个新的概念，“如果我们要设计一款专门用于训练的芯片，我们需要一种新的精度格式。”
笔尖在白板上划过，留下了几个字符：bfloat16。
“截断浮点数。”林星石解释道，“保留FP32的指数位，牺牲小数位。这样我们既能保持足够的动态范围来防止梯度消失或爆炸，又能将内存占用和带宽需求减少一半。”
会议室里一片死寂。
在座的都是谷歌最顶尖的硬件工程师和系统架构师，他们的大脑在飞速运转，消化着林星石抛出的这个概念。
仅仅几秒钟后，杰夫·迪恩猛地站了起来，死死盯着白板上的那个“bfloat16”，眼神中充满了不可思议的震惊。作为一个在底层代码和硬件指令集里摸爬滚打多年的大神，他瞬间就意识到了这个改动的精妙之处。
它不需要复杂的硬件逻辑去处理双精度或单精度浮点数，却完美契合了深度学习训练对精度的特殊需求——只要范围够大，精度哪怕差一点点，神经网络的鲁棒性也能自我修正。
“天才的想法……”杰夫·迪恩喃喃自语，“为什么我们之前没想到？”
“还没完。”林星石笑了笑，继续在白板上画图，“解决了计算单元的问题，接下来是内存墙。传统的DDR内存带宽已经跟不上AI芯片的吞吐量了。我们需要HBM（高带宽内存），把内存直接堆叠在芯片旁边。”
“还有互联。”他又画了几条线，连接起多个芯片，“单卡的算力终究有限。未来的AI训练，必然是成千上万张卡协同工作。我们需要一种超高速的芯片间互联协议，绕过CPU和PCIe的瓶颈，让显存池化。”
随着林星石的讲述，原本只是因为商业利益而坐在这里的谷歌工程师们，此刻看他的眼神已经完全变了。那不仅仅是对合作伙伴的尊重，更像是在看一个来自未来的先知。
拉里·佩奇和谢尔盖·布林对视了一眼，都看到了对方眼中的震撼。他们原本以为是用现在的技术换取未来的软件，没想到林星石反手就给他们上了一堂未来硬件架构的课。
“林，我现在相信你是真的在造AI芯片了。”佩奇苦笑着摇了摇头，“而且你的野心比我们想象的还要大。”
“所以，这个交易还做吗？”林星石放下笔，回到了座位上。
“做！当然做！”佩奇毫不犹豫地回答，“TPU v1的数据和专利，换GPT的源码。另外，关于你刚才提到的那些硬件设想……我们希望能建立一个联合实验室。”
“联合实验室就不必了。”林星石婉拒道，“星火有自己的硬件节奏。不过，除了TPU，我还有一个要求。”
“请说。”
“数据。”林星石吐出了两个字，“我要谷歌搜索索引中清洗过的高质量文本数据集，以及YouTube上的视频字幕数据。”
在这个大数据还未被完全重视的年代，数据的价值往往被低估。但在林星石眼中，这些才是谷歌最宝贵的财富。算法可以复现，算力可以堆砌，唯独高质量的数据，是需要时间沉淀的壁垒。
佩奇沉吟了片刻。虽然数据很宝贵，但相比于迫在眉睫的AI威胁，这似乎是可以接受的代价。
“可以。”佩奇点了点头，“但仅限于公开抓取的数据。”
“成交。”
就在双方准备草签协议的时候，佩奇突然像是想起了什么，看似随意地提了一句：“林，我知道星火对人才流动持非常开放的态度。既然我们要深入合作，谷歌想在星火内部开一场招聘会，招募一些AI方向的工程师。你知道的，我们现在很缺人。”
这是一个有些冒犯的请求，甚至可以说是当面挖墙脚。
但林星石的反应却出乎意料的平静：“没问题。只要员工愿意，星火绝不阻拦。”
佩奇愣了一下，显然没想到林星石会答应得这么痛快。
这章没有结束，请点击下一页继续阅读！
喜欢软件教父：从大学社团开始制霸请大家收藏：(www.qbxsw.com)软件教父：从大学社团开始制霸全本小说网更新速度全网最快。