Docs

23.05.16_大模型创业公司的成功理由

输入“/”快速插入

23.05.16_大模型创业公司的成功理由

飞书用户5849

2023年5月16日创建

本文写于23年5月，观点会有很大程度的滞后，请见谅

回头看，全是为了给自己打鸡血用的——部分对，但只有部分对。23.09.06​

本文已收录至 🐴 Martin's Wiki

更新内容	更新时间
对部分观点进行“增补式校正”，但没完全校正哈哈红色字体为增补的校正内容文章保留原始想法，因此其实会显得有些浅薄（尴尬）。之前确实有很多环节和因素是我没想到的。但不带着今天的眼光去做校正了，最新的理解和看法我会另外起一篇。	23年8月10日

一、技术层大厂毋庸置疑更强

1.
 人才​

•
人才密度上区别不大，大厂有更多储备，但更优秀的人也容易被创业公司吸引​

•
实践上有很大区别，大厂有更多资源并行试错，人才获得的经验更多更快​

•
knowhow是急速贬值的，这也是顶尖人才的焦虑来源​

2.
组织力​

•
在厂里打过工的朋友会有体会​

•
但大厂会通过CEO牵头的方式，一定程度上打破旧组织形态的负面拉扯​

•
目前来看只有字节是比较乐观的，其他大厂都多少有些问题​

•
另外插一句题外话，组织这个问题会在后面逐步放大到产品、商业化上，到时候会更致命。​

3.
算力​

•
大厂有优势，创业公司要慢慢解决A100的问题​

•
目前这个问题前期发生在训练阶段。当模型应用成熟，推理侧的需求爆发，推理侧的成本也会节节攀升​

•
以及最关键的，在前期云厂商探索的时候，是愿意对创业公司开放一定的A卡算力的。但随着态势越来越明确，这部分开放范围是存在风险的。——当单位算力创造的应用价值逐步提升，纯算力租赁就会受到阻滞。​

4.
数据​

•
预训练数据​
◦
大厂有过去的预训练经验，有用一定技术的预训练数据，以及对应的数据清洗经验​
◦
大厂也有更便捷的手段获取到增量的，更高质量的数据（特别是有搜索引擎运行中的公司）​
◦
部分大厂内部有垂类生态的数据​

•
Alignment数据​
◦
在基于先进模型蒸馏上，大厂可能比较不野蛮，不会基于领先模型尽心数据构造。小公司会更野蛮​
◦
但数据的清洗标注所对应的设计人员、质检人员、并发任务规模等，大厂都会更有优势​

5.
认知陷阱​
◦
大厂初战的效果让我们对他技术实力的想象过于贬低​
◦
从讯飞来看，追3.5似乎是时间问题，而不是技术问题，大厂应该都在做了，只是即将更新​
◦
但我们不应该从这个事情上只看到百度的落后，而应该从讯飞身上看到百度追赶的速度潜力​
◦
如果一个技术毫无壁垒，那么是大厂的好消息，创业公司的坏消息​

二、应用层大厂强在短期，弱在远期

1.
分存量、增量视角看待​

存量市场更强，也可能一直强，但仍有颠覆性机会。例如办公、电商、视频、社交​
◦
要把场景中的价值分为“业务价值+AI价值”，在过去大量的价值是来自业务价值​