微软中国CTO韦青：亲身经历大模型落地的体会与思考

能够把一件事情做成功不容易。在实现的过程中，会有很多局限。在这个新生事物层出不穷的时代，有一个常见的根本性局限，就是人的思想局限，体现为对事实真相辨析不明和经常用旧的逻辑尝试解决新的问题。

在这个世界上，对于事物真相的判断，存在着事实、现象和观点这三个不同的维度。

获取大家公认的事实非常困难，理论上讲是不可能的。因为每个人都是通过自己的“有色眼镜”，也就是感觉器官来观察事物，得到的是感觉器官所感受的现象。人们会基于个人经历、背景和认知偏差对所观察到的现象进行解读，从而形成自己的观点。由于观点都带有主观色彩，因此既代表现象，也不代表事实，只可用作讨论的素材。人们有可能从基于观点的辩论，而达成对于现象和事实的一致意见。

如果你看过电影《肮脏的哈里》中的演员克林特·伊斯特伍德，他在该片中有一句著名的台词：“观点就像<人体的排泄出口>，每个人都有。（都有怪味，但每个人都认为自己的比别人的好闻）”。

理解了这个道理之后，我们在听到社会上的某种流行说法时，先要明确这是某种观点，还是大家已经达成共识的现象，以及它背后所指向的事实大致是个什么样子。不要过早地受观点的影响，以避免陷入“看不见的大猩猩”的陷阱，被信息误导，只关注到媒体让我们看到的事物，而不是正在真实发生的事物。例如，现在我们在网上、在朋友圈里看到的许多现象，很可能都是一些具有引导性的关注点。但真正的事实是什么呢？我们需要超越表面现象，深入探究事物的本质。

在技术实践中，我发现人的问题其实是最复杂的。虽然技术难题很难攻克，但技术毕竟是人创造的。一旦我们的思想方法出现问题，那么无论多么优秀的人，再怎么努力，其做事的结果也非常有限。但是思想转型是最难的，要改变思想，我们需要采用成长型思维的方式，不断学习，不断纠偏。这意味着我们必须认识到，我们的思想都是有偏差的，我们常常错误地将所观察到的现象视为事实的全部，并迅速形成一种观点，认为别人是错的，自己是对的。在这个时代，还没有人能够爬上山顶，看到未来。在这个不确定性主导的世界里，未来只要还未发生，对其判断就是一个概率问题。

人工智能的实现依靠计算机器基于数据而学习，数据的问题就像是一个房间里的大象，也可以说是看不见的大猩猩。说它是一头房间里的大象，是说这个问题很明显，但是很麻烦，大家都不愿意主动指出来。针对优质数据的积累，它无法简单地靠堆砌资金和人力，或者只要有海量算力就可以解决，它需要漫长的文明积累，不是所有的数据都具备可以被学习的知识，只有那些能够表征一个文明特征的数据才能够让机器学到代表这种文明的知识与价值观。说它是一头看不见的大猩猩，是说明这个问题经常被媒体所误导，被大众所忽视，人们看到的都是有关算力、算法的探讨，而人工智能的实现是一个复杂的系统工程，各种前提条件缺一不可，就像一个水桶，不管构建水桶的木板有多长，它的存水量由最短的那块板决定。人工智能就像一个孩子，是被数据培养出来的。如果提供给它的数据是有偏差的，那么它的行为和决策也一定是有偏差的。如果数据来自他人，那么训练出的模型的行为和偏好也将是别人的。

对于所有企业来说，我认为第一步是显而易见的，今天现场发布的报告《中国生成式 AI 开发者洞察 2024》（后台回复「开发者洞察」即可下载）已经给出了答案。但有时候，我们需要关注的是那些显而易见，但大家不愿意去触及的麻烦。例如，人才问题、数据问题、流程再造问题，这些都是我们所说的“硬核”问题。这些问题并不是多么新鲜或者伟大的问题，它们都有一个共性，就是跟脚踏实地的作风和漫长的积累相关，跟保持独立的思想和不盲从潮流相关，与每个个体与组织愿意耐心花多长时间取得成就相关，它们需要因人、因时、因地制宜，不能简单地复制粘贴。每个个体、每个组织都有自己的数据特征、流程特征、人才储备和资金储备，以及行业特征。

我们不仅应该学习别人做事的正确方法，更应该借鉴别人犯错误的教训，而不是一味的想找到所谓的“最佳实践”。因为在探索期间，就像踩雷区一样，或者像查理·芒格所说的——智慧不是在于做对每件事，而是在于知道哪些事情是错的。在一个极度不确定的时代，使用这种方法可能不能保证我们成功。但它能让我们成功的概率稍微高一点，哪怕只是一点点。

如果大家仔细观察业界所谓的成功公司，你会发现它们的成功大多都概率性的，只是因为活下来了，是幸存者，这种经验的总结很容易陷入“幸存者偏差”的陷阱。没有人在微软、OpenAI、英伟达、谷歌、华为、阿里、百度、腾讯等公司成立之初就敢说他们一定会成功。成功是因为他们在重要的事情上犯的错误少，只要不死，你生存下来的机率就变大了。因此，不是说不要向成功者取经，一是不必照搬，二是还要看看这些公司没有做什么。

什么才是真正的思想变革？我们每个人的思想实际上都是非常固化的。特别是那些越成功、经验越丰富、过去成就越多的人，他们的思想往往更加难以改变，这是一个公认的事实。

在计算机历史上，有一位非常著名且直言不讳的人物，他就是艾兹格·W·迪科斯彻。上世纪，当有人问他计算机是否能够思考时，他回答说：“提问‘计算机是否能思考’就像问‘潜艇是否能游泳’”。他的回答正确与否并不重要，重要的是那一代计算机科学家所展现出的探索精神，他们不受经验的束缚，能够洞察事物的本质，这种精神在当今时代尤为重要。

我再举一个与今天更相关的例子，那就是马车与发动机的故事。

20 多年前，麻省理工学院第一任人工智能研究室主任西摩尔·派普特提出了一个思想实验，让我们想象，如果一名现代喷气发动机工程师穿越回 19 世纪初，向当时的马车夫和马车行展示喷气发动机，并询问这是否能帮到他们。

大家首先想到的可能是将喷气发动机安装到马车上，我把这解读为“AI+”，因为将发动机装到马车上，确实可以让马车比马跑得更快、更省事。但这是否是我们的最终目标呢？绝对不是。我们真正要做的，是因为新工具的出现而重构整个行业，甚至是整个社会的基本原型。

从马车到汽车的转变，交通的本质目的没有变，依然是将人和物品安全、可靠、及时、高效地从一点移动到另一点。但是，如果我们用马拉车，我们需要考虑的是在马路上每隔两公里设计一个草料堆与化粪池。而如果是汽车，我们则需要每隔 几十 公里建一个加油站和服务站。无论是加油站还是化粪池，都有它们存在的必要，也都有它们存在的前提条件。都是商机，只不过是不同思想层面的商机。这种不同的思想层面代表了不同的思维范式、工业范式和文明范式。要注意这种种发展方向之间，并没有对错，只是因为不同的人生观和价值观而选择不同的发展道路。这就是不同思想与思维方式的不同结果。

今天发布的报告《中国生成式 AI 开发者洞察 2024》已经将这些问题阐述得非常清楚。报告中提到，首先，开发需要有场景，需要理解大语言模型的开发，我将其理解为必须知道我们解决的人类问题是什么。其次，我们需要知道如何使用工具。第三，我们需要找到合适的工具。比如，如果我们要在墙上挂一幅画，大概率我们会用到钉子或螺丝，使用锤子或螺丝刀。而如果我们在工厂里组装一辆汽车，那么我们面临的问题和所需的工具及方法就会完全不同。

西摩尔·派普特曾经说过：“如果思想不改变，无论你拥有的新工具有多么先进，它又能改变什么呢？如果这个工具只是被用在马车上的一个特别优秀的引擎，它确实能让马车比马跑得快”。在当前的流程中，我们已经在应用人工智能工具，无论是生成式的还是传统的，各种类型的人工智能工具都在被使用。这使得大家普遍感觉到，人工智能工具似乎有用，但又似乎没有达到预期的效果。我的判断是：虽然目前我们在使用这些工具，但最终，我们的整个社会范式将会被人工智能所改变。这意味着从“AI+”（AI 的简单添加）到“AI 化”或“AI 乘”（AI 的深度融合和乘数效应）的转变。

我们当前所有的话语体系都在讨论应该做些什么，进行什么样的设计，包括人工智能的生成式应用。这就引出了一个问题：人工智能是否仅限于生成式应用？传统人工智能是否已经没有价值？我们其实并不关心它具体是哪种类型的人工智能，只要它能够帮助我们解决问题，通过社会架构的重新构建，它就能成为一个新的工具。

理解了这个道理之后，我们可能会认识到，在做事的过程中，一方面我们需要跟随，但我们必须记住，仅仅跟随是永远没有未来的。大多数情况下我们所面对的都是概率问题。未来的一切都与概率相关，无论是贝叶斯思维还是蒙特卡洛方法。想象一下，如果我们在座的所有人都去追求同一个目标，采用同一种范式，那么我们成功的概率是多少？或者更具体地说，你能成功的概率是多少？

无论工具多么先进，即使喷气式引擎研发得再好，如果人们想到的只是将其安装在马车上，那么我们很难找到新的出路。那么，汽车到底会是什么样子？整个社会形态将如何变化？我们是否需要建立加油站、铺设柏油马路、设置收费站？是否需要有人开始研究整个统筹学、运筹学、算法优化等科学领域，以把握先机并引领变革？

要知道我们真正需要找到的是解决某种问题的方法。那么我们的问题是什么呢？人工智能的方法很多，可以是生成式的人工智能，也可以是传统的人工智能，还可以具身的人工智能。当我们要解决的问题没明确的时候，只是谈人工智能作为一种工具和方法孰优孰劣，那也仅仅是某种观点而已。问题是：我们作为人类，有多大的信息处理能力能够看多少内容？我们到底要的是机器生成的内容还是人生的幸福感？这种幸福感是通过生成一大堆文字、图片和视频就能获得，或者只是要比其他人更强，还是需要借助机器的能力扩大人类的探索边界，扩展人类的知识，增长我们的智慧，加深我们对浩瀚宇宙真相的理解，从而让地球文明能够突破现在的局限，不再受物质与能量的束缚，进入到一个关注思想繁荣与智慧增长的信息文明时代。我认为对于这些问题的回答将决定下一步的人工智能何去何从。

回顾一下机器的概念，在这里我引用了微软董事长兼 CEO 萨提亚·纳德拉经常引用的来自道格拉斯·恩格尔巴特的观点。道格拉斯·恩格尔巴特是当代计算机文明的奠定者之一，他的技术愿景和对于人类社会发展的洞察仍然指导着当前计算机器的发展方向。恩格尔巴特持有与范内瓦·布什和司马贺这些思想家相似的观点，都认为人类社会接下来最大的挑战就是因为信息过载而造成的复杂度已经远远超出了人类所能够处理的范畴，信息技术提升了人类社会效率，也加大了复杂度，我们需要计算机器帮助我们处理因为计算机器所带来的问题。

人类作为一种碳基动物，通过我们的五种传感器感知周边的世界，再通过神经传导的电化学作用将我们用传感器从周围世界感知的信号传送至我们的大脑进行处理与加工。由于信息量的泛滥和通讯的普及，再加上大多数人类的思想能力还没有进化到可以有节制地使用我们的大脑信息处理能力，一味不加选择和节制地摄入信息，就是得我们的大脑像暴饮暴食的身体一样，开始出现了大脑“肥胖症”。当然，人类经过多年的工业文明熏陶，已经知道我们的身体不能随意摄入垃圾食品，我们开始有所选择，有所判断。那我们是怎样对待大脑的呢？让我们反思一下，从今天早上醒来到现在，你所看到的消息中，哪些是真的，哪些是假的，哪些是半真半假的，哪些是有偏差的，哪些是欺骗你的，哪些是对你有帮助的，哪些是无用的，哪些是虚构的？

实际上，我们大多数人并没有深思熟虑，而是直接接受了这些信息。大家再回想一下，从今天早上醒来到现在，你所看到的消息，你还记得多少？记住的信息中，又有多少是真正能够用得上的？我们的大脑是在空转，不断地摄入“垃圾食品”，还是真正吸收到了有用的信息，让我们的思维能力得到提升？

在讨论接下来的实操内容之前，我想强调，在这个时代，能够“不被骗”就是最大的优势。我们所比拼的是什么呢？是智商、情商、理商。我现在再加上一个信商，即信息智商。我们搞 IT 的都知道网络信息安全有“零信任”原则，那么在面对信息摄取时，我们是否也应该采取信息摄取的“零信任”态度呢？

“看不见的大猩猩”的作者在 2023 年又写了一本书，名为《没有人是傻瓜》。他在书中提出，每个人都应该遵循的原则是“少信一点，多验证一点”。我们应该默认所有由像素生成的信息，大概率都有可能是假的。我们也应该像网络一样，对所有像素构成的信息采取零信任的态度，然后训练出我们自己的算法来帮助我们鉴别信息的真伪。否则，我们这些工程师、科学家可能会被一些信息误导，不是受人制约，，而是被人骗，被人牵着鼻子到处乱跑，误以为自己走对了方向。我们天天去学习别人的最佳实践，天天去学习标准答案，却忽略了一个最基本的事实：我们已经进入了一个开卷考试的时代，现在最不缺的就是标准答案，最缺的是经过独立思考而得到的适合我们自己的答案。

接下来，我想简单地展望一下未来。我认为现在有很多人在还没有开始攀登之前，就拼命想象山顶会是什么样子，是好是坏，是否可行。但实际上，大多数人甚至还没有开始他们的旅程。就目前而言，我认为智能机——不要过分夸大其作用，它就是一个智能机——但它所开创的，是帮助人类了解极大、极小、极远、极近的领域。所谓极大指的是宇宙，极小指的是量子，极远指的是太空，而极近则是更深入地了解我们自己，最终理解我们是谁。

现在的智能机以非常高的效率，推动了"AI for Science"（科学智能）和"AI for Everyone"（人人智能）的发展，尤其是"AI for Science"，科学探索得到智能机的加持后，其研究进展的速度是惊人的。如果你了解一下当前生物学、细胞学、医学以及量子物理学界的研究进展，你会发现这些进展远远超出了我们对生成式人工智能的想象。微软在英国剑桥的 AI 研究院，已经转向"AI for Science"的研究，并取得了许多突破，包括在材料科学领域的应用。众所周知，我们人类对于自身、对于量子层面的理解还是非常有限的，而机器在这些方面可以提供巨大的帮助，比如在分子、原子、细胞、DNA\线粒体、材料、能源构成等领域，还有很多未知等待我们去探索。

目前我们所观察到的，比如制作图片、视频或生成文字等，这些在办公自动化中非常有用，但它们只是智能机器能力的一个狭小的领域，。我在下图提到了一些可能性，并用红色进行了标注。但这些也只是美好的愿景，它们需要落地实现，智能技术的落地也是有次第可循的逻辑。

我之所以一开始讲述这么多有关思想与观念的话题，是因为如果我们不能够放下我们每个人，尤其是成功人士的思想成见，放下我们思想中的历史包袱，我们接下来的行动很可能只是在马车上装上一个引擎，比拼谁的马车装上引擎后跑得更快，而不是认识到汽车虽然开始时可能比你的马车跑得慢，但最终汽车必将远远超越马车。换句话说，对我们来说，每个人的挑战在于，我们可能仍然固守在要给马车装上引擎的想法上，因为我们需要活在当下，但我们需要开始意识到我们的目标不是如何将马车打造得更好，装上多少引擎，或者如何改造它，而是要开发出一整套全新的汽车架构和现代化交通体系。

我相信大家对下图所展示的架构已经有所了解，它从基础架构出发，经过应用架构，再到开发的架构，最后落实到具体的应用场景。虽然这是一个显而易见的过程，但是即便如此明显，真正能够找到用户实际需要的应用的人却微乎其微。

我的观点是：“知道山在那里，并不意味着你就能登上山顶；而在山脚下，你也无法确定这是不是最高的山峰。”尽管学习、观察和借鉴他人是非常重要的，但这些只是必要条件，并不是充分条件。即便你知道山的位置，即便你有一张登山地图，这也只是其中的一部分真相。地图并不是真正的现场，而且所有的地图都是别人已经走过的路。

我印象最深的是，在读书学工程的时候，曾经调整过 PID 参数。第一次调整 PID 参数时感到很困惑：书上的理论知识都是正确的，函数也写对了，但电动机就是在那里抖动。书本的知识和实际现场出现的情况是不一样的。因此，亲身实践和实证非常关键。学习到一定程度固然重要，但最终还是要自己找到解决方案，找到适合自己的方法。

大家在观察许多人工智能的开发模型和范式时，可能会注意到有很多夸张的宣传，很多讲解倾向于“一剑封喉”的断言，只要这样做就有那样的结果。但只要一种思维逻辑具象为一种具体的方法，就会有它适用的前提条件约束。只有回归到它的思维逻辑，才能够让借鉴者根据具体情况具体分析与解决。

首先，智能机需要明确理解其目的；其次，它需要理解自身的能力边界；第三，它必须了解其操作的约束条件，也就是它所处的约束空间。接下来，智能机需要有能力寻找可用的外部资源和工具，然后开始有步骤地拆解任务，决定是顺序执行还是并行执行。在执行过程中，还需要一个实时的反馈链，也就是持续的反馈机制，不断行动，不断纠偏。

现在在网上，有些人将“reflection”翻译为“反思”，这种翻译是有问题的。机器真的会反思吗？实际上，机器只是在反馈的基础上，针对它的预测进行计算纠偏，而并不会像人类那样进行深入的反思。因此，我们不应该将描述人类思维的词汇用在机器上，这样做是非常危险的，因为它可能会导致我们对机器的能力作出错误的判断。

理解了上述内容之后，我们可以进一步抽象化地看问题。实际上，我们每天从早到晚都在进行人 - 机协同的工作。作为个体，我们每个人都有自己明确的目标。在下图中，用红色表示人类正在执行的任务，用蓝色表示机器正在执行的任务。想想看，从今天早上起床到现在，无论是坐车、打车、开车来，还是听课、看手机，我们是不是一直在这样与机器协同工作？这种协同工作会出现什么样的现象呢？真正的机会在于我们是否能够识别出我们的痛点是什么。一旦我们识别出了自己的痛点，如果这种痛点可以由机器辅助，就成为智能机可以发挥作用的地方。熟悉 TRIZ 创新方法论里面 TESE 方法的人可能就看出，其实这就是逐步减少人类参与的系统创新方法，并不是什么突然出现的话题，只不过随着人类所发明的工具的进步，创新的方法也在不断演变之中。对于这一轮的智能机器而言，数据是核心，也就凸现出过去几十年一直强调数字化的重要性。

没有数据就无法实现智能算法，没有数字化就没有数据。因此，我们仍然需要进行数字化改革。一旦我们理解了这个基本原理，就会发现有很多问题就像是屋子里的大象，虽然没人直接谈论，但它们却明显地挡在我们前进的道路上。

仅有人才的思想解放、组织的重构和流程的再造是不够的。为了实现数字化转型，我们还需要结合数字化产品和实时反馈链，以及整个产业链的协同。这不仅仅是个体和公司层面的事情，还需要整个生态系统中上下游合作伙伴的相互匹配和协调。在这种情况下，数据才是真正为了 AI 而生的数据。

作为一间合资公司的总经理，我也管理着公司，当公司试图利用智能机器的能力优化公司的客户服务时，我们也以为已经积累了很多服务数据，可以很方便的实现服务的智能化了吧？但当你尝试将 AI 应用上去时，会发现这些过去积累的数据，其建模方式并没有针对智能机器算法而优化，可用，但效果并不好。为什么？人们常常误以为机器可以学习任何东西，尤其是非结构化数据，我认为这是一个非常误导人的说法。扪心自问，机器真的能学习非结构化数据吗？机器学习真的能学习没有标签的数据吗？所谓的非监督学习，其监督已经内嵌在了提供给它的数据结构中。也就是说，数据本身必须带有逻辑，机器才能从中学习。真给机器丢一堆没有内在模式的数据，它是不可能凭空识别出模式的。

只有拥有数据，我们才能获得真正的知识，然后再将这些知识转化为 Copilot，加入到每一个流程中去。我认为这将是未来作为人类智能助手的终极解决方案。这也与我之前提到的报告相呼应，实际上并不存在哪个行业或工作内容不会被重构，所有可以被拆解成流程的工作都将被重构。

流程中的一个关键点是必须同时满足人类能理解和机器能处理的条件。回顾历史，这实际上是真正的 Web 3.0 概念，也就是十多年前的语义网，那时语义网技术被称为 Web 3.0 技术。这里的关键不在于术语本身，而在于其内涵，我们的整体愿景是将我们的生活、世界和社会构建成既能被人理解也能被机器处理的形式。我们每家公司的领域知识、专家知识，以及行业知识是否都能被建模，以至于机器能理解和处理呢？以目前流行的售后服务数字化和智能化为例，你的知识库真的能够做到既被机器理解也能被机器处理吗？以我的经验来看，这通常需要重新构建。这里重点是关注流程的智能化和智能社会的构建，无论是 AI 加法还是 AI 乘法，实际上都要考虑重构，而不是简单地在马车上加一个引擎。

精心打磨流程重构、数字建模，实现数据生成与管理，进而实现流程智能化。但遗憾的是，大多数人关注点都集中在最后一点，即流程智能化，而忽视了前三点。前三点是整个金字塔的基座，如果基座不稳固，整个结构将会动摇。此外，还有第五点，即“人在循环中”。因为机器并非万能，因此人与机器的结合是非常关键的，但这还不够。在第五点之上是第六点，即“人在环路上”，涉及到控制论的一阶、二阶和三阶控制与优化，也可称为一阶、二阶和三阶的学习过程，是对做事的“为什么做 - 做什么 - 如何做”(Why-What-How) 的反向优化过程，与机器学习所依赖的反向传播机制在概念上是相通的。

我们现在要做的第一步是将所有流程重构，让机器完成工作，赚取利润。但为了预见最终到达的位置，还必须建立一个新的人机文化。如果仅仅关注机器或技术能做什么，而不将人的因素考虑在内，这样的企业是不可能长久的。

最后，我想谈谈信息文明的最显著特征，那就是避免被欺骗，这种能力也会被别有意图的人利用来进行欺骗。我们现在生活在一个信息社会中，真的能够辨别出对自己有用的信息，并据此做出正确的判断吗？我认为这是非常困难的。我们每个人都被包裹在自己的信息茧房中，只能看到我们想看到的，只能听到我们想听到的。那么，我们如何确保自己不会被这个看不见的大猩猩——信息茧房所限制呢？这是对我们每个人的最大挑战。

今天，我分享这些内容，是因为我认为如果不解决这个问题，仅仅偶尔得到一些答案，偶尔成功一下，是远远不够的。因为如果没有建立起对未来技术发展的坚定信念，那么偶尔的成功并不能代表最终的成功。这是我从微软的一些工程师那里听到的他们的心态历程，现在分享给大家。微软的 CEO、董事长萨提亚·纳德拉在 2022 年 5 月就已经提到了 ChatGPT、OpenAI、Copilot 等概念。2022 年 11 月底 ChatGPT 发布后，大家蜂拥而上。微软的工程师其实也经历了这样的过程。起初是“AI+”，将 AI 应用到所有事物上，但第一代产品发布后发现效果不佳，那还只是一辆马车。

因此，他们转向了“Everything for AI”，即利用新的工具重构产品的流程和使用方法，包括人机交互界面、流程、判断和执行。最终他们发现，关键不在于 AI、数据、显卡或算法，而在于解决人世间的风花雪月、衣食住行。我们的产品如果能够解决人类的基本需求，就一定具有生命力。如果你的观点只局限于一个喷气发动机或者一辆马车上，那么我认为你不会取得太大的成就。

今天的标题是“大模型正在重新定义软件”。大模型是什么？“正在”是什么？重新定义软件所代表的结果是把软件视为一辆马车加上一个引擎，称之为重新定义，还是真正地重新定义软件工程、软件流程，改变整个软件的生命周期？

微软研究院的一些研究员专门研究“AI for software engineering”，我认为这可能就是大家在软件开发行业即将面临的未来。当我们还在认为在马车上加引擎的时候，已经有一些人开始意识到这只是暂时的现象。我们真正要的是一个现代化的、以汽油、柴油驱动的交通体系。而在 100 年后，我们发现这个交通体系实际上是由电力驱动的。这将是我们未来几十年面临的机会与挑战。

演讲最后，韦青老师向大家推荐了《提示工程：方法、技巧与行业应用》这本书，他提到：“这是本工具使用者，同时也是开发工具的老师傅写给工具使用者的书，了解机器的特性，才能更好地利用机器增强人类自身生存与发展的能力。”

对于《BPMN2.0——业务流程建模标准导论（第二版）》、《DATA 数据建模经典教程（第二版）》这两本书，韦青老师的评价是：“简单，不厚，但是有用。”

除此之外，还有以下推荐书目，感兴趣的读者可以进一步了解~