读《人工智能现代方法》--基础篇笔记

1. 人工智能定义

  • 人是有理性的动物,会思考目标和行动
  • 人工智能公式化定义
    • 人工智能 = (类人 + 理性) × (行为 + 思考)

1.1 类人行为:图灵测试

  • 计算机需要具备以下能力:
    • 自然语言处理
    • 知识表示
    • 自动推理
    • 机器学习
    • 计算机视觉
    • 机器人学

1.2 类人思考:认知建模

  • 认知科学方法
    • 内省法
    • 心理实验
    • 大脑成像研究
  • 著名人物
    • 艾伦·纽厄尔 (Alan Newell)
    • 赫伯特·西蒙 (Herbert Simon)

1.3 理性思考:思维法则建模

  • 逻辑主义
    • 用符号逻辑描述可解的问题,理论上可以编程解决。
  • 概率
    • 用概率弥补逻辑在不确定性中的不足。

1.4 理性行为:理性智能体方法

  • 定义
    • 能正确判断、做出正确行为并完成理性目标。
  • 人工智能的研究重点
    • 构建能做正确事情的智能体,这是通用的标准模型。
  • 缺陷
    • 人类并非总能给出正确目标。
    • 太聪明的智能体可能会因目标对人类造成伤害,因此需要价值对齐机制。

2. 人工智能基础

2.1 哲学

  • 思维:我是如何知道的?

    • 理性主义:笛卡尔——“我思故我在”,思想源于自由意志。
    • 经验主义:思想被外在物理世界决定(自然主义、唯物主义)。
    • 整合:康德——《纯粹理性批判》,探讨“先天综合判断如何可能”。
  • 知识:我能知道什么?

    • 演绎:
      • 形式化演绎(亚里士多德,三段论)。
      • 形式逻辑演绎(罗素、维特根斯坦、鲁道夫·卡纳普)。
    • 归纳:
      • 经验主义(培根,《新工具》)。
    • 类比(书中未提及)。
  • 行为:我能做什么?

    • 功利主义:边沁、约翰·穆勒,基于效用最大化的理性决策。
    • 义务伦理学:康德的绝对律令。

2.2 数学

  • 推理的形式化规则:
    • 形式化逻辑:布尔逻辑。
    • 概率推导、统计学。
  • 可计算性
    • “算法”一词源于 9 世纪数学家穆罕默德·本·穆萨·阿尔·花剌子模。
    • 计算边界
      • 哥德尔不完全性定理:任何强形式化理论中都存在未被证明的真实陈述。
      • 图灵机:定义可计算函数的通用概念。
    • 易处理性
      • P 问题:多项式时间内可解。
      • NP 问题:多项式时间内可验证。
      • NP 难问题:如停机问题、SAT 布尔可满足性问题。

2.3 经济学

  • 如何基于偏好决策:
    • 博弈论与经济学(冯·诺伊曼与摩根斯特恩)。
  • 如何在不确定性下决策:
    • 决策论结合概率论与效用理论。
    • 多智能体系统。
  • 如何平衡远期收益:
    • 运筹学、马尔可夫决策过程,与强化学习相关。

2.4 神经科学

  • 研究方向
    • 神经网络
    • 脑机接口

2.5 心理学

  • 研究内容
    • 人类与动物如何思考和行动。
    • 视觉研究(赫尔曼·冯·赫尔姆霍茨)。
    • 行为心理学、认知心理学、人机交互(IA)。

2.6 计算机工程

  • 研究方向
    • 图灵机
    • 摩尔定律与芯片发展

2.7 控制理论

  • 研究目标
    • 设计最优控制系统以最小化代价函数。
    • 与人工智能的区别:
      • 控制理论强调连续变量和微积分。
      • 人工智能更注重逻辑推理和计算工具。

2.8 语言学

  • 研究方向
    • 语言与思维的联系(乔姆斯基)。
    • 自然语言处理(NLP)。

3. 人工智能的历史

3.1 诞生(1943~1956,符号主义)

  • 人工神经元模型(沃伦·麦卡洛克、沃尔特·皮茨)。
  • 修改神经元连接强度(唐纳德·赫布)。
  • 第一台神经网络计算机 SNARC(马文·明斯基、迪安·埃德蒙兹)。
  • 图灵测试、机器学习、遗传算法、强化学习(图灵,1947)。
  • 达特茅斯会议提出人工智能研究框架(1956)。

3.2 高涨(1952~1969)

  • 通用问题求解器(纽厄尔、西蒙)。
  • Lisp 语言(约翰·麦卡锡)。
  • 积木世界(1970)。

3.3 寒冬(1966~1973)

  • 过于乐观:高估了人工智能的短期能力。
  • 忽视任务含义与算法复杂度。
  • 线性感知机能力不足(明斯基,1969)。

3.4 专家系统(1969~1986)

  • 医学诊断、分子结构推断。
  • 商用专家系统(杜邦公司)。
  • 日本政府的第五代计算机计划。

3.5 神经网络与深度学习(1986~至今)

  • 关键技术
    • 概率推理、机器学习。
    • 贝叶斯网络与因果推理。
    • 强化学习与马尔可夫决策过程。
  • 深度学习(2011~至今)
    • 卷积神经网络(CNN)。
    • 序列神经网络(RNN)。
  • 应用领域
    • 自动驾驶(Waymo、Tesla)。
    • 机器人、机器翻译、语音识别、推荐系统。
    • 博弈(AlphaGo、Dota AI)。
    • 图像理解、医学诊断、气象科学。