第 27卷 第 5期 2 0 0 6 年 5 月 东 北 大 学 学 报 ( 自 Journal of Northeastern University(Natural Science) 然 科 学 版 ) Vol127 ,No. 5 May 2 0 0 6 文 章 编 号 : 100523026(2006) 0520563204 支 持 向 量 回 归 在 岩 土 工 程 中 的 应 用 杨 成 祥 , 冯 夏 庭 ( 东 北 大 学 资 源 与 土 木 工 程 学 院 , 辽 宁 沈 阳 110004) 摘 要 : 针 对 岩 土 工 程 影 响 因 素 的 极 其 复 杂 性 ,引 入 支 持 向 量 机 方 法 ,给 出 了 应 用 支 持 向 量 回 归 解 决 问 题 的 基 本 原 理 与 算 法 步 骤 发以 矿 山 周 边 建 筑 物 爆 破 震 动 效 应 分 析 为 例 ,建 立 了 建 筑 物 中 峰 值 质 点 振 速 的 预 测 模 型 发实 例 分 析 表 明 预 测 值 与 实 测 值 具 有 很 好 的 一 致 性 ,验 证 了 支 持 向 量 回 归 小 样 本 高 效 的 自 学 习 能 力 以 及 高 度 非 线 性 的 问 题 处 理 能 力 ,是 解 决 复 杂 岩 土 工 程 问 题 的 有 效 分 析 工 具 发通 过 试 验 探 讨 了 算 法 参 数 选 择 对 应 用 结 果 尤 其 是 回 归 预 测 模 型 泛 化 能 力 的 影 响 规 律 发 关 键 词 : 支 持 向 量 机 ;岩 土 工 程 ;支 持 向 量 回 归 ;函 数 回 归 ;爆 破 震 动 ;非 线 性 中 图 分 类 号 : TD 313 1 文 献 标 识 码 : A l l 影 响 岩 土 工 程 的 因 素 众 多 ,而 且 关 系 复 杂 ,经 yi (α i - α i3 ) - ε (α i +α i3 ) - min 6 6 验 方 法 考 虑 因 素 少 ,而 数 值 方 法 存 在 材 料 、结 构 和 荷 载 模 拟 的 困 难 发随 着 系 统 科 学 、非 线 性 科 学 、信 息 科 学 的 高 速 发 展 ,大 量 现 代 信 息 处 理 方 法 被 引 入 并 在 不 断 完 善 和 发 展 ,如 灰 色 理 论 、人 工 神 经 网 i = 1 i = 1 l 1 2 α i - α i3 ) (α j - α j3 ) K( xi , xj) ( (2) 发 6 i , j = 1 和 α i3 是 Lagrange 乘 子 ,核 函 数 K 的 引 入 式 中 α i [ 1 ] 实 现 了 在 不 知 道 具 体 非 线 性 变 换 形 式 的 情 况 下 用 原 空 间 中 的 函 数 代 替 映 射 到 高 维 特 征 空 间 中 的 线 络 、遗 传 进 化 算 法 等 发近 年 来 ,支 持 向 量 机 方 (support vector machine , SVM) 以 其 稳 定 性 好 、推 广 能 力 强 的 特 点 受 到 人 们 的 广 泛 关 [ 2～ 6 ] 法 性 问 题 的 内 积 运 算 发解 上 述 问 题 后 得 到 回 归 方 程 [ 7 ,8 ] 的 显 式 : 注 发本 文 研 究 了 应 用 支 持 向 量 回 归 求 解 岩 土 l 工 程 问 题 的 原 理 与 算 法 步 骤 ,通 过 实 例 验 证 其 可 靠 性 ,探 讨 其 适 应 性 发 f ( x) = (α i - α i3 ) K( x , xi) + b 发 (3) 6 i = 1 [ 9 ] 顺 次 最 小 优 化 是 目 前 最 常 用 的 求 解 方 法 发 1 支 持 向 量 机 方 法 简 介 2 　 支 持 向 量 回 归 预 测 模 型 SVM 采 用 方 程 f ( x) = ( w 发Ψ ( x) ) + b 逼 近 d 应 用 支 持 向 量 回 归 进 行 问 题 求 解 包 括 : 数 据 { ( xi , yi) } < R 自 R发Ψ ( x) 为 输 入 空 间 非 线 性 映 射 的 高 维 特 征 空 间 ,系 数 w 和 b 通 过 求 解 如 ① ② ③ 确 定 输 入 输 出 ,搜 集 数 据 ,构 造 样 本 ; 求 解 式 (2) ,建 立 式 (3) 表 示 的 预 测 模 型 ; 对 每 一 待 预 测 输 入 向 量 x ,按 图 1 所 示 工 下 约 束 非 线 性 规 划 问 题 获 得 : n 1 2 2 (ζ i +ζ i3 ) 6 i = 1 mi　n Q ( w , b) = ‖ w ‖ + C 发 作 过 程 进 行 预 测 分 析 发 yi - wΨ ( xi) - b ≤ ε +ζ i , wΨ ( xi) + b - yi ≤ ε +ζ i3 , 支 持 向 量 机 具 有 解 决 复 杂 岩 土 工 程 问 题 的 许 多 优 势 :实 质 上 的 二 次 型 寻 优 问 题 理 论 上 是 全 局 最 优 的 ;基 于 结 构 风 险 最 小 化 理 论 能 保 证 较 好 的 推 广 能 力 ,并 巧 妙 地 解 决 了 非 线 性 问 题 中 的“ 维 数 灾 难 ”问 题 ;目 标 是 现 有 信 息 下 的 最 优 解 ,而 不 仅 仅 是 样 本 数 趋 于 无 穷 大 时 的 最 优 值 ,适 合 于 数 据 有 限 问 题 发 s. t. 1 ( ) ζ i ,ζ i3 ≥ 0 发 式 中 ,ε 为 允 许 误 差 ; C 为 惩 罚 因 子 ;ζ i ,ζ i3 为 松 弛 因 子 发根 据 Lagrange 方 法 转 化 为 其 对 偶 问 [ 3 ] : 题 收 稿 日 期 : 2005205224 基 金 项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 (50504004) ; 国 家 重 点 基 础 研 究 发 展 规 划 项 目 (2002CB412708) ; 中 科 院 武 汉 岩 土 力 学 研 究 所 岩 土 力 学 重 点 实 验 室 开 发 基 金 资 助 项 目 (Z110407) 发 作 者 简 介 : 杨 成 祥 (1973 - ) ,男 ,安 徽 芜 湖 人 ,东 北 大 学 副 教 授 ; 冯 夏 庭 (1964 - ) ,男 ,安 徽 潜 山 人 ,东 北 大 学 教 授 ,博 士 生 导 师 发 5 64 东 北 大 学 学 报 (自 然 科 学 版 ) 第 27 卷 与 影 响 因 素 之 间 的 非 线 性 映 射 关 系 发 3 . 1 数 据 根 据 前 人 研 究 成 果 和 专 家 经 验 [ 10 ,11 ] ,选 择 总 药 量 、最 大 段 药 量 、建 筑 物 与 爆 源 距 离 、建 筑 物 基 础 地 面 PPV 和 自 然 频 率 、建 筑 物 类 型 和 自 然 频 率 、建 筑 物 测 点 距 地 面 高 度 这 8 个 参 数 作 为 输 入 , 建 筑 物 内 产 生 的 PPV 作 为 输 出 发数 据 来 自 文 献 [ 12 ]的 20 个 不 同 矿 山 的 试 验 数 据 (表 1) 发为 了 检 图 1 支 持 向 量 回 归 预 测 模 型 Fig. 1 Model of support vector regression and 验 回 归 模 型 的 泛 化 能 力 ,随 机 选 择 4 个 (26～ 29) 作 为 检 验 样 本 发模 型 泛 化 能 力 由 对 检 验 样 本 的 均 方 差 (MSE) 衡 量 predicition 具 体 实 施 时 ,参 数 C 和 ε 以 及 核 函 数 参 数 δ n 的 选 择 与 具 体 数 据 和 问 题 有 关 ,目 前 还 没 有 一 个 严 格 理 论 意 义 上 的 指 导 ,一 般 仍 采 用 试 验 法 确 定 发 1 n 6 ( yi - f SVM ( xi) ) 2 V MSE = (4) 发 i = 1 3 . 2 参 数 设 置 3 　 实 例 分 析 实 践 表 明 在 一 般 光 滑 假 设 前 提 下 ,高 斯 核 函 采 矿 引 起 周 边 建 筑 物 的 爆 破 震 动 效 应 是 影 响 数 具 有 更 好 的 性 能 ,因 此 本 研 究 选 择 高 斯 径 向 基 函 数 作 为 支 持 向 量 回 归 的 核 函 数 发参 数 C 和 ε 以 及 基 函 数 域 宽 δ 采 用 试 验 法 确 定 发 矿 山 安 全 生 产 的 重 要 问 题 之 一 发爆 破 引 起 建 筑 物 震 动 的 峰 值 质 点 振 速 (peak particle velocity , PPV) 受 爆 源 性 质 ,现 场 条 件 ,建 筑 物 类 型 和 震 动 特 性 ,地 面 震 动 特 性 以 及 震 动 持 续 时 间 等 因 素 的 影 响 发下 面 应 用 支 持 向 量 机 回 归 建 立 建 筑 物 PPV 3. 3 结 果 分 析 经 验 算 ,参 数 δ = 014 , C = 0184 和 ε = 01001 时 得 到 的 回 归 模 型 具 有 最 佳 的 预 测 能 力 发表 1给 表 1 训 练 和 检 验 样 本 Table 1 Training and validating samples 地 面 震 动 特 性 建 筑 物 震 动 特 性 - 1 ) PPV/ (mm发s 总 药 量 最 大 段 药 量 距 离 PPV 频 率 频 率 高 度 3 kg kg m - 1 类 型 实 测 值 预 测 值 误 差 / % mm发s Hz Hz m 1 5 1 4 350. 00 6 875. 00 9 528. 00 1 800. 00 5 600. 00 5 200. 00 382. 00 737. 50 187. 50 187. 50 300. 00 225. 00 445. 00 645. 00 764. 40 650. 00 140. 70 118. 75 175. 00 65. 00 940 4. 03 1. 596 3. 73 2. 41 13. 72 15. 00 21. 9 2. 00 0. 67 0. 445 0. 880 11. 78 9. 99 6. 71 7. 75 10. 36 0. 60 4. 03 3. 88 0. 65 5. 22 0. 89 1. 49 0. 25 7. 61 8. 35 7. 01 4. 18 9. 91 5 5 5 9 9 15 16 15 25 5 7 6 7 12 10 28 7 7 5 2 1 1 3 3 2 2 2 1 4 2 2 2 2 4 3 1 2 2 2 1 2 2 2 2 2 2 2 1 5 15 5 8 9 12 12 15 17 9 8 7 8 15 18 25 5 5 7 0. 92 0. 76 0. 92 0. 61 0. 61 4. 0 3. 05 2. 44 1. 2 2. 44 3. 65 0. 76 0. 76 3. 20 2. 74 3. 76 1. 22 3. 96 1. 52 1. 83 3. 66 3. 05 7. 0 3. 66 4. 57 1. 78 1. 40 3. 05 3. 50 5. 37 1. 640 4. 03 5. 44 1. 71 4. 10 1. 29 4. 21 1. 72 2. 79 0. 47 0. 17 0. 12 0. 78 5. 27 7. 47 3. 49 0. 46 4. 37 0. 48 0. 54 0. 25 5. 81 0. 55 0. 65 4. 21 0. 99 1. 96 0. 70 11. 52 0. 22 5. 55 6. 73 3. 87 2. 03 3 000 1 450 325 300 130 118 312 450 1 380 1 190 120 200 145 128 135 350 400 250 275 115 230 240 850 100 120 110 200 225 6 32. 75 2. 48 2. 55 2 1 1 137. 50 350. 00 350. 00 14. 73 40. 10 55. 9 14. 66 40. 17 55. 83 8. 83 1. 38 0. 99 7 7 31. 50 75. 00 8. 90 1. 312 0. 925 1. 978 14. 90 11. 33 14. 32 12. 82 27. 29 1. 19 12. 53 10. 59 1. 64 7. 01 3. 53 2 4 2 150. 00 520. 84 029. 30 825. 00 2. 05 14. 83 11. 83 14. 39 12. 75 27. 22 1. 26 12. 60 10. 52 1. 71 7. 08 3. 60 9. 91 0. 67 1 2 2 60. 13 30. 25 1 925. 00 390. 00 1 1 237. 50 475. 00 225. 00 337. 50 41. 70 50. 00 50. 00 1 7 25. 00 12. 50 32 10 5 8 22 7 27 7 7 10 16 7 2 2 2 2 2 2 300. 00 300. 00 268. 48 637. 50 443. 75 443. 75 50. 00 9. 84 0. 60 31. 62 21. 62 9. 54 200. 16 250. 00 125. 00 125. 00 80. 00 31. 55 20. 42 10. 18 7. 32 8 8 17 35 20 20 17 15 5 7 30. 00 98. 00 7. 61 16. 26 114. 00 15. 93 3 :1 — 水 泥 砖 墙 混 凝 土 顶 ;2 — 泥 砖 墙 水 泥 木 制 顶 ;3 — 强 化 混 凝 土 框 架 结 构 ;4 — 泥 墙 瓦 顶 发 第 5 期 杨 成 祥 等 : 支 持 向 量 回 归 在 岩 土 工 程 中 的 应 用 565 出 了 对 学 习 和 测 试 样 本 的 预 测 结 果 ,可 以 看 出 计 算 值 与 实 测 值 之 间 具 有 很 好 的 一 致 性 (平 均 相 对 误 差 在 5 %以 内 ) 发图 2 对 模 型 输 出 与 实 测 值 进 行 了 简 单 的 线 性 回 归 分 析 ,回 归 直 线 截 距 为 01076 9 ,斜 率 为 始 是 下 降 的 ,然 后 上 升 并 保 持 在 某 一 较 高 水 平 ,即 C 值 增 大 到 一 定 程 度 后 , 预 测 效 果 变 差 发这 是 因 为 增 大 C 值 就 意 味 着 优 化 过 程 中 增 加 考 虑 经 验 误 差 的 比 重 ,从 而 导 致 过 拟 合 的 概 率 增 加 发因 而 值 在 一 定 程 度 上 影 响 经 验 风 险 和 推 广 性 能 之 间 的 均 衡 ,需 慎 重 选 择 发本 例 中 C = 0184 时 达 到 了 训 练 与 预 测 效 果 的 最 佳 均 衡 发 C 11001 3 ,相 关 系 数 几 乎 等 于 1 ,表 明 支 持 向 量 回 归 模 型 无 论 是 对 学 习 样 本 还 是 预 测 样 本 都 具 有 很 好 的 预 测 精 度 ,且 精 度 高 、推 广 能 力 强 发 图 3 C = 0184 ,ε = 01001 时 不 同 1/δ 2 值 对 结 果 的 影 响 图 2计 算 与 实 测 PPV 值 线 性 相 关 分 析 结 果 Fig. 2 Linear regression result between PPV values in training and testing cases Fig. 3 Results of various 1/ values in which C = 0184 andε = 01001 4 讨 论 本 节 仍 采 用 上 节 的 实 例 数 据 ,通 过 改 变 参 数 方 法 (在 研 究 某 参 数 时 ,其 他 参 数 保 持 不 变 ) 探 讨 参 数 C ,ε 和 核 函 数 参 数 (本 例 中 是 高 斯 核 函 数 的 带 宽 δ ) 对 结 果 的 影 响 规 律 发 图 3 是 在 C = 0184 ,ε = 01001 时 , 回 归 模 型 对 训 练 和 测 试 样 本 的 学 习 和 预 测 结 果 (均 方 差 , MSE) 随 1/δ 2 值 变 化 情 况 发当 1/δ < 6128 时 ,对 训 练 和 测 试 样 本 的 MSE 均 随 着 1/δ 2 值 的 增 加 而 减 小 ;当 1/δ 2 > 6128 时 ,对 训 练 样 本 的 MSE 继 续 图 4 1/δ 2 = 6128 ,ε = 01001 时 不 同 C 值 对 结 果 的 影 响 Fig. 4 Resu2lts of various C values in which 2 1/δ = 6128 andε = 01001 图 5 是 在 1/δ 2 = 6128 , C = 0184 时 , MSE 试 验 结 果 以 及 支 持 向 量 个 数 随 ε 值 在 变 化 情 况 发 由 图 5a 可 以 看 出 ε 值 在 较 小 范 围 内 (01000 1～ 0101) 对 MSE 的 影 响 不 大 , 只 有 在 ε 值 足 够 大 时 ( ≥ 0101) 才 有 比 较 显 著 的 影 响 , 而 且 对 训 练 和 预 测 结 果 的 影 响 趋 势 相 同 (随 ε 值 增 大 训 练 和 预 测 精 度 变 差 ) 发 同 样 的 情 况 也 出 现 在 支 持 向 量 个 数 随 ε 值 的 变 化 的 情 况 , 如 图 5b 所 示 , ε 值 越 大 , 支 持 向 量 越 少 , 但 同 时 也 会 降 低 回 归 函 数 精 度 发 2 减 小 ,但 对 测 试 样 本 的 MSE 反 而 随 着 1/δ 值 的 增 加 而 增 大 发也 就 是 说 , 1/δ 2 值 过 小 将 导 致 精 度 差 ,而 1/δ 2 值 过 大 会 产 生 过 拟 合 现 象 发对 本 例 来 讲 ,1/δ 2 = 6128 时 比 较 合 适 发 图 4 是 在 1/δ 2 = 6128 ,ε = 01001 时 , MSE 结 果 随 C 值 变 化 情 况 发可 以 看 出 ,随 C 值 增 大 ,对 训 练 样 本 的 MSE一 直 减 小 , 对 测 试 样 本 的 MSE开 图 5 1/δ 2 = 6128 , C = 0184 时 不 同 ε 值 对 结 果 的 影 响 2 Fig. 5 Results of variousε values in which 1/δ = 6128 and C = 0184 (a) —ε 值 对 训 练 和 预 测 结 果 的 影 响 ; (b) — 支 持 向 量 个 数 随 ε 值 的 变 化 发 5 66 东 北 大 学 学 报 (自 然 科 学 版 ) 第 27 卷 regression[ R ]. Technical Report NC2TR2982030. London : 5 结 论 Royal Holloway College , University of London , 1998. 1 - 7 1. [ 5 ] Campbell C. Kernel methods :a survey of current techniques J ]. Neurocomputing , 2002 ,48 (1) :63 - 84. 支 持 向 量 回 归 具 有 解 的 全 局 最 优 性 ,输 入 维 [ 数 无 关 性 以 及 专 门 针 对 小 样 本 的 优 点 发实 例 分 析 结 果 表 明 支 持 向 量 回 归 模 型 无 论 是 对 学 习 样 本 还 是 非 学 习 样 本 的 输 出 结 果 与 实 测 结 果 都 具 有 很 好 的 一 致 性 ,在 复 杂 岩 土 工 程 系 统 建 模 分 析 中 具 有 广 阔 的 应 用 前 景 发 [ 6 ] John C P. Sequential minimal optimization : a fast algorithm for training support vector machines[ R ]. Technical Report MSR2TR298214. Redmond : Microsoft Research , 1998. 1 - 8 . [ 7 ] 赵 洪 波 ,冯 夏 庭 发 支 持 向 量 机 函 数 拟 合 在 边 坡 稳 定 性 估 计 中 的 应 用 [J ]发 岩 石 力 学 与 工 程 学 报 245发 Zhao H B , Feng X T. Application of support vector , 2003 ,22 (2) :241 - 试 验 分 析 结 果 表 明 ,算 法 参 数 中 ,1/δ 2 和 值 过 小 会 降 低 回 归 精 度 ,过 大 将 导 致“ 过 学 习 ”;回 归 精 度 对 较 小 的 ε 值 不 敏 感 ,随 ε 值 增 大 ,支 持 向 量 个 数 迅 速 减 少 ,而 回 归 精 度 也 大 幅 下 降 发在 实 际 应 用 中 需 根 据 各 参 数 的 作 用 特 点 权 衡 选 择 ,采 用 一 个 优 化 过 程 进 行 综 合 考 虑 是 解 决 问 题 的 较 好 途 径 之 一 ,这 也 是 下 一 步 要 做 的 工 作 发 C ( machines function fitting in slope stability evaluation [ J ]. Chinese Journal of Rock Mechanics and Engineering , 2003 , 2 2(2) :241 - 245. ) [ 8 ] 冯 夏 庭 ,赵 洪 波 发 岩 爆 预 测 的 支 持 向 量 机 [J ]发 东 北 大 学 学 报 (自 然 科 学 版 ) , 2002 ,23 (1) :57 - 59发 ( Feng X T , Zhao H B. Prediction of rockburst using support vector machine [ J ]. Journal of Northeastern University ( Natural Science) , 2002 ,23 (1) :57 - 59. ) [ 9 ] Yang R L , Rocque P , Katsabanis P , et al. Measurement and analysis of near2field blast vibration and damage [ J ]. Geotechnical & Geological Engineering , 1994 ,12 (3) :169 - 182. 参 考 文 献 : [ 1 ] 冯 夏 庭 发 智 能 岩 石 力 学 导 论 [M]发 北 京 :科 学 出 版 社 ( , 2000发 Feng X T. Introduction of intelligent rock mechanics[ M]. Beijing : Science Press , 2000. ) [10 ] Wingh P K, Voge W , Singh R B , et al. Blasting side effects — investigation in an opencast coal mine in India [ J ]. International Journal of S urf ace Mining , Reclamation and Environment , 1996 ,10 (4) :155 - 159. [ [ 2 ] Vapnik V N. The nature of statistical learning theory[ M]. New York : Springer , 1995. 69 - 225. 3 ] Burges C J C. A tutorial on support vector machines for pattern recognition [ J ]. Data Mining and Knowledge Discovery , 1998 ,2 (2) :121 - 167. [11 ] Pijush P R. Characteristics of ground vibrations and structural response to surface and underground blasting[J ]. Geotechnical and Geological Engineering , 1998 , 16 ( 2) : [ 4 ] Smola A J , SchÊlkopf B. A tutorial on support vector 151 - 166. Application of Support Vector Regression in Rock and Soil Engineering YA N G Cheng2xiang , FEN G Xia2ting ( xiang , associate professor , E2mail : irm @ mail. neu. edu. cn ) School of Resources & Civil Engineering , Northeastern University , Shenyang 110004 , China. Correspondent : YAN G Cheng2 Abstract : For the extremely complex relationships among influencing factors in geotechnical engineering , the support vector machine (SVM) was introduced in and the basic algorithm of support vector regression ( SVR) was presented for complex geotechnical system modeling predicting in practical applications. The powerful capabilities of SVR for efficient self2learning over small data sets and solving highly nonlinear problems were illustrated with an estimation of structural response to the mining2 induced blast vibration of structures around a mine. The satisfactory results showed that the method proposed provides a feasible and promising alternative to deal with the complexities in geotechnical engineering. In addition , some experiments were performed to examine the sensitivity of parameter selection in SVR , with some important conclusion and advice obtained for further applications. Key words : support vector machine ; rock and soil engineering ; support vector regression ; function regression ; blast vibration ; nonlinear ( Received May 24 , 2005)