支持向量回归在岩土工程中的应用-矿业114网 
首页 >> 文献频道 >> 矿业论文 >> 正文
支持向量回归在岩土工程中的应用
2011-07-25
针对岩土工程影响因素的极其复杂性,引入支持向量机方法,给出了应用支持向量 回归解决问题的基本原理与算法步骤·以矿山周边建筑物爆破震动效应分析为例,建立了建筑物 中峰值质点振速的预测模型·实例分析表明预测值与实测值具有很好的一致性,验证了支持向量 回归小样本高效的自学习能力以及高度非线性的问题处理能力,是解决复杂岩土工程问题的有效 分析工具·通过试验探讨了算法参数选择对应用结果尤其是回归预测模型泛化能力的影响规律·
第 27卷 第 5期 2 0 0 6 年 5 月 东 北 大 学 学 报 ( 自 Journal of Northeastern University(Natural Science) 然 科 学 版 ) Vol127 ,No. 5 May 2 0 0 6 文 章 编 号 : 100523026(2006) 0520563204 支 持 向 量 回 归 在 岩 土 工 程 中 的 应 用 杨 成 祥 , 冯 夏 庭 ( 东 北 大 学 资 源 与 土 木 工 程 学 院 , 辽 宁 沈 阳 110004) 摘 要 : 针 对 岩 土 工 程 影 响 因 素 的 极 其 复 杂 性 ,引 入 支 持 向 量 机 方 法 ,给 出 了 应 用 支 持 向 量 回 归 解 决 问 题 的 基 本 原 理 与 算 法 步 骤 发以 矿 山 周 边 建 筑 物 爆 破 震 动 效 应 分 析 为 例 ,建 立 了 建 筑 物 中 峰 值 质 点 振 速 的 预 测 模 型 发实 例 分 析 表 明 预 测 值 与 实 测 值 具 有 很 好 的 一 致 性 ,验 证 了 支 持 向 量 回 归 小 样 本 高 效 的 自 学 习 能 力 以 及 高 度 非 线 性 的 问 题 处 理 能 力 ,是 解 决 复 杂 岩 土 工 程 问 题 的 有 效 分 析 工 具 发通 过 试 验 探 讨 了 算 法 参 数 选 择 对 应 用 结 果 尤 其 是 回 归 预 测 模 型 泛 化 能 力 的 影 响 规 律 发 关 键 词 : 支 持 向 量 机 ;岩 土 工 程 ;支 持 向 量 回 归 ;函 数 回 归 ;爆 破 震 动 ;非 线 性 中 图 分 类 号 : TD 313 1 文 献 标 识 码 : A l l 影 响 岩 土 工 程 的 因 素 众 多 ,而 且 关 系 复 杂 ,经 yi (α i - α i3 ) - ε (α i +α i3 ) - min 6 6 验 方 法 考 虑 因 素 少 ,而 数 值 方 法 存 在 材 料 、结 构 和 荷 载 模 拟 的 困 难 发随 着 系 统 科 学 、非 线 性 科 学 、信 息 科 学 的 高 速 发 展 ,大 量 现 代 信 息 处 理 方 法 被 引 入 并 在 不 断 完 善 和 发 展 ,如 灰 色 理 论 、人 工 神 经 网 i = 1 i = 1 l 1 2 α i - α i3 ) (α j - α j3 ) K( xi , xj) ( (2) 发 6 i , j = 1 和 α i3 是 Lagrange 乘 子 ,核 函 数 K 的 引 入 式 中 α i [ 1 ] 实 现 了 在 不 知 道 具 体 非 线 性 变 换 形 式 的 情 况 下 用 原 空 间 中 的 函 数 代 替 映 射 到 高 维 特 征 空 间 中 的 线 络 、遗 传 进 化 算 法 等 发近 年 来 ,支 持 向 量 机 方 (support vector machine , SVM) 以 其 稳 定 性 好 、推 广 能 力 强 的 特 点 受 到 人 们 的 广 泛 关 [ 2~ 6 ] 法 性 问 题 的 内 积 运 算 发解 上 述 问 题 后 得 到 回 归 方 程 [ 7 ,8 ] 的 显 式 : 注 发本 文 研 究 了 应 用 支 持 向 量 回 归 求 解 岩 土 l 工 程 问 题 的 原 理 与 算 法 步 骤 ,通 过 实 例 验 证 其 可 靠 性 ,探 讨 其 适 应 性 发 f ( x) = (α i - α i3 ) K( x , xi) + b 发 (3) 6 i = 1 [ 9 ] 顺 次 最 小 优 化 是 目 前 最 常 用 的 求 解 方 法 发 1 支 持 向 量 机 方 法 简 介 2   支 持 向 量 回 归 预 测 模 型 SVM 采 用 方 程 f ( x) = ( w 发Ψ ( x) ) + b 逼 近 d 应 用 支 持 向 量 回 归 进 行 问 题 求 解 包 括 : 数 据 { ( xi , yi) } < R 自 R发Ψ ( x) 为 输 入 空 间 非 线 性 映 射 的 高 维 特 征 空 间 ,系 数 w 和 b 通 过 求 解 如 ① ② ③ 确 定 输 入 输 出 ,搜 集 数 据 ,构 造 样 本 ; 求 解 式 (2) ,建 立 式 (3) 表 示 的 预 测 模 型 ; 对 每 一 待 预 测 输 入 向 量 x ,按 图 1 所 示 工 下 约 束 非 线 性 规 划 问 题 获 得 : n 1 2 2 (ζ i +ζ i3 ) 6 i = 1 mi n Q ( w , b) = ‖ w ‖ + C 发 作 过 程 进 行 预 测 分 析 发 yi - wΨ ( xi) - b ≤ ε +ζ i , wΨ ( xi) + b - yi ≤ ε +ζ i3 , 支 持 向 量 机 具 有 解 决 复 杂 岩 土 工 程 问 题 的 许 多 优 势 :实 质 上 的 二 次 型 寻 优 问 题 理 论 上 是 全 局 最 优 的 ;基 于 结 构 风 险 最 小 化 理 论 能 保 证 较 好 的 推 广 能 力 ,并 巧 妙 地 解 决 了 非 线 性 问 题 中 的“ 维 数 灾 难 ”问 题 ;目 标 是 现 有 信 息 下 的 最 优 解 ,而 不 仅 仅 是 样 本 数 趋 于 无 穷 大 时 的 最 优 值 ,适 合 于 数 据 有 限 问 题 发 s. t. 1 ( ) ζ i ,ζ i3 ≥ 0 发 式 中 ,ε 为 允 许 误 差 ; C 为 惩 罚 因 子 ;ζ i ,ζ i3 为 松 弛 因 子 发根 据 Lagrange 方 法 转 化 为 其 对 偶 问 [ 3 ] : 题 收 稿 日 期 : 2005205224 基 金 项 目 : 国 家 自 然 科 学 基 金 资 助 项 目 (50504004) ; 国 家 重 点 基 础 研 究 发 展 规 划 项 目 (2002CB412708) ; 中 科 院 武 汉 岩 土 力 学 研 究 所 岩 土 力 学 重 点 实 验 室 开 发 基 金 资 助 项 目 (Z110407) 发 作 者 简 介 : 杨 成 祥 (1973 - ) ,男 ,安 徽 芜 湖 人 ,东 北 大 学 副 教 授 ; 冯 夏 庭 (1964 - ) ,男 ,安 徽 潜 山 人 ,东 北 大 学 教 授 ,博 士 生 导 师 发 5 64 东 北 大 学 学 报 (自 然 科 学 版 ) 第 27 卷 与 影 响 因 素 之 间 的 非 线 性 映 射 关 系 发 3 . 1 数 据 根 据 前 人 研 究 成 果 和 专 家 经 验 [ 10 ,11 ] ,选 择 总 药 量 、最 大 段 药 量 、建 筑 物 与 爆 源 距 离 、建 筑 物 基 础 地 面 PPV 和 自 然 频 率 、建 筑 物 类 型 和 自 然 频 率 、建 筑 物 测 点 距 地 面 高 度 这 8 个 参 数 作 为 输 入 , 建 筑 物 内 产 生 的 PPV 作 为 输 出 发数 据 来 自 文 献 [ 12 ]的 20 个 不 同 矿 山 的 试 验 数 据 (表 1) 发为 了 检 图 1 支 持 向 量 回 归 预 测 模 型 Fig. 1 Model of support vector regression and 验 回 归 模 型 的 泛 化 能 力 ,随 机 选 择 4 个 (26~ 29) 作 为 检 验 样 本 发模 型 泛 化 能 力 由 对 检 验 样 本 的 均 方 差 (MSE) 衡 量 predicition 具 体 实 施 时 ,参 数 C 和 ε 以 及 核 函 数 参 数 δ n 的 选 择 与 具 体 数 据 和 问 题 有 关 ,目 前 还 没 有 一 个 严 格 理 论 意 义 上 的 指 导 ,一 般 仍 采 用 试 验 法 确 定 发 1 n 6 ( yi - f SVM ( xi) ) 2 V MSE = (4) 发 i = 1 3 . 2 参 数 设 置 3   实 例 分 析 实 践 表 明 在 一 般 光 滑 假 设 前 提 下 ,高 斯 核 函 采 矿 引 起 周 边 建 筑 物 的 爆 破 震 动 效 应 是 影 响 数 具 有 更 好 的 性 能 ,因 此 本 研 究 选 择 高 斯 径 向 基 函 数 作 为 支 持 向 量 回 归 的 核 函 数 发参 数 C 和 ε 以 及 基 函 数 域 宽 δ 采 用 试 验 法 确 定 发 矿 山 安 全 生 产 的 重 要 问 题 之 一 发爆 破 引 起 建 筑 物 震 动 的 峰 值 质 点 振 速 (peak particle velocity , PPV) 受 爆 源 性 质 ,现 场 条 件 ,建 筑 物 类 型 和 震 动 特 性 ,地 面 震 动 特 性 以 及 震 动 持 续 时 间 等 因 素 的 影 响 发下 面 应 用 支 持 向 量 机 回 归 建 立 建 筑 物 PPV 3. 3 结 果 分 析 经 验 算 ,参 数 δ = 014 , C = 0184 和 ε = 01001 时 得 到 的 回 归 模 型 具 有 最 佳 的 预 测 能 力 发表 1给 表 1 训 练 和 检 验 样 本 Table 1 Training and validating samples 地 面 震 动 特 性 建 筑 物 震 动 特 性 - 1 ) PPV/ (mm发s 总 药 量 最 大 段 药 量 距 离 PPV 频 率 频 率 高 度 3 kg kg m - 1 类 型 实 测 值 预 测 值 误 差 / % mm发s Hz Hz m 1 5 1 4 350. 00 6 875. 00 9 528. 00 1 800. 00 5 600. 00 5 200. 00 382. 00 737. 50 187. 50 187. 50 300. 00 225. 00 445. 00 645. 00 764. 40 650. 00 140. 70 118. 75 175. 00 65. 00 940 4. 03 1. 596 3. 73 2. 41 13. 72 15. 00 21. 9 2. 00 0. 67 0. 445 0. 880 11. 78 9. 99 6. 71 7. 75 10. 36 0. 60 4. 03 3. 88 0. 65 5. 22 0. 89 1. 49 0. 25 7. 61 8. 35 7. 01 4. 18 9. 91 5 5 5 9 9 15 16 15 25 5 7 6 7 12 10 28 7 7 5 2 1 1 3 3 2 2 2 1 4 2 2 2 2 4 3 1 2 2 2 1 2 2 2 2 2 2 2 1 5 15 5 8 9 12 12 15 17 9 8 7 8 15 18 25 5 5 7 0. 92 0. 76 0. 92 0. 61 0. 61 4. 0 3. 05 2. 44 1. 2 2. 44 3. 65 0. 76 0. 76 3. 20 2. 74 3. 76 1. 22 3. 96 1. 52 1. 83 3. 66 3. 05 7. 0 3. 66 4. 57 1. 78 1. 40 3. 05 3. 50 5. 37 1. 640 4. 03 5. 44 1. 71 4. 10 1. 29 4. 21 1. 72 2. 79 0. 47 0. 17 0. 12 0. 78 5. 27 7. 47 3. 49 0. 46 4. 37 0. 48 0. 54 0. 25 5. 81 0. 55 0. 65 4. 21 0. 99 1. 96 0. 70 11. 52 0. 22 5. 55 6. 73 3. 87 2. 03 3 000 1 450 325 300 130 118 312 450 1 380 1 190 120 200 145 128 135 350 400 250 275 115 230 240 850 100 120 110 200 225 6 32. 75 2. 48 2. 55 2 1 1 137. 50 350. 00 350. 00 14. 73 40. 10 55. 9 14. 66 40. 17 55. 83 8. 83 1. 38 0. 99 7 7 31. 50 75. 00 8. 90 1. 312 0. 925 1. 978 14. 90 11. 33 14. 32 12. 82 27. 29 1. 19 12. 53 10. 59 1. 64 7. 01 3. 53 2 4 2 150. 00 520. 84 029. 30 825. 00 2. 05 14. 83 11. 83 14. 39 12. 75 27. 22 1. 26 12. 60 10. 52 1. 71 7. 08 3. 60 9. 91 0. 67 1 2 2 60. 13 30. 25 1 925. 00 390. 00 1 1 237. 50 475. 00 225. 00 337. 50 41. 70 50. 00 50. 00 1 7 25. 00 12. 50 32 10 5 8 22 7 27 7 7 10 16 7 2 2 2 2 2 2 300. 00 300. 00 268. 48 637. 50 443. 75 443. 75 50. 00 9. 84 0. 60 31. 62 21. 62 9. 54 200. 16 250. 00 125. 00 125. 00 80. 00 31. 55 20. 42 10. 18 7. 32 8 8 17 35 20 20 17 15 5 7 30. 00 98. 00 7. 61 16. 26 114. 00 15. 93 3 :1 — 水 泥 砖 墙 混 凝 土 顶 ;2 — 泥 砖 墙 水 泥 木 制 顶 ;3 — 强 化 混 凝 土 框 架 结 构 ;4 — 泥 墙 瓦 顶 发 第 5 期 杨 成 祥 等 : 支 持 向 量 回 归 在 岩 土 工 程 中 的 应 用 565 出 了 对 学 习 和 测 试 样 本 的 预 测 结 果 ,可 以 看 出 计 算 值 与 实 测 值 之 间 具 有 很 好 的 一 致 性 (平 均 相 对 误 差 在 5 %以 内 ) 发图 2 对 模 型 输 出 与 实 测 值 进 行 了 简 单 的 线 性 回 归 分 析 ,回 归 直 线 截 距 为 01076 9 ,斜 率 为 始 是 下 降 的 ,然 后 上 升 并 保 持 在 某 一 较 高 水 平 ,即 C 值 增 大 到 一 定 程 度 后 , 预 测 效 果 变 差 发这 是 因 为 增 大 C 值 就 意 味 着 优 化 过 程 中 增 加 考 虑 经 验 误 差 的 比 重 ,从 而 导 致 过 拟 合 的 概 率 增 加 发因 而 值 在 一 定 程 度 上 影 响 经 验 风 险 和 推 广 性 能 之 间 的 均 衡 ,需 慎 重 选 择 发本 例 中 C = 0184 时 达 到 了 训 练 与 预 测 效 果 的 最 佳 均 衡 发 C 11001 3 ,相 关 系 数 几 乎 等 于 1 ,表 明 支 持 向 量 回 归 模 型 无 论 是 对 学 习 样 本 还 是 预 测 样 本 都 具 有 很 好 的 预 测 精 度 ,且 精 度 高 、推 广 能 力 强 发 图 3 C = 0184 ,ε = 01001 时 不 同 1/δ 2 值 对 结 果 的 影 响 图 2计 算 与 实 测 PPV 值 线 性 相 关 分 析 结 果 Fig. 2 Linear regression result between PPV values in training and testing cases Fig. 3 Results of various 1/ values in which C = 0184 andε = 01001 4 讨 论 本 节 仍 采 用 上 节 的 实 例 数 据 ,通 过 改 变 参 数 方 法 (在 研 究 某 参 数 时 ,其 他 参 数 保 持 不 变 ) 探 讨 参 数 C ,ε 和 核 函 数 参 数 (本 例 中 是 高 斯 核 函 数 的 带 宽 δ ) 对 结 果 的 影 响 规 律 发 图 3 是 在 C = 0184 ,ε = 01001 时 , 回 归 模 型 对 训 练 和 测 试 样 本 的 学 习 和 预 测 结 果 (均 方 差 , MSE) 随 1/δ 2 值 变 化 情 况 发当 1/δ < 6128 时 ,对 训 练 和 测 试 样 本 的 MSE 均 随 着 1/δ 2 值 的 增 加 而 减 小 ;当 1/δ 2 > 6128 时 ,对 训 练 样 本 的 MSE 继 续 图 4 1/δ 2 = 6128 ,ε = 01001 时 不 同 C 值 对 结 果 的 影 响 Fig. 4 Resu2lts of various C values in which 2 1/δ = 6128 andε = 01001 图 5 是 在 1/δ 2 = 6128 , C = 0184 时 , MSE 试 验 结 果 以 及 支 持 向 量 个 数 随 ε 值 在 变 化 情 况 发 由 图 5a 可 以 看 出 ε 值 在 较 小 范 围 内 (01000 1~ 0101) 对 MSE 的 影 响 不 大 , 只 有 在 ε 值 足 够 大 时 ( ≥ 0101) 才 有 比 较 显 著 的 影 响 , 而 且 对 训 练 和 预 测 结 果 的 影 响 趋 势 相 同 (随 ε 值 增 大 训 练 和 预 测 精 度 变 差 ) 发 同 样 的 情 况 也 出 现 在 支 持 向 量 个 数 随 ε 值 的 变 化 的 情 况 , 如 图 5b 所 示 , ε 值 越 大 , 支 持 向 量 越 少 , 但 同 时 也 会 降 低 回 归 函 数 精 度 发 2 减 小 ,但 对 测 试 样 本 的 MSE 反 而 随 着 1/δ 值 的 增 加 而 增 大 发也 就 是 说 , 1/δ 2 值 过 小 将 导 致 精 度 差 ,而 1/δ 2 值 过 大 会 产 生 过 拟 合 现 象 发对 本 例 来 讲 ,1/δ 2 = 6128 时 比 较 合 适 发 图 4 是 在 1/δ 2 = 6128 ,ε = 01001 时 , MSE 结 果 随 C 值 变 化 情 况 发可 以 看 出 ,随 C 值 增 大 ,对 训 练 样 本 的 MSE一 直 减 小 , 对 测 试 样 本 的 MSE开 图 5 1/δ 2 = 6128 , C = 0184 时 不 同 ε 值 对 结 果 的 影 响 2 Fig. 5 Results of variousε values in which 1/δ = 6128 and C = 0184 (a) —ε 值 对 训 练 和 预 测 结 果 的 影 响 ; (b) — 支 持 向 量 个 数 随 ε 值 的 变 化 发 5 66 东 北 大 学 学 报 (自 然 科 学 版 ) 第 27 卷 regression[ R ]. Technical Report NC2TR2982030. London : 5 结 论 Royal Holloway College , University of London , 1998. 1 - 7 1. [ 5 ] Campbell C. Kernel methods :a survey of current techniques J ]. Neurocomputing , 2002 ,48 (1) :63 - 84. 支 持 向 量 回 归 具 有 解 的 全 局 最 优 性 ,输 入 维 [ 数 无 关 性 以 及 专 门 针 对 小 样 本 的 优 点 发实 例 分 析 结 果 表 明 支 持 向 量 回 归 模 型 无 论 是 对 学 习 样 本 还 是 非 学 习 样 本 的 输 出 结 果 与 实 测 结 果 都 具 有 很 好 的 一 致 性 ,在 复 杂 岩 土 工 程 系 统 建 模 分 析 中 具 有 广 阔 的 应 用 前 景 发 [ 6 ] John C P. Sequential minimal optimization : a fast algorithm for training support vector machines[ R ]. Technical Report MSR2TR298214. Redmond : Microsoft Research , 1998. 1 - 8 . [ 7 ] 赵 洪 波 ,冯 夏 庭 发 支 持 向 量 机 函 数 拟 合 在 边 坡 稳 定 性 估 计 中 的 应 用 [J ]发 岩 石 力 学 与 工 程 学 报 245发 Zhao H B , Feng X T. Application of support vector , 2003 ,22 (2) :241 - 试 验 分 析 结 果 表 明 ,算 法 参 数 中 ,1/δ 2 和 值 过 小 会 降 低 回 归 精 度 ,过 大 将 导 致“ 过 学 习 ”;回 归 精 度 对 较 小 的 ε 值 不 敏 感 ,随 ε 值 增 大 ,支 持 向 量 个 数 迅 速 减 少 ,而 回 归 精 度 也 大 幅 下 降 发在 实 际 应 用 中 需 根 据 各 参 数 的 作 用 特 点 权 衡 选 择 ,采 用 一 个 优 化 过 程 进 行 综 合 考 虑 是 解 决 问 题 的 较 好 途 径 之 一 ,这 也 是 下 一 步 要 做 的 工 作 发 C ( machines function fitting in slope stability evaluation [ J ]. Chinese Journal of Rock Mechanics and Engineering , 2003 , 2 2(2) :241 - 245. ) [ 8 ] 冯 夏 庭 ,赵 洪 波 发 岩 爆 预 测 的 支 持 向 量 机 [J ]发 东 北 大 学 学 报 (自 然 科 学 版 ) , 2002 ,23 (1) :57 - 59发 ( Feng X T , Zhao H B. Prediction of rockburst using support vector machine [ J ]. Journal of Northeastern University ( Natural Science) , 2002 ,23 (1) :57 - 59. ) [ 9 ] Yang R L , Rocque P , Katsabanis P , et al. Measurement and analysis of near2field blast vibration and damage [ J ]. Geotechnical & Geological Engineering , 1994 ,12 (3) :169 - 182. 参 考 文 献 : [ 1 ] 冯 夏 庭 发 智 能 岩 石 力 学 导 论 [M]发 北 京 :科 学 出 版 社 ( , 2000发 Feng X T. Introduction of intelligent rock mechanics[ M]. Beijing : Science Press , 2000. ) [10 ] Wingh P K, Voge W , Singh R B , et al. Blasting side effects — investigation in an opencast coal mine in India [ J ]. International Journal of S urf ace Mining , Reclamation and Environment , 1996 ,10 (4) :155 - 159. [ [ 2 ] Vapnik V N. The nature of statistical learning theory[ M]. New York : Springer , 1995. 69 - 225. 3 ] Burges C J C. A tutorial on support vector machines for pattern recognition [ J ]. Data Mining and Knowledge Discovery , 1998 ,2 (2) :121 - 167. [11 ] Pijush P R. Characteristics of ground vibrations and structural response to surface and underground blasting[J ]. Geotechnical and Geological Engineering , 1998 , 16 ( 2) : [ 4 ] Smola A J , SchÊlkopf B. A tutorial on support vector 151 - 166. Application of Support Vector Regression in Rock and Soil Engineering YA N G Cheng2xiang , FEN G Xia2ting ( xiang , associate professor , E2mail : irm @ mail. neu. edu. cn ) School of Resources & Civil Engineering , Northeastern University , Shenyang 110004 , China. Correspondent : YAN G Cheng2 Abstract : For the extremely complex relationships among influencing factors in geotechnical engineering , the support vector machine (SVM) was introduced in and the basic algorithm of support vector regression ( SVR) was presented for complex geotechnical system modeling predicting in practical applications. The powerful capabilities of SVR for efficient self2learning over small data sets and solving highly nonlinear problems were illustrated with an estimation of structural response to the mining2 induced blast vibration of structures around a mine. The satisfactory results showed that the method proposed provides a feasible and promising alternative to deal with the complexities in geotechnical engineering. In addition , some experiments were performed to examine the sensitivity of parameter selection in SVR , with some important conclusion and advice obtained for further applications. Key words : support vector machine ; rock and soil engineering ; support vector regression ; function regression ; blast vibration ; nonlinear ( Received May 24 , 2005)
  • 中矿传媒与您共建矿业文档分享平台下载改文章所需积分:  5
  • 现在注册会员立即赠送 10 积分


皖公网安备 34050402000107号