计 算 机 处 理 的 数 据 量 不 断 地呈指 数 增 长， 随 着 数 据 信 息 库 积 累 的 数 据 和 主 题 越 来 越 多， 怎样 快 速、 有 效、 经 济 地 检 索 某 个 主 题 的 所 有 信 息， 就 成 了 一 个 十 分 热 门 的 课 题。 解 决 这 一 难 题 的 方 法 之 一 是 采 用 智 能 搜 索 技 术。 本 文 中 给 出 了 自 然 语 言 处 理 的 结 构 梗 概， 以 及 最 终 有 助 于 网 络 用 户 查 找 信 息 的 全 文 检 索 技 术。
查 找 信 息
---- 信 息 检 索 主 要 研 究 信 息 的 表 示、 存 储、 组 织 和 访 问。 即 根 据 用 户 的 查 询 要 求， 从 信 息 数 据 库 中 检 索 出 与 之 相 关 的 信 息 资 料。 信 息 检 索 已 从 手 工 建 立 关 键 字 索 引， 发 展 到 计 算 机 自 动 索 引 的 全 文 信 息 检 索、 自 动 信 息 文 摘、 自 动 信 息 分 类， 并 正 朝 着 自 然 语 言 处 理 的 方 向 发 展。
---- 在 信 息 检 索 领 域， 英 语 信 息 检 索 的 发 展 较 为 迅 速。 如 由Salton 等 人 开 发 的SMART 信 息 检 索 系 统，可 以 利 用 向 量 空 间 表 示 检 索 信 息 内 容， 并 将 自 然 语 言 处 理 应 用 于 信 息 检 索， 大 大 提 高 了 信 息 查 询 的 准 确 性。 中 文 信 息 检 索 系 统 的 发 展 相 对 较 慢， 目 前 已 有 的 中 文 检 索 系 统 绝 大 部 分 仍 为 关 键 词 检 索， 甚 至 许 多 系 统 还 处 于“ 字” 索 引 阶 段。 不 仅 效 率 较 低， 而 且 信 息 检 索 的 精 度 和 准 确 性 很 差。 究 其 原 因， 是 因 为 中 文 信 息 检 索 有 自 身 的 特 点， 比 如 中 文 语 词 之 间 没 有 空 格， 因 此 在 索 引 前 需 要 进 行 语 词 切 分。 另 一 方 面， 与 英 语 相 比， 汉 语 句 法 分 析 和 语 义 理 解 更 为 困 难， 造 成 中 文 信 息 检 索 的 发 展 较 为 缓 慢。
信 息 检 索 模 型
---- 信 息 检 索 系 统 的 核 心 是 搜 索 引 擎， 它 需 要 从 纷 繁 复 杂 的 大 量 信 息 中， 筛 选 出 符 合 用 户 需 求 的 信 息。 例 如， 用 户 希 望 从 信 息 库 中 查 询 有 关 计 算 机 网 络 产 品 销 售 方 面 的 信 息， 如 果 查 询 出 的 结 果 为 计 算 机 软 件 产 品 方 面 的 信 息， 则 不 能 满 足 用 户 的 需 求。 根 据 搜 索 引 擎 查 找 相 关 信 息 方 式 的 不 同， 可 将 信 息 检 索 分 为： 布 尔 逻 辑 模 型、模 糊 逻 辑 模 型、 向 量 空 间 模 型 以 及 概 率 模 型 等。
---- 布 尔 型 信 息 检 索 模 型， 是 最 简 单 的 信 息 检 索 模 型， 用 户 可 以 根 据 检 索 项 在 文 档 中 的 布 尔 逻 辑 关 系 提 交 查 询， 搜 索 引 擎 根 据 事 先 建 立 的 倒 排 文 件 结 构， 确 定 查 询 结 果。 标 准 布 尔 逻 辑 模 型 为 二 元 逻 辑， 所 搜 索 的 文 档 要 么 与 查 询 相 关， 要 么 与 查 询 无 关。 查 询 结 果 一 般 不 进 行 相 关 性 排 序。 如 查 询“ 计 算 机”， 只 要 文 档 中 出 现 关 键 词 ?计 算 机”， 则 全 部 包 含 在 查 询 结 果 中。 为 了 克 服 布 尔 型 信 息 检 索 模 型 查 询 结 果 的 无 序 性， 在 查 询 结 果 处 理 中 引 进 了 模 糊 逻 辑 运 算， 将 所 检 索 的 数 据 库 文 档 信 息 与 用 户 的 查 询 要 求 进 行 模 糊 逻 辑 比 较， 按 照 相 关 的 优 先 次 序 排 列 查 询 结 果。 例 如， 查 询“ 计 算 机”， 那 么 出 现“ 计 算 机”
较 多 的 文 档 将 排 列 在 较 前 的 位 置。
---- 与 布 尔 型 信 息 检 索 模 型 不 同， 向 量 空 间 模 型 用 检 索 项 的 向 量 空 间 来 表 示 用 户 的 查 询 要 求 和 数 据 库 文 档 信 息。 根 据 向 量 空 间 的 相 似 性， 排 列 查 询 结 果。 向 量 空 间 模 型 不 仅 可 方 便 地 产 生 有 效 的 查 询 结 果， 而 且 能 提 供 相 关 文 档 的 文 摘， 并 进 行 查 询 结 果 分 类， 为 用 户 提 供 准 确 定 位 所 需 的 信 息。
---- 基 于 贝 叶 斯 概 率 论 原 理 的 概 率 模 型 不 同 于 布 尔 和 向 量 空 间 模 型， 它 利 用 相 关 反 馈 的 归 纳 学 习 方 法， 获 取 匹 配 函 数。
---- 虽 然 不 同 检 索 模 型 使 用 的 方 法 不 同， 但 所 要 达 到 的 目 标 是 相 同 的， 既 按 照 用 户 要 求， 提 供 用 户 所 需 的 信 息。 实 际 上， 大 多 数 检 索 系 统 往 往 将 上 述 各 种 模 型 混 合 在 一 起， 以 达 到 最 佳 的 检 索 效 果。
信 息 检 索 系 统 结 构
---- 搜 索 引 擎 构 成 信 息 检 索 系 统 的 核 心。 然 而，信 息 检 索 系 统 还 包 括 对 索 引 信 息 文 档 格 式 的 预 处 理、 索 引 信 息 的 分 析、 信 息 索 引 和 用 户 信 息 检 索 等 几 个 阶 段。
---- 信 息 预 处 理
---- 信 息 预 处 理 包 括 信 息 格 式 转 换 和 过 滤 两 个 不 同 层 次。 信 关 作 为 访 问 不 同 信 息 的 机 构， 能 够 访 问 不 同 组 织 形 式 的 数 据 信 息， 如 各 种 数 据 库、 不 同 文 件 系 统 以 及 网 络Web 页 面 等。 同 时， 信 息 预 处 理 也 能 够 过 滤 不 同 格 式 的 文 档。 如Microsoft Word 、WPS、Text 和 HTML 等。 这 使 得 搜 索 引 擎 不 仅 能 够 检 索 正 文 文 档， 而 且 能 够 检 索 原 始 格 式 的 文 档 信 息。
---- 信 息 索 引
---- 信 息 索 引 就 是 创 建 文 档 信 息 的 特 征 记 录， 它 使 用 户 能 很 容 易 地 检 索 到 所 需 信 息。 建 立 索 引 需 要 进 行 下 列 处 理： 信 息 语 词 切 分 和 语 词 词 法 分 析
---- 语 词 是 信 息 表 达 的 最 小 单 位， 而 汉 语 不 同 于 西 方 语 言， 其 句 子 的 语 词 间 没 有 分 隔 符（ 空 格 ）， 因 此 需 要 进 行 语 词 切 分。 汉 语 语 词 切 分 中 存 在 切 分 歧 异， 如 句 子“ 使 用 户 满 意” 可 切 分 为 ?使/ 用 户/ 满 意”， 也 可 能 被 错 误 地 切 分 为“ 使 用 / 户/ 满 意”。 因 而 需 要 利 用 各 种 上 下 文 知 识 解 决 语 词 切 分 歧 异。 此 外， 还 需 要 对 语 词 进 行 词 法 分 析， 识 别 出 各 个 语 词 的 词 干， 以 便 根 据 词 干 建 立 信 息 索 引。
进 行 词 性 标 注 及 相 关 的 自 然 语 言 处 理
---- 在 切 分 的 基 础 上， 利 用 基 于 规 则 和 统 计（ 马 尔 科 夫 链） 的 方 法 进 行 词 性 标 注。 基 于 马 尔 科 夫 链 随 机 过 程 的n 元 语 法 统 计 分 析 方 法， 被 证 明 在 词 性 标 注 中 能 达 到 较 高 的 精 度。 在 此 基 础 上， 还 要 利 用 各 种 语 法 规 则， 识 别 出 重 要 的 短 语 结 构。
建 立 检 索 项 索 引
---- 一 般 使 用 倒 排 文 件 的 方 式 建 立 检 索 项 相 关 信 息, 如 表1 所 示。 相 关 信 息 一 般 包 括“ 检 索 项”、 “ 检 索 项 所 在 文 件 位 置 信 息” 以 及“ 检 索 项 权 重”。 例 如， 检 索 项“ 计 算 机” 的 位 置 信 息 为“ 文 档D 中 第n 段 第m 句 第w 词”。 这 样， 在 信 息 检 索 时，用 户 可 以 要 求 在 查 询 中， 检 索 项T1 和 检 索 项T2 位 于 同 一 语 句 或 同 一 段 落 中。 检 索 项 索 引 的 建 立 准 则 是 要 易 于 文 档 信 息 的 更 新 处 理。
表1 典 型 倒 排 检 索 项 列 表
TERM1 DOCi, WTi1; DOCj, WTj1; _ ;DOCm, WTm1
TERM2 DOCi, WTi2; DOCk, WTk2; _ ;DOCn, WTn2
.
.
.
TERMs DOCj, WTjs; DOCm, WTms; _ ;DOCp, WTps
---- 查 询 扩 展 处 理
---- 信 息 检 索 评 价 的 标 准 是 信 息 检 索 的 精 度 和 召 回 率。 信 息 检 索 的 精 度 为 检 索 结 果 中 相 关 信 息 文 档 数 与 查 询 结 果 总 数 之 比。 信 息 检 索 的 召 回 率 为 实 际 检 索 出 的 相 关 信 息 文 档 数 与 信 息 库 中 总 的 相 关 信 息 文 档 数 之 比。
---- 为 了 提 高 信 息 检 索 的 召 回 率， 需 要 进 行 查 询 扩 展 处 理。 这 种 处 理 根 据 同 义 词 词 典 和 语 义 蕴 涵 词 典 扩 展 查 询 检 索 项。 同 义 词 扩 展， 如“ 计 算 机” 和“ 电 脑” 指 同 一 概 念； 因 而 查 询“ 计 算 机” 同 时 也 要 查 询“ 电 脑”， 反 之 亦 然。 主 题 蕴 涵 扩 展 是 指 不 但 要 查 询 检 索 词， 而 且 还 要 查 询 其 中 所 包 含 的 子 概 念。 比 如， 主 题 词“ 艺 术” 包 括“ 电 影”、“ 舞 蹈”、“ 绘 画” 等 等。“ 电 影” 又 包 括“ 故 事 片”、“ 记 录 片” 等。 因 此， 查 询“ 艺 术” 当 然 包
括“ 电 影”、“ 舞 蹈”、“ 绘 画” 以 及 其 下 的 子 概 念。
---- 提 高 信 息 检 索 的 精 度， 可 利 用 向 量 空 间 模 型 实 行 相 关 查 询 反 馈 处 理。 即 用 户 从 初 次 查 询 的 结 果 中， 选 择 内 容 重 要 的 文 档 或 文 档 片 断， 让 搜 索 引 擎 依 据 所 选 文 档 的 特 征， 重 新 进 行 查 询， 从 而 提 高 查 询 精 度。
---- 信 息 分 类 和 摘 要
---- 为 了 方 便 用 户 从 查 询 结 果 中 选 择 所 需 信 息， 搜 索 引 擎 可 将 提 供 给 用 户 的 文 档 信 息 按 照 文 档 内 容 进 行 分 类， 并 为 每 一 篇 文 档 产 生 简 短 摘 要。
---- 搜 索 引 擎 根 据 文 本 检 索 项 的 统 计 特 征， 对 查 询 结 果 进 行 分 类 和 摘 要。 例 如， 用 户 查 询 检 索 项 “ 计 算 机”， 相 应 的 结 果 分 类 也 许 为“ 分 类1”：“网 络”、“ 系 统”、“ 路 由 器” 等；“ 分 类2”：“ 市 场”、“ 产 品”、“ 销 售” 等； 以 及 其 它 分 类。 分 类 的 目 的 是 便 于 用 户 找 到 相 关 信 息。
---- 智 能 代 理
---- 搜 索 引 擎 除 了 被 动 搜 索 外， 也 可 利 用 智 能 代 理 技 术 进 行 主 动 信 息 检 索。 信 息 检 索 系 统 智 能 用 户 代 理， 可 根 据 用 户 事 先 定 义 的 信 息 检 索 要 求， 在 网 络 上 实 时 监 视 信 息 源， 如 指 定Web 页 面 的 更 新、 网 络 新 闻、 电 子 邮 件、 数 据 库 信 息 变 化 等。 并 将 用 户 所 需 的 信 息， 通 过 电 子 邮 件 或 其 它 方 式， 主 动 提 供 给 用 户。 用 户 无 须 反 复 搜 索 所 需 信 息， 这 样 将 大 大 减 少 用 户 检 索 信 息 的 时 间。
---- 目 前， 商 用 信 息 检 索 系 统 主 要 以 布 尔 模 糊 逻 辑 加 向 量 空 间 模 型 为 主， 辅 以 部 分 自 然 语 言 处 理。 自 然 语 言 处 理， 特 别 是 自 然 语 言 理 解 在 信 息 检 索 中 应 用， 将 大 大 提 高 信 息 检 索 的 精 度 和 相 关 性。
[/size]
[返回] 计算机科学论坛 →
计算机技术与应用 → 『 Web挖掘技术 』 → [转帖]搜索引擎在幕后怎样工作
(订阅本版)
2006/11/4 14:36:00
新浪微博
[转帖]搜索引擎在幕后怎样工作
