ocrGetElementPositionByText

获取屏幕上文本的位置。该命令将搜索提供的文本，并尝试根据来自Fuse.js的模糊逻辑查找匹配项。这意味着，如果您可能提供了一个包含错别字的选择器，或者找到的文本可能不是 100% 匹配，它仍然会尝试为您返回一个元素。请参阅下面的日志。

用法

const result = await browser.ocrGetElementPositionByText("Username");

console.log("result = ", JSON.stringify(result, null, 2));

输出

结果

result = {
  "dprPosition": {
    "left": 373,
    "top": 606,
    "right": 439,
    "bottom": 620
  },
  "filePath": ".tmp/ocr/desktop-1716658199410.png",
  "matchedString": "Started",
  "originalPosition": {
    "left": 373,
    "top": 606,
    "right": 439,
    "bottom": 620
  },
  "score": 85.71,
  "searchValue": "Start3d"
}

日志

# Still finding a match even though we searched for "Start3d" and the found text was "Started"
[0-0] 2024-05-25T17:29:59.179Z INFO webdriver: COMMAND ocrGetElementPositionByText(<object>)
......................
[0-0] 2024-05-25T17:29:59.993Z INFO @wdio/ocr-service:ocrGetElementPositionByText: Multiple matches were found based on the word "Start3d". The match "Started" with score "85.71%" will be used.

选项

text

• 类型： string
• 必填： 是

您要搜索以点击的文本。

示例

await browser.ocrGetElementPositionByText({ text: "WebdriverIO" });

contrast

• 类型： number
• 必填： 否
• 默认值： 0.25

对比度越高，图像越暗，反之亦然。这有助于在图像中查找文本。它接受介于-1 和 1 之间的值。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    contrast: 0.5,
});

haystack

• 类型： number
• 必填： WebdriverIO.Element | ChainablePromiseElement | Rectangle

这是屏幕上 OCR 需要查找文本的搜索区域。这可以是一个元素或一个包含 x、y、width 和 height 的矩形。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    haystack: $("elementSelector"),
});

// OR
await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    haystack: await $("elementSelector"),
});

// OR
await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    haystack: {
        x: 10,
        y: 50,
        width: 300,
        height: 75,
    },
});

language

• 类型： string
• 必填： 否
• 默认值： eng

Tesseract 将识别的语言。更多信息可以在这里找到这里，并且支持的语言可以在这里找到这里。

示例

import { SUPPORTED_OCR_LANGUAGES } from "@wdio/ocr-service";
await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    // Use Dutch as a language
    language: SUPPORTED_OCR_LANGUAGES.DUTCH,
});

fuzzyFindOptions

您可以使用以下选项更改模糊逻辑以查找文本。这可能有助于找到更好的匹配项

fuzzyFindOptions.distance

• 类型： number
• 必填： 否
• 默认值 100

确定匹配项必须与模糊位置（由位置指定）有多接近。与模糊位置相距 distance 个字符的精确字母匹配将被计为完全不匹配。距离为 0 要求匹配项位于指定的确切位置。距离为 1000 要求完美匹配在距位置 800 个字符以内才能使用阈值为 0.8 找到。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        distance: 20,
    },
});

fuzzyFindOptions.location

• 类型： number
• 必填： 否
• 默认值 0

确定在文本中的哪个位置大约期望找到模式。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        location: 20,
    },
});

fuzzyFindOptions.threshold

• 类型： number
• 必填： 否
• 默认值 0.6

匹配算法在什么点放弃。阈值为 0 要求完美匹配（字母和位置），阈值为 1.0 将匹配任何内容。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        threshold: 0.8,
    },
});

fuzzyFindOptions.isCaseSensitive

• 类型： boolean
• 必填： 否
• 默认值： false

搜索是否区分大小写。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        isCaseSensitive: true,
    },
});

fuzzyFindOptions.minMatchCharLength

• 类型： number
• 必填： 否
• 默认值 2

只有长度超过此值的匹配项才会返回。（例如，如果要忽略结果中的单个字符匹配项，请将其设置为 2）

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        minMatchCharLength: 5,
    },
});

fuzzyFindOptions.findAllMatches

• 类型： number
• 必填： 否
• 默认值： false

当 true 时，即使在字符串中已经找到完美匹配，匹配函数也将继续到搜索模式的末尾。

示例

await browser.ocrGetElementPositionByText({
    text: "WebdriverIO",
    fuzzyFindOptions: {
        findAllMatches: 100,
    },
});