Evaluation

weave • 문서

---

weave / Evaluation

​

Class: Evaluation<R, E, M>

스코어러 세트와 데이터셋을 포함하는 평가를 설정합니다.

evaluation.evaluate(model)을 호출하면 데이터셋의 행을 모델에 전달하여 데이터셋의 열 이름을 model.predict의 인수 이름과 일치시킵니다.

그런 다음 모든 스코어러를 호출하고 결과를 weave에 저장합니다.

​

예시

// Collect your examples into a dataset
const dataset = new weave.Dataset({
  id: 'my-dataset',
  rows: [
    { question: 'What is the capital of France?', expected: 'Paris' },
    { question: 'Who wrote "To Kill a Mockingbird"?', expected: 'Harper Lee' },
    { question: 'What is the square root of 64?', expected: '8' },
  ],
});

// Define any custom scoring function
const scoringFunction = weave.op(function isEqual({ modelOutput, datasetRow }) {
  return modelOutput == datasetRow.expected;
});

// Define the function to evaluate
const model = weave.op(async function alwaysParisModel({ question }) {
  return 'Paris';
});

// Start evaluating
const evaluation = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: dataset,
  scorers: [scoringFunction],
});

const results = await evaluation.evaluate({ model });

​

확장

• WeaveObject

​

타입 매개변수

• R extends DatasetRow

• E extends DatasetRow

• M

​

생성자

​

new Evaluation()

new Evaluation<R, E, M>(parameters): Evaluation<R, E, M>

​

매개변수

• parameters: EvaluationParameters<R, E, M>

​

반환

Evaluation<R, E, M>

​

오버라이드

WeaveObject.constructor

​

정의 위치

evaluation.ts:148

​

속성

​

__savedRef?

optional __savedRef: ObjectRef | Promise<ObjectRef>

​

상속 출처

WeaveObject.__savedRef

​

정의 위치

weaveObject.ts:49

---

​

_baseParameters

protected _baseParameters: WeaveObjectParameters

​

상속 출처

WeaveObject._baseParameters

​

정의 위치

weaveObject.ts:51

​

접근자

​

description

get description(): undefined | string

​

반환

undefined | string

​

상속 출처

WeaveObject.description

​

정의 위치

weaveObject.ts:89

---

​

id

get id(): string

​

반환

string

​

상속 출처

WeaveObject.id

​

정의 위치

weaveObject.ts:85

​

메서드

​

className()

className(): any

​

반환

any

​

상속 출처

WeaveObject.className

​

정의 위치

weaveObject.ts:53

---

​

evaluate()

evaluate(__namedParameters): Promise<Record<string, any>>

​

매개변수

• __namedParameters

• __namedParameters.maxConcurrency?: number = 5

• __namedParameters.model: WeaveCallable<(…args) => Promise<M>>

• __namedParameters.nTrials?: number = 1

​

반환

Promise<Record<string, any>>

​

정의된 곳

evaluation.ts:163

---

​

predictAndScore()

predictAndScore(__namedParameters): Promise<object>

​

매개변수

• __namedParameters

• __namedParameters.columnMapping?: ColumnMapping<R, E>

• __namedParameters.example: R

• __namedParameters.model: WeaveCallable<(…args) => Promise<M>>

​

반환

Promise<object>

model_latency

model_latency: number = modelLatency

model_output

model_output: any = modelOutput

model_success

model_success: boolean = !modelError

scores

scores: object

인덱스 서명

[key: string]: any

​

정의된 곳

evaluation.ts:232

---

​

saveAttrs()

saveAttrs(): object

​

반환

object

​

상속 출처

WeaveObject.saveAttrs

​

정의된 곳

weaveObject.ts:57