Home
學生控制台
註冊會員/登入
研究知情同意書
UeduGPTs
Aida 優學伴
Uedu Open
支援與訊息

UeduGPTs

--

Jupyters

2

AI 回覆桌面通知

AI 助教回覆完成時顯示桌面通知

聊天訊息通知

同學在討論區發送訊息時通知

聲音通知

每當有新通知時播放提示音

METHODOLOGY

Forum Scoring
討論區評分方法論

說明 Uedu 平台討論區如何透過加權積分制、Emoji 加分與懲罰機制、BERT 品質評估、AI 原創性偵測及線性成績映射,自動計算學生的討論參與成績。

1. 概述

Uedu 的討論區評分系統(Forum Scoring)透過加權積分制自動計算學生在課程討論區的參與成績。系統綜合考量發文類型(主題文、留言、回覆)、教師與 AI 的 Emoji 回饋,以及 BERT 語意品質評估,最終以線性映射產生成績分數。

教師可針對每門課程自訂計分參數(積分權重、門檻、滿分值),也可透過 Emoji 機制即時表達對個別貼文的肯定或懲罰。整個評分流程由排程任務(Cron Job)每小時自動重新計算,確保成績即時更新。

2. 計分模型

2.1 基礎積分

每位學生的基礎積分(total_points)由三種發文行為累計而成,每種行為對應可設定的積分值:

行為參數名稱預設值說明
發起主題pts_thread3在討論區建立新的討論主題
留言pts_comment2在他人主題下發表留言
回覆pts_reply1回覆他人的留言

基礎積分公式:

total_points = (threads × pts_thread) + (comments × pts_comment) + (replies × pts_reply) + emoji_bonus

2.2 計分對象

以下身分的使用者不計入評分:

  • 教師(teacher)
  • 助教(TA)
  • 管理員(admin)
  • AI 使用者

這些特權使用者的 Emoji 行為會影響學生積分(見第 3 節),但自身的發文不參與評分。

2.3 可設定的討論版

教師可選擇將哪些討論版(boards)納入評分範圍,未被選擇的版面之發文不計入積分。此設定以課程為單位。

3. Emoji 加分與懲罰

3.1 加分 Emoji

特權使用者(教師、助教、AI)可透過在學生貼文上按 Emoji 來給予額外積分:

Emoji名稱可使用者效果
👍thumbsup教師、助教、AI加分(每次 +1 bonus)
🎊confetti教師、助教加分(每次 +1 bonus)
🚀rocket教師、助教加分(每次 +1 bonus)

每位學生的 Emoji 加分總和受 bonus_max 上限限制(預設為 10),超過上限的加分不再累計。

3.2 懲罰 Emoji

Emoji名稱可使用者效果
😴zzz教師、助教、AI該篇貼文的積分歸零(0 分)

當一篇貼文被標記 zzz emoji 時,該貼文的基礎積分與所有加分 Emoji 均不計入,整篇以 0 分計算。

3.3 加分上限

為避免 Emoji 加分過度膨脹,系統設有 bonus_max 參數(可由教師設定)。一位學生在整個課程中所獲得的 Emoji bonus 總和不會超過此上限。

4. 教師覆核機制

當 AI 自動對學生貼文按下 Emoji(如 👍 或 😴)時,教師可能不同意 AI 的判斷。系統提供 Eyes(👀) Emoji 作為教師覆核機制:

  • 當教師或助教在某篇貼文按下 👀(eyes)Emoji 時,該篇貼文上所有 AI 的 Emoji 將被忽略
  • 教師自己的 Emoji 不受影響
  • 此機制讓教師可以快速覆寫 AI 的自動判斷,而不需要逐一移除 AI 的 Emoji
使用情境

例如:AI 對某篇淺層回覆按了 😴(歸零),但教師認為該回覆有價值。教師只需按一個 👀,AI 的 😴 即被忽略,該貼文恢復正常計分。

4.1 學生申請覆核

學生可以主動向教師申請覆核,有兩種使用情境:

情境一:AI 判定品質不足(💤 zzz)

當學生的貼文被 AI 判定為品質不足而歸零時,學生可以點擊「申請教師覆核」按鈕。教師審核後可選擇:

  • 覆核通過 — 系統自動為該貼文加上教師 👀 反應,AI 的 😴 判定被覆寫,恢復正常計分
  • 維持 AI 判定 — 貼文維持 0 分,學生端顯示「教師已維持 AI 判定」

情境二:申請教師關注

即使貼文未被 AI 標記 😴,學生仍可點擊「申請教師關注此貼文」,請教師特別注意此貼文的內容品質,教師審閱後可給予額外的 Emoji 加分(如 👍、🎉、🚀)。

4.2 教師收到通知的方式

學生提出覆核申請後,教師與助教會透過三種方式收到通知:

  1. 討論區內提示 — 教師進入討論區時,頂部顯示橘色橫幅「N 則貼文等待覆核」,可直接點擊查看並處理
  2. 郵件通知 — 自動發信給教師與助教(可在討論區通知偏好中關閉)
  3. 教師控制台 badge — 側邊欄「課程討論區」旁顯示紅色數字 badge,標示待覆核數量
注意

覆核功能僅在課程啟用討論區計分時才會出現。未啟用計分的課程不會顯示覆核申請按鈕。

5. AI 品質評估

系統整合 BERT 語意品質評估,透過外部 API(https://aptel-api.uedu.tw/webhook)對學生貼文進行自動品質分析。

5.1 評估流程

  1. 學生在討論區發文後,系統將貼文內容送至 BERT 品質評估 API
  2. API 回傳品質評分與分類結果
  3. AI 根據評估結果自動對貼文按下對應的 Emoji(👍 表示高品質、😴 表示低品質)
  4. 教師可透過 👀 覆核機制覆寫 AI 的判斷

5.2 品質維度

BERT 模型評估貼文的語意品質,主要考量內容的深度、相關性與原創性。評估結果作為 AI 自動給予 Emoji 的依據,但最終的積分仍以 Emoji 機制為準。

6. AI 原創性偵測

為了鼓勵學生以自己的話參與討論,系統在 BERT 品質評估之外,增加了打字速度分析LLM 原創性偵測兩道機制,綜合判定貼文是否為 AI 生成後貼上。偵測結果僅教師與助教可見,學生完全看不到。

6.1 Stage 0:打字速度分析

前端記錄學生從打開編輯器到送出貼文的時間,計算每分鐘字數(chars/min):

條件判定
字數 > 100 且每分鐘 > 150 字疑似貼上(paste_suspected
其他正常輸入
為什麼選 150 字/分?

一般中文打字速度約 30–60 字/分(含思考),150 字/分已遠超正常手打範圍,幾乎確定是從外部複製貼上。

6.2 Stage 2:LLM 原創性偵測

對字數 ≥ 80 的貼文,系統呼叫 LLM(GPT-5.4 mini)分析五個語言特徵維度:

維度說明
詞彙多樣性AI 文本通常詞彙豐富但缺乏口語化表達或錯別字
結構規律性AI 傾向使用完整段落結構、首先/其次/最後等過渡詞
語氣一致性AI 文本語氣始終如一,不像人類會隨內容情緒波動
填充詞密度人類常用「嗯」「然後」「就是」等口語填充,AI 較少使用
具體性AI 傾向概括性描述,人類較常提及個人經歷或課堂細節

LLM 綜合五個維度產出 ai_likelihood(0.0–1.0),代表內容為 AI 生成的可能性。

6.3 綜合判定規則

系統根據打字速度與 LLM 偵測結果,採用雙門檻制決定最終 Emoji:

字數打字速度LLM 結果Emoji計分效果
< 80正常不執行照 BERT正常計分
80–100正常ai ≥ 0.7😴 zzz不計分
80–100正常ai < 0.7照 BERT正常計分
> 100疑似貼上ai ≥ 0.5😴 zzz不計分
> 100疑似貼上ai < 0.5不給原點數(不獎不罰)
> 100正常速度ai ≥ 0.7😴 zzz不計分
> 100正常速度ai < 0.7照 BERT正常計分
雙門檻設計原理

疑似貼上的門檻為 ai ≥ 0.5(較嚴格),因為已有打字速度異常作為佐證,LLM 稍微懷疑就判定。正常速度的門檻為 ai ≥ 0.7(較寬鬆),因為只有 LLM 一個訊號,需要更高信心才判定。

6.4 容錯處理

  • BERT 失敗:品質預設為中性(quality=1),繼續執行 LLM 偵測
  • LLM 失敗 + 疑似貼上:不給 Emoji(不獎不罰),避免誤發 👍
  • LLM 失敗 + 正常速度:照 BERT 結果
  • BERT + LLM 都失敗:不給 Emoji,學生拿原點數,不會因系統故障被誤判

6.5 教師端顯示

教師與助教在討論串詳情頁可看到偵測標記(顯示於作者名稱旁):

  • 疑似貼上 — 打字速度異常,tooltip 顯示每分鐘字數
  • AI 85% — ai_likelihood ≥ 0.7
  • AI 55% — ai_likelihood 0.4–0.7
  • AI 20% — ai_likelihood < 0.4

學生端完全看不到任何偵測標記。教師可透過 👀 覆核機制覆寫偵測結果。

7. 成績計算

6.1 線性映射公式

學生的最終成績由總積分(total_points)透過線性映射轉換為成績分數。教師可設定兩個關鍵參數:

參數說明預設值
threshold達到滿分所需的最低積分20
full_score_value滿分分數100

計算公式:

score = (total_points ≥ threshold) ? full_score_value : (total_points / threshold) × full_score_value

  • total_points ≥ threshold 時,成績 = full_score_value(滿分)
  • total_points < threshold 時,成績 = total_points / threshold × full_score_value(線性遞增)

6.2 計算範例

假設 threshold = 20,full_score_value = 100:

學生主題留言回覆Emoji bonustotal_points成績
A354528100(滿分)
B13221365
C0110315

8. 批次更新

討論區成績由排程任務(cron_forum_scoring.py每小時自動重新計算:

  1. 掃描所有已啟用討論區評分的課程
  2. 統計每位學生在指定討論版中的發文數量(主題、留言、回覆)
  3. 計算 Emoji 加分與懲罰(考慮 👀 覆核)
  4. 套用線性映射公式,更新成績

此批次機制確保即使教師在非即時的情境下修改 Emoji 或調整參數,成績也會在下一個小時自動反映。

9. 研究引用建議

方法論描述範本

學生的討論區參與成績由 Uedu 平台的 Forum Scoring 模組自動計算。系統採用加權積分制,依據發文類型(主題文、留言、回覆)賦予不同積分權重。教師、助教與 AI 可透過 Emoji 機制(👍 加分、🎊 / 🚀 加分、😴 懲罰歸零)對個別貼文給予回饋,加分總和受上限(bonus_max)限制。AI 的 Emoji 回饋基於 BERT 語意品質評估(aptel-api.uedu.tw)。此外,系統整合 AI 原創性偵測機制,透過前端打字速度分析與 LLM 語言特徵評估(五維度:詞彙多樣性、結構規律性、語氣一致性、填充詞密度、具體性)判定貼文是否為 AI 生成內容,並採用雙門檻制(疑似貼上 ai ≥ 0.5、正常速度 ai ≥ 0.7)自動決定計分結果。教師可透過 👀 Emoji 覆核所有 AI 判斷。最終成績以線性映射計算:當總積分達到門檻(threshold)即為滿分,未達門檻則按比例換算。成績由排程任務每小時自動重新計算。各項計分參數(積分權重、門檻、滿分值、加分上限)均可按課程自訂。詳細方法論說明見 https://uedu.tw/doc/forum-scoring。

建議同時提供:

  • 該課程的計分參數設定(pts_thread、pts_comment、pts_reply、threshold、bonus_max)
  • 納入評分的討論版清單
  • 資料收集期間與學生人數
  • AI 品質評估的啟用狀態與覆核比例