Home
Explore Uedu
Student Console
Register as Member/Login
(2) In future presentations of the research findings, in addition to the course project website and public presentations, your real name and personal information will not appear in this research report. If you are interested in the research results, we can provide you with an executive summary after the study is completed.
問卷中心
Teacher Console
Course Setup
Support & Messages
Uptime Data

UeduGPTs

--

Jupyters

0

Local AI

--

AI Reply Desktop Notifications

Show a desktop notification when the AI TA finishes replying

Chat Message Notifications

Notify me when classmates post messages in the forum

Sound notification

Play an alert sound whenever there is a new notification

METHODOLOGY

Socratic Quiz
蘇格拉底對話前後測

說明蘇格拉底對話前後測 Quiz 的設計原理,包含 AI 自動出題機制、前後測配對邏輯、學習增益(Learning Gain)計算方法,以及研究應用建議。

1. 概述

蘇格拉底對話前後測系統在每次蘇格拉底對話(mode=3)的前後,讓學生完成一份簡短的 Quiz(預設 5 題單選),用於量化蘇格拉底對話的教學成效。

系統支援兩種出題方式:

  • AI 自動出題:根據教師設定的對話主題(標題、題目、規則、引導問題),由 LLM 自動產生選擇題
  • 教師手動出題:教師可自行新增、編輯或刪除題目
設計原則

每次新對話都有獨立的前後測配對,透過 chat_id 關聯。學生可對同一主題進行多次對話,每次都會產生新的前後測資料。

2. 學生端流程

學生的操作流程如下:

  1. 選擇蘇格拉底對話主題,點擊「開始對話」
  2. 系統彈出前測 Quiz Modal(可取消,取消則不開始對話)
  3. 完成前測後,顯示答對題數(不顯示正確答案,避免記憶效應)
  4. 進入蘇格拉底對話
  5. 對話過程中,頁面頂部顯示「完成後測」提示列
  6. 點擊「完成後測」,彈出後測 Quiz Modal(可跳過)
  7. 後測完成後,顯示學習增益報告:前後測分數對比、逐題結果與解析
前測不顯示答案

前測完成後只顯示答對題數,不揭露正確答案與解析。這是為了避免學生記住答案,影響後測的測量效度。後測完成後才會顯示完整的逐題對比與解析。

3. 教師端設定

教師在課程管理頁面的蘇格拉底對話主題卡片中,可以管理前後測:

  • 啟用/停用開關:首次啟用時,系統自動呼叫 AI 產生題目
  • 預覽/編輯題目:查看所有題目,可逐題編輯或刪除
  • 手動新增題目:教師自行設計題目
  • 重新產生:清除 AI 產生的題目並重新生成(保留手動題目)

此測驗不計入學生成績,僅供教學研究使用。學生在作答前會看到此說明。

4. AI 出題機制

系統使用 GPT-4o-mini 模型(可設定),根據對話主題的四個欄位自動產生選擇題:

欄位用途
title主題標題,作為出題的核心概念
prompt背景資訊,提供知識脈絡
rule對話規則,幫助 AI 理解教學目標
guide引導問題,提示核心知識點

出題要求

  • 難度分布:簡單 40%、中等 40%、較難 20%
  • 每題 4 個選項(A/B/C/D),干擾選項需具合理性
  • 每題附 1-2 句解析
  • 聚焦概念理解,避免死記硬背型題目
  • 使用繁體中文

題目格式

欄位型別說明
question_textString題目文字
optionsJSON{"A": "...", "B": "...", "C": "...", "D": "..."}
correct_answerString正確答案(A/B/C/D)
explanationString答案解析
sourceEnumaimanual

5. 計分與學習增益

前測與後測使用相同的題目,計分方式為答對題數。後測完成後,系統計算以下指標:

指標公式說明
學習增益(Learning Gain)後測分數 - 前測分數原始分數差異
正規化增益(Normalized Gain)(後測 - 前測) / (滿分 - 前測)考慮天花板效應的標準化指標,範圍 0-1
正規化增益的意義

由 Hake (1998) 提出,廣泛用於物理教育研究。<g> < 0.3 為低增益,0.3 ≤ <g> < 0.7 為中增益,<g> ≥ 0.7 為高增益。當前測已滿分時,增益定義為 1.0(若後測也滿分)或 0.0。

6. 資料結構

題目表(socratic_quiz_questions)

欄位型別說明
topic_idINT關聯的蘇格拉底對話主題 ID
question_orderTINYINT題目順序
question_textTEXT題目文字
optionsJSON四個選項
correct_answerVARCHAR(1)正確答案
explanationTEXT答案解析
sourceENUMai / manual

作答紀錄表(socratic_quiz_responses)

欄位型別說明
topic_idINT對話主題 ID
chat_idINT關聯的對話 session ID
user_idINT學生 ID
phaseENUMpre / post
answersJSON各題答案,如 {"1":"A","2":"C"}
scoreTINYINT答對題數
time_spentINT作答秒數

7. 研究應用

前後測資料可透過 Uedu Lab 匯出,用於以下研究分析:

  • 學習增益分析:比較不同主題、不同學生群體的 Normalized Gain
  • 題目層級分析:計算每題的前後測正確率差異與鑑別度
  • 對話行為與學習成效:交叉分析對話輪次、訊息長度與學習增益的關聯
  • Bloom's 認知層次:結合 Bloom's 分析,觀察認知層次變化與前後測分數的關係
研究倫理提醒

前後測資料屬於學習歷程資料,使用前請確認已通過 IRB 審查,並取得學生的知情同意。系統在前後測頁面已標示「此測驗不計入成績,僅供教學研究使用」。