Home
Explore Uedu
Student Console
Register as Member/Login
(2) In future presentations of the research findings, in addition to the course project website and public presentations, your real name and personal information will not appear in this research report. If you are interested in the research results, we can provide you with an executive summary after the study is completed.
問卷中心
Teacher Console
Course Setup
Support & Messages
Uptime Data

UeduGPTs

--

Jupyters

0

Local AI

--

AI Reply Desktop Notifications

Show a desktop notification when the AI TA finishes replying

Chat Message Notifications

Notify me when classmates post messages in the forum

Sound notification

Play an alert sound whenever there is a new notification

METHODOLOGY

UCG 認知組學測驗工具箱
方法論

14 個科學驗證的認知測驗如何測量學習者的認知能力特徵。涵蓋執行功能、處理速度、工作記憶、空間認知、語文能力與後設認知六大構念。

1. 理論基礎

1.1 Educational Omics 與 Cognomics

UCG(Uedu Cognomics)認知組學測驗工具箱是 Uedu 平台 Educational Omics 框架中 Cognomics(認知組學)維度的核心實作。Cognomics 關注學習者的認知歷程,透過標準化的認知測驗直接測量個體在注意力、工作記憶、執行功能等基礎認知能力上的表現,作為理解學習行為與學習成效的基底變項。

1.2 執行功能三因素模型

UCG 的測驗選擇以 Miyake et al. (2000) 提出的執行功能三因素模型為理論骨幹。該模型透過潛在變項分析,將執行功能區分為三個可分離但相關的成分:

  • Inhibition(抑制):壓抑優勢但不適當的反應,由 Stroop Task 與 Flanker Task 測量
  • Updating(更新):監控與更新工作記憶中的資訊,由 N-back Task 測量
  • Shifting(轉換):在不同任務集或心智設定之間靈活切換,由 Task Switching 測量

在此基礎上,UCG 擴展至處理速度、空間認知、語文能力與後設認知等構念,形成 6 大構念、14 個測驗的完整工具箱。

1.3 Web-based 認知測驗的適用性

傳統認知測驗多在實驗室環境中以專用軟體(如 E-Prime、PsychoPy)執行。UCG 採用 web-based 實施方式,主要依據 Reimers & Stewart (2015) 的研究結論:

  • 現代瀏覽器的 performance.now() 計時精度已達亞毫秒等級,足以支撐反應時間測量
  • 雖然 web-based 的絕對 RT 可能比實驗室略高(約 20-40ms),但個別差異的排序一致性足夠用於研究
  • Web-based 方式可大幅提升樣本量與生態效度,適合教育情境中的大規模施測
設計考量

UCG 測驗在精確度與可及性之間取得平衡:採用 requestAnimationFrame 雙幀同步確保刺激呈現的精確性,同時維持跨裝置(桌機、平板、手機觸控)的可用性。

2. 測驗工具箱架構

UCG 工具箱包含 6 大構念(constructs)14 個測驗工具(instruments),涵蓋從基礎認知處理到高階後設認知的完整認知能力光譜。

構念測驗名稱核心範式測量目標
執行功能
Executive Function
Stroop Task色字不一致干擾抑制控制(Inhibition)
Flanker Task側翼干擾抑制控制(Inhibition)
Task Switching任務集切換認知彈性(Shifting)
處理速度與注意力
Processing Speed & Attention
Simple RT簡單反應時間基礎處理速度
Choice RT選擇反應時間決策速度
PVT精神運動警覺作業持續性注意力
工作記憶
Working Memory
N-backN-back 作業工作記憶更新(Updating)
Corsi Block空間序列記憶視覺空間工作記憶容量
空間認知
Spatial Cognition
Mental Rotation心理旋轉空間推理能力
Symmetry Span對稱跨度作業空間工作記憶容量
UFOV有效視野視覺注意力範圍
語文能力
Verbal Ability
Grammatical Reasoning文法推理語言邏輯推理
Vocabulary詞彙量測驗結晶智力(詞彙知識)
後設認知
Metacognition
Confidence Calibration信心校準自我監控準確性
構念與測驗的對應關係

執行功能的三個子成分(Inhibition、Updating、Shifting)分別由不同測驗測量。Stroop 與 Flanker 同屬 Inhibition,但使用不同的干擾範式(語意 vs. 空間),可評估抑制控制的跨任務一致性。

3. 資料蒐集程序

3.1 知情同意

所有認知測驗資料的蒐集均依據 IRB 202507EM058 核准之研究倫理計畫,學生在首次進入測驗工具箱時需完成電子簽署知情同意書。同意書明確說明資料用途、保存期限與退出權利。

3.2 Trial-level 原始資料保留

UCG 完整保留每一個 trial 的原始資料,包含:

  • 刺激參數:condition(congruent/incongruent)、target、flankers、n-back level 等
  • 反應資料:reaction time (ms)、response key/position、accuracy
  • 時序資料:stimulus onset timestamp、response timestamp、inter-trial interval

Trial-level 原始資料可供研究者進行客製化分析(如 ex-Gaussian RT 分布擬合、序列效應分析等),不受平台預設計分方法的限制。

3.3 Server-side 預生成試序

每個測驗的 trial 序列由伺服器端預先生成並儲存,確保:

  • Reproducibility:相同的 session 重新執行會呈現相同的 trial 序列
  • 平衡設計:congruent/incongruent 比例、target 位置等依照實驗設計規則平衡
  • 防止操弄:client 端無法預知或修改即將出現的 trial

3.4 Client-side 精確計時

為確保反應時間測量的精確度,UCG 採用以下技術策略:

  • 高精度計時:使用 performance.now() 取代 Date.now(),精度達亞毫秒等級
  • 雙 requestAnimationFrame 同步:刺激呈現使用 requestAnimationFrame 巢狀呼叫(double-rAF),確保 DOM 更新與螢幕渲染同步,計時起點對齊實際像素繪製
  • 渲染確認:RT 計時從第二個 rAF 的 callback 開始,而非 DOM 修改的時間點

3.5 反應擷取

為支援跨裝置施測,UCG 同時監聽多種輸入事件:

  • 觸控/滑鼠:使用 pointerdown 事件(統一觸控與滑鼠輸入),避免觸控裝置 300ms 延遲
  • 鍵盤:使用 keydown 事件,支援桌機使用者以鍵盤快速反應
  • 防重複觸發:每個 trial 僅接受第一次有效反應,後續輸入忽略

4. 計分方法

各測驗依其實驗範式採用不同的核心指標。以下說明各 paradigm 的計分邏輯。

4.1 Stroop Task & Flanker Task(干擾效果)

指標計算方式意義
Interference Effect (RT)mean_RT(incongruent) - mean_RT(congruent)干擾效果大小,愈小表示抑制能力愈佳
Accuracy各 condition 正確率反映正確性,可計算 speed-accuracy tradeoff
Congruency Effect (Accuracy)acc(congruent) - acc(incongruent)準確率的干擾效果

4.2 N-back Task(訊號偵測)

指標計算方式意義
d-prime (d')Z(hit rate) - Z(false alarm rate)訊號偵測敏感度,愈高表示辨別力愈強
Hit Rate正確偵測 target 的比例對 target 的敏感度
False Alarm Rate誤判 non-target 為 target 的比例反應偏向(response bias)
d-prime 邊界修正

當 hit rate = 1.0 或 false alarm rate = 0.0 時,Z 分數為無限大。UCG 採用 1/(2N) 修正法:hit rate 修正為 1 - 1/(2N),false alarm rate 修正為 1/(2N),其中 N 為該 condition 的 trial 數。

4.3 Simple RT & Choice RT(處理速度)

指標計算方式意義
Simple RT單純反應的中位數 RT基礎神經傳導與運動反應速度
Choice RT選擇反應的中位數 RT決策處理速度
Choice - Simple Costmedian_RT(choice) - median_RT(simple)決策額外成本,反映中央處理速度

4.4 Task Switching(轉換成本)

指標計算方式意義
Switch Cost (RT)mean_RT(switch trials) - mean_RT(repeat trials)任務轉換的時間成本
Switch Cost (Accuracy)acc(repeat) - acc(switch)轉換造成的準確率下降

4.5 Corsi Block & Symmetry Span(記憶跨度)

指標計算方式意義
Max Span成功回憶的最大序列長度工作記憶容量上限
Span Productmax_span × proportion_correct_at_max_span綜合考量容量與穩定性

4.6 Mental Rotation(空間推理)

指標計算方式意義
RT by Angular Disparity各旋轉角度的平均正確 RT心理旋轉的線性函數斜率
Rotation RateRT 對角度的回歸斜率 (ms/degree)心理旋轉速度,愈小表示空間推理愈快
Accuracy各角度的正確率判斷正確性

4.7 PVT(精神運動警覺)

指標計算方式意義
Median RT所有有效 trial 的中位數 RT整體警覺反應速度
LapsesRT > 500ms 的 trial 數注意力失誤次數,反映持續性注意力的穩定性
1/RT (Reciprocal RT)各 trial 的 1000/RT 平均值速度指標,對慢反應更敏感

4.8 Grammatical Reasoning(文法推理)

指標計算方式意義
Accuracy正確判斷的比例語言邏輯推理能力
RT正確 trial 的中位數 RT推理處理速度

4.9 Confidence Calibration(信心校準)

指標計算方式意義
Calibration Errormean(|confidence - accuracy|) 各信心區間信心判斷與實際表現的偏差,愈小愈佳
Overconfidence Indexmean(confidence - accuracy)正值表示過度自信,負值表示信心不足

4.10 Vocabulary(詞彙量)

指標計算方式意義
Total Correct正確回答題數詞彙知識量(結晶智力指標)

4.11 UFOV(有效視野)

指標計算方式意義
Accuracy by Display Duration各呈現時間條件下的正確率視覺注意力處理速度的閾值

4.12 MOT(多目標追蹤)

指標計算方式意義
Max Targets Tracked能成功追蹤的最大目標數視覺注意力的同時追蹤容量

5. 資料品質控制

為確保認知測驗資料的有效性,UCG 在 trial 層級與 session 層級分別實施品質控制規則。

5.1 Trial 層級篩選

規則閾值處理方式理據
預期反應RT < 150ms標記為 anticipation,排除於分析低於人類最短反應時間,屬於預期性按鍵
極端值RT > 2000ms標記為 outlier,視分析需求決定保留或排除可能反映注意力分散或暫時離開

5.2 Session 層級驗證

規則閾值處理方式
有效 trial 比例≥ 80% 的 trial 需為有效(非 anticipation、非 timeout)低於閾值則整個 session 標記為 invalid
條件正確率任一 condition 正確率 < 70%該 condition 的資料標記為 flagged,需人工檢查

5.3 重測間隔警告

練習效應警告

若同一學生在 24 小時內重複施測同一認知測驗,系統會顯示練習效應(practice effects)警告,提醒研究者在分析時將此納入考量。認知測驗的 test-retest reliability 可能因短間隔重測而被高估。

5.4 Reliability Paradox 注意事項

Hedge, Powell & Sumner (2018) 指出,干擾效果(如 Stroop effect、Flanker effect)的效果量大且穩定,但其個別差異的信度(split-half reliability)卻可能偏低,此即所謂的「信度悖論(Reliability Paradox)」。原因在於:實驗效果的穩健性正是因為幾乎所有人都會產生相似的干擾效果,使得個體間的變異相對較小。

因此,研究者在使用 UCG 干擾效果指標進行個別差異分析時,應:

  • 報告 split-half reliability 或 Cronbach's alpha
  • 考慮使用 accuracy-based 指標作為替代或補充
  • 增加 trial 數以提升測量精度

6. 引用方式

方法論描述範本

學習者的認知能力透過 Uedu 平台的 UCG 認知組學測驗工具箱(Uedu Cognomics)收集,該工具箱包含 14 個 web-based 認知測驗,涵蓋 6 大構念:(1) 執行功能(Stroop Task、Flanker Task、Task Switching),(2) 處理速度與注意力(Simple RT、Choice RT、PVT),(3) 工作記憶(N-back、Corsi Block),(4) 空間認知(Mental Rotation、Symmetry Span、UFOV),(5) 語文能力(Grammatical Reasoning、Vocabulary),(6) 後設認知(Confidence Calibration)。測驗架構以 Miyake et al. (2000) 的執行功能三因素模型為基礎,並擴展至其他認知構念。所有測驗以 JavaScript 實作,使用 performance.now() 精確計時與雙 requestAnimationFrame 渲染同步。Trial-level 原始資料完整保留,含刺激參數、反應時間與準確率。資料品質控制包含 RT < 150ms 預期反應排除、RT > 2000ms 極端值標記、session 有效性驗證(≥ 80% 有效 trial),以及 24 小時重測間隔警告。本研究經 IRB 202507EM058 核准。詳細方法論說明見 https://uedu.tw/doc/ucg。

個別測驗引用格式

若論文僅使用部分測驗,可在方法論描述中列出具體使用的測驗,並引用對應的原始文獻。例如:

範例:僅使用 Stroop 與 N-back

抑制控制以 Stroop Task 測量(Stroop, 1935; MacLeod, 1991),核心指標為不一致與一致條件的反應時間差(interference effect)。工作記憶更新以 2-back Task 測量(Kane et al., 2007),核心指標為 d-prime。兩測驗均透過 Uedu UCG 工具箱以 web-based 方式施測(詳見 https://uedu.tw/doc/ucg)。

7. 參考文獻

  • Baddeley, A. D. (1968). A 3 min reasoning test based on grammatical transformation. Psychonomic Science, 10(10), 341-342.
  • Ball, K., & Owsley, C. (1993). The Useful Field of View test: A new technique for evaluating age-related declines in visual function. Journal of the American Optometric Association, 64(1), 71-79.
  • Corsi, P. M. (1972). Human memory and the medial temporal region of the brain (Doctoral dissertation). McGill University.
  • Dinges, D. F., & Powell, J. W. (1985). Microcomputer analyses of performance on a portable, simple visual RT task during sustained operations. Behavior Research Methods, Instruments, & Computers, 17(6), 652-655.
  • Eriksen, B. A., & Eriksen, C. W. (1974). Effects of noise letters upon the identification of a target letter in a nonsearch task. Perception & Psychophysics, 16(1), 143-149.
  • Hedge, C., Powell, G., & Sumner, P. (2018). The reliability paradox: Why robust cognitive tasks do not produce reliable individual differences. Behavior Research Methods, 50(3), 1166-1186.
  • Kane, M. J., Conway, A. R. A., Miura, T. K., & Colflesh, G. J. H. (2007). Working memory, attention control, and the N-back task: A question of construct validity. Journal of Experimental Psychology: Learning, Memory, and Cognition, 33(3), 615-622.
  • MacLeod, C. M. (1991). Half a century of research on the Stroop effect: An integrative review. Psychological Bulletin, 109(2), 163-203.
  • Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A., & Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex "frontal lobe" tasks: A latent variable analysis. Cognitive Psychology, 41(1), 49-100.
  • Pylyshyn, Z. W., & Storm, R. W. (1988). Tracking multiple independent targets: Evidence for a parallel tracking mechanism. Spatial Vision, 3(3), 179-197.
  • Reimers, S., & Stewart, N. (2015). Presentation and response timing accuracy in Adobe Flash and HTML5/JavaScript Web experiments. Behavior Research Methods, 47(2), 309-327.
  • Shepard, R. N., & Metzler, J. (1971). Mental rotation of three-dimensional objects. Science, 171(3972), 701-703.
  • Stroop, J. R. (1935). Studies of interference in serial verbal reactions. Journal of Experimental Psychology, 18(6), 643-662.