diff --git a/GLOSSARY.md b/GLOSSARY.md index f16d8d5..86feee8 100644 --- a/GLOSSARY.md +++ b/GLOSSARY.md @@ -44,6 +44,33 @@ _Не путать:_ с размещением — привязка может галерею раздела с самым сильным доказательством. _Не путать:_ с неупомянутым — «не уверены, куда поставить» не значит «лектор не обсуждал». +**Сборка** +Соседние страницы колоды, где следующая повторяет текст предыдущей и добавляет к нему — один слайд, +показанный по шагам. Шаги одной сборки — одна страница в нескольких видах: общее доказательство у +них не считается коллизией. Колонтитулы при сравнении текстов не учитываются. + +**Колонтитул** +Строка, повторяющаяся на многих страницах колоды (название курса, автор, номер) — не содержание +слайда; не участвует ни в поиске доказательств, ни в распознавании сборки. + +**Статус слайда** +Итог выравнивания для страницы колоды: `discussed` (привязан к месту речи), `unbound` +(непривязанный: раздел известен, места речи нет), `unmentioned` (неупомянутый), `duplicate` +(точный дубль другой страницы), `deck_mismatch` (колода признана посторонней). + +**Причина статуса** +Почему слайд получил статус `unbound`, `unmentioned` или `deck_mismatch` (поле `status_reason`): +- `weak_evidence` (`unbound`) — доказательство есть, но слишком слабое для вставки в абзац; +- `deck_order_conflict` (`unbound`) — путь по порядку колоды пропустил слайд, хотя доказательство есть; +- `stronger_competitor` (`unbound`) — другой раздел совпадает с речью сильнее выбранного больше чем на порог + (`min_margin`, мера без бонуса вердикта судьи); слайд уходит в галерею этого раздела и не служит + опорой пути по порядку колоды; +- `no_candidates` (`unmentioned`) — ни одного кандидата с доказательством; +- `service_role` (`unmentioned`) — служебная пустая страница; +- `alignment_failed` (`unmentioned`) — выравнивание упало, слайд не оценивался; +- `legacy_mode` (`unmentioned`) — старый режим не привязал слайд, выравнивание по доказательствам не запускалось; +- `deck_mismatch` (`deck_mismatch`) — колода признана посторонней, слайд не оценивался. + **Галерея раздела** Блок слайдов в конце раздела для слайдов, чья привязка к разделу есть, а к абзацу — недостаточно уверенная. diff --git a/benchmarks/lecture-quality/2026-10-11-after-anf-v2.md b/benchmarks/lecture-quality/2026-10-11-after-anf-v2.md new file mode 100644 index 0000000..b9f4f8c --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-after-anf-v2.md @@ -0,0 +1,189 @@ +# Независимый отчёт о качестве конспекта: compilers-anf, v2, замер «после» этапа 1 + +Судья: claude sonnet, effort medium. Дата: 2026-10-11. task_id c3acc501949647a79d00c986bb9a84ea. + +## Scope and inventory + +- Проверено: `test-data/document-slide-alignment/runs/2026-10-11-after-anf-v2/result/output/` (конспект.md, transcript.srt, structure.json, slides/*.png, document-slide-alignment.json) и колода `test-data/document-slide-alignment/compilers-anf/slides.pdf`. +- sha256 slides.pdf: a1b4fa5f2c000d23cade866a2a19129fb18cf57493f0fa8223e3ece16f80d6ae. Хеш транскрипта не считался. +- Структура: 5 разделов, 22 подтемы (глобальные section_id 0..21, 0-based, подтверждено сопоставлением с положением слайдов в конспекте), 1420 реплик SRT (длительность 01:22:24), 20 слайдов (PDF-страницы; оверлеи считаются отдельными слайдами). +- Недостающие артефакты: нет. Текст слайдов взят из pdftotext, картинки проверены выборочно (slide-19.png). +- Статус `unbound` понимается как «раздел известен, места речи нет». Слайд кладётся в галерею раздела `global_section_id`. + +## Sampling method + +- Pass A: прочитан весь транскрипт (сжат до минутных блоков, 83 блока). Для каждого слайда сделан глобальный поиск, включая перефразировки. +- Конспект просмотрен по началу (00:00–00:21), середине (арность 31–49 мин, if-then-else 54–62 мин) и концу (01:05–01:22): 14 подтем из 22, то есть более восьми распределённых интервалов. Для сверки слайдов просмотрена раскладка по всем 20 маркерам. +- Оговорка: конспект открывался с маркерами слайдов (они видны в тексте) только после завершения меток pass A по транскрипту и PDF. Таблица pass A составлена до открытия `document-slide-alignment.json`. +- Pass B (диагностика) открывалась только после завершения таблицы pass A. +- Не проверялись: подтемы 0, 6, 7, 8, 14, 17 прочитаны только по заголовкам и фрагментам. Картинки слайдов, кроме 19, не просматривались (опора на нативный текст). + +## Pass-A ground truth + +Положительными (позитивный класс) считаются `discussed` и `partially_discussed`. Диапазоны указаны по времени, в скобках 0-based id подтемы. + +| Slide | Role | Status | Central concepts | Preferred context | Acceptable range | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed (по роли) | Компиляторы. ANF | начало ANF-части, 03:54 (id1) | 00:00–06:30 (id0–1) | у титула нет собственной речи, он стоит в начале покрытого диапазона. Трактовка спорная, помечена | +| 2 | content | discussed | цель — ассемблер RISC-V, конструкции без аналога (f(x+y), вложенные/анонимные функции, частичное применение, кортежи), middle-end | 04:01–06:17 (id1) | id1 | «никак вы не можете в ассемблер написать f от x плюс y», «middle end», «анонимные функции... частичное применение» | +| 3 | section_divider | discussed | титул «ANF» | 06:25–06:42 (id1/id2) | 06:25–10:39 | «первое, что нам стоит сделать, прикрутить специальное представление программ» | +| 4 | content | discussed | ANF как упрощение, атомарные аргументы, immexpr/cexpr/aexpr | 06:42–10:35 (id2) | id2 | «простыми аргументами считаются переменные и константы», «разваливается на 3 вида конструкций» | +| 5 | visual_example | discussed | пример (5+4)-2 | 10:39–10:55 (id3) | id3 | «5 плюс 4 минус 2 это довольно простое выражение» | +| 6 | visual_example | discussed | v1=5+4 in v1-2, let x=5 in x, типы | 10:39–11:30 (id3) | id3 | «заводим для суммы...v1», «let x равно 5 in x это уже выражение в ANF» | +| 7 | content | discussed | новые конструкторы CImmExpr/ACExpr | 12:00–13:20 (id3) | id3 | «приходится добавлять фейковые конструкторы, заворачивать immediate в сложные» | +| 8 | content | discussed | anf с дыркой expr_with_hole, случай Plus | 14:44–15:35 (id4) | id4 | «функция... выражение с дыркой», «когда вы делаете плюс, нужно рекурсивно посчитать левую и правую часть» | +| 9 | content | discussed | ALet(result_of_plus,...), свежее имя, затыкание дырки | 16:07–16:37 (id4) | id4 | «заводим специальное новое имя... затыкаем дырку новым именем» | +| 10 | summary | discussed | обзор: let/if сложны, ненужные переменные, арность, инлайн сравнений, типизировать до | 20:06–21:00 (id5) | id5, id6–id13, id14 (разные пункты) | «let x равно игрек in x», «ссылка на арность», 00:52 «инлайн сравнений» | +| 11 | content | discussed | if-then-else, варианты 1 и 2 | 54:44–56:30 (id15) | id15 | «первый вариант... fresh», «вытаскиваете if наружу, код взрывается» | +| 12 | content | discussed | вариант 3 (fresh x = ...) | 56:30–57:30 (id15) | id15 | «вложенные let функции, анонимные функции» | +| 13 | summary | discussed | плюсы/минусы ANF, незамкнутость, CPS как альтернатива | 59:00–62:00 (id16) | 54:44–62:00 (id15–id16) | «незамкнутость относительно операции инлайн» | +| 14 | section_divider | discussed | «Преобразование замыканий» | 01:05–01:06 (id18) | id18 | «образование замыканий нужно по той причине, что в ассемблере замыканий нет» | +| 15 | visual_example | discussed | fac с fack и continuation, замыкающиеся k и n | 01:06:50–01:08 (id18) | id18, id20 | «в вызове в четвёртой строке... в нее попадают через замыкания к и н» | +| 16 | content | discussed | варианты передачи (явно, кортеж, access links) и поиск свободных переменных | 01:08–01:13 (id18 и id19) | id18–id19 | «идёте от листьев к корню», «складывать в n-ку», «связи доступа» | +| 17 | visual_example | discussed | fack1 с явной передачей k n | 01:13:30–01:15 (id20) | id20; id19 (01:09:30) | «получилась функция трёх аргументов» | +| 18 | visual_example | discussed | lambda lifting | 01:18:30–01:19:30 (id21) | id20–id21 | «так называемый лямбда-лифтинг... верхнеуровневыми let-ами» | +| 19 | visual_example | partially_discussed | рантайм: замыкания, GC, libc | 01:20:30–01:21:30 (id21) | id19 (куча) и id21 | 01:21 «указатель на код, формальная арность, массив применённых»; GC/IO/libC не упомянуты. Картинка не показывалась | +| 20 | reference | unmentioned | ссылки | — | — | «слайды дальше неинтересно» (01:22). Литература в речи не разбиралась | + +Итого: discussed 18 (слайды 1–18), partially 1 (слайд 19), unmentioned 1 (слайд 20), unknown 0. + +## Scorecard + +| Dimension | Score | Confidence | Evidence summary | +| --- | ---: | --- | --- | +| Faithfulness | 80 | средняя | ASR-ошибки в основном исправлены (`лет икс равно пять ин икс`, «энки (tuple)»). Подтемы 5, 11, 12 следуют транскрипту | +| Content coverage | 85 | средняя | 22 подтемы покрывают 00:00–01:22:24, хвост (conversion → lifting → partial application) присутствует | +| Block quality | 72 | средняя | абзацы связные. В подтемах 5, 6, 7 (арность) бессодержательные фрагменты диалога; значимая часть вынесена в `tangent` | +| Document structure | 80 | средняя | иерархия 5 разделов логична, заголовки по смыслу | +| Language consistency | 85 | средняя | проза на русском, термины латиницей без ложных срабатываний | +| Slide semantic relevance | 55 | средняя | 10/18 размещённых слайдов в приемлемом разделе (вариант а) | +| Slide anchor precision | 40 | низкая | 2 из 18 с лучшим локальным якорем. Большинство слайдов лежат в галереях | +| Confidence calibration | 55 | средняя | 2 из 9 verified/probable ошибочны. `unbound` честно помечен `unresolved/fallback`. verified: 2/2 | + +Дефект текста (warning): фраза «Каждая строка начинается с "> ".» — утечка инструкции промпта внутрь `tangent`-блоков (минимум 2 раза, подтемы 5, 6). Не должна попадать в конспект. + +## Critical and major defects + +1. **Major / incorrect_probable**: слайд 8 (`discussed`, `probable`, margin -2.772) поставлен в раздел id15 «Проблема разрастания кода...». Это галерея с `weak_evidence_only`, evidence block 966 (~00:57, связь CPS и ANF). Слайд про `expr_with_hole` и `Plus`. Правильный контекст: id4 «Алгоритм преобразования в ANF в стиле CPS», 14:44–15:35 («выражение с дыркой», «когда вы делаете плюс...»). +2. **Major / incorrect_probable**: слайд 9 (`probable`, margin -4.331) поставлен в id16 «Основные недостатки ANF...» (evidence 977). Слайд про `ALet("result_of_plus", ...)`. Правильный контекст: id4, 16:07–16:37 («заводим новое имя... затыкаем дырку»). +3. **Major / false_unmentioned**: слайд 14 («Преобразование замыканий», divider) помечен `unmentioned` (`no_candidates`) и ушёл в «Непривязанные слайды». Лектор вводит тему на 01:05–01:06 (id18). Это divider, лексика совпадает слабо; нужен рассуждательный путь по роли слайда. +4. **Major / unbound_wrong_section**: `unbound` с неверным разделом галереи: слайды 1 и 3 (id16 вместо начала ANF-части, deck_order_conflict), 6 (id5 вместо id3), 15 (id21 вместо id18), 17 (id15 вместо id19/id20), 18 (id12 вместо id21). Галерея id16 сворачивает слайды 1, 3, 9, 13 (общий evidence block 977), слайдов с разным смыслом. +5. **Warning**: slide 1 (title) и 3 (divider) лежат в конце раздела id16 (чтение вводит в заблуждение). Причина `deck_order_conflict` вызвана ошибочным закреплением слайда 9 в id16 (цепочка конфликтов порядка). +6. **Warning**: слайд 4 размещён после первого абзаца подтемы (block 0) вместо блока с описанием трёх типов; слайд 11 после блока про вариант 3 вместо блоков 1–2 про варианты 1–2 (small regret). +7. **Warning (текст)**: утечка инструкции «Каждая строка начинается с "> "» в блоки `tangent`. + +## Slide audit (оценка `unbound`) + +Для каждого `unbound` в последнем столбце: справедливо ли понижение. «лишнее (здесь)» означает, что слайд действительно обсуждался в этом разделе уверенно. «лишнее (в другом разделе)» означает, что слайд обсуждался уверенно в другом разделе, а галерея указывает на неверный. + +| Slide | Predicted status | Topic verdict | Anchor verdict | Evidence strength | Regret | Rendering | Confidence | Понижение `unbound` | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | unbound id16 | incorrect | галерея, неверный раздел | unrelated | major | ok (галерея id16) | unresolved | справедливо по существу (титул без речи), но раздел неверен; верный: начало id1 | +| 2 | discussed id1 | correct | best (inline, block 4) | direct | none | ok | verified | — | +| 3 | unbound id16 | incorrect | галерея, неверный раздел | unrelated | major | ok | unresolved | лишнее (в другом разделе): divider ANF обсуждается 06:25 (id1/id2) | +| 4 | discussed id2 | correct | acceptable (inline block 0) | direct | small | ok | probable | — | +| 5 | discussed id3 | correct | acceptable (галерея раздела) | direct | small | ok | probable | — | +| 6 | unbound id5 | incorrect | галерея, неверный раздел | broad_topic_only | major | ok | unresolved | лишнее (в другом разделе): обсуждался в id3, 10:39–11:30 | +| 7 | unbound id3 | correct | acceptable (галерея раздела) | direct | small | ok | unresolved | лишнее (здесь): 12:00–13:20 в id3 объясняет конструкторы | +| 8 | discussed id15 | incorrect | неверный раздел | broad_topic_only | major | ok | probable (margin -2.772) | — | +| 9 | discussed id16 | incorrect | неверный раздел | broad_topic_only | major | ok | probable (margin -4.331) | — | +| 10 | unbound id5 | reasonable_range | галерея в приемлемом диапазоне | composite | none | ok | unresolved | лишнее (здесь): пункты про let/if и ненужные переменные объяснены в id5 (20:06–21:00); `deck_order_conflict` вызван ошибкой слайда 9 | +| 11 | discussed id15 | correct | acceptable (inline block 3) | direct | small | ok | probable | — | +| 12 | discussed id15 | correct | best (inline block 3) | direct | none | ok | probable | — | +| 13 | unbound id16 | correct | acceptable (галерея раздела) | direct | small | ok | unresolved | лишнее (здесь): 00:59–01:01 прямо обсуждает незамкнутость и CPS | +| 14 | unmentioned | unmentioned-ложно | appendix | — | major | ok (appendix) | unresolved | — | +| 15 | unbound id21 | incorrect | галерея, неверный раздел | broad_topic_only | major | ok | unresolved | лишнее (в другом разделе): обсуждался в id18 (01:06:50–01:08) | +| 16 | discussed id19 | reasonable_range | acceptable (inline block 5) | composite | small | ok | verified | — | +| 17 | unbound id15 | incorrect | галерея, неверный раздел | unrelated | major | ok | unresolved | лишнее (в другом разделе): id19 (01:09:30) / id20 (01:13:30) | +| 18 | unbound id12 | incorrect | галерея, неверный раздел | unrelated | major | ok | unresolved | лишнее (в другом разделе): id21 (01:18:30), приемлемо id20 | +| 19 | discussed id19 | reasonable_range | acceptable (галерея раздела) | composite (куча, замыкания) | small | ok | probable (margin -0.999) | — | +| 20 | unmentioned | unmentioned-верно | appendix | — | none | ok (appendix) | unresolved | — | + +## Сводная таблица по слайдам: система против судьи + +| Slide | Статус системы | Confidence | Раздел системы (id, 0-based) | Вердикт судьи | margin (reason_code) | +| ---: | --- | --- | --- | --- | --- | +| 1 | unbound | unresolved | 16 (Основные недостатки ANF) | incorrect | none | +| 2 | discussed | verified | 1 (Связь AST и ассемблера) | correct | 8.349 | +| 3 | unbound | unresolved | 16 | incorrect | none | +| 4 | discussed | probable | 2 (Понятие ANF) | correct | 6.787 | +| 5 | discussed | probable | 3 (Примеры) | correct | -2.042 | +| 6 | unbound | unresolved | 5 (Сложные случаи) | incorrect | none (path_min_margin -5.813) | +| 7 | unbound | unresolved | 3 (Примеры) | correct | none (path_min_margin -6.739) | +| 8 | discussed | probable | 15 (Разрастание if) | incorrect | -2.772 | +| 9 | discussed | probable | 16 | incorrect | -4.331 | +| 10 | unbound | unresolved | 5 | reasonable_range | none | +| 11 | discussed | probable | 15 | correct | 6.062 | +| 12 | discussed | probable | 15 | correct | 4.619 | +| 13 | unbound | unresolved | 16 | correct | none (path_min_margin -11.978) | +| 14 | unmentioned | unresolved | — | unmentioned-ложно | n/a (no_candidates) | +| 15 | unbound | unresolved | 21 (Генерация кода) | incorrect | none (path_min_margin -5.361) | +| 16 | discussed | verified | 19 (Подходы к передаче) | reasonable_range | 3.829 | +| 17 | unbound | unresolved | 15 | incorrect | none (path_min_margin -5.405) | +| 18 | unbound | unresolved | 12 (Причины ограниченности арности) | incorrect | none | +| 19 | discussed | probable | 19 | reasonable_range | -0.999 | +| 20 | unmentioned | unresolved | — | unmentioned-верно | n/a (no_candidates) | + +## Slide metrics + +Конвенции: partially_discussed (слайд 19) считается позитивным. Unknown-меток нет (исключено 0). «Acceptable» = correct + reasonable_range. Темы и контексты считаются по слайдам, у которых система указала раздел. Слайд 14 (без раздела) учтён в recall и ложных `unmentioned`. Якорь галереи в верном разделе даёт acceptable, но не best (локального якоря нет). + +Вариант (а): `unbound` = discussed со своим разделом. Вариант (б): `unbound` = не-discussed. + +| Metric | (а) unbound как discussed | (б) unbound как не-discussed | Unknown/excluded | +| --- | ---: | ---: | ---: | +| Discussed precision | 100.0% (18/18) | 100.0% (9/9) | 0 | +| Discussed recall | 94.7% (18/19) | 47.4% (9/19) | 0 | +| Ложные `unmentioned` (false-negative по unmentioned) | 5.3% (1/19) | 5.3% (1/19). С учётом unbound как пропуска: 52.6% (10/19) | 0 | +| Acceptable topic accuracy | 55.6% (10/18) | 77.8% (7/9) | 0 | +| Preferred topic accuracy | 38.9% (7/18) | 55.6% (5/9) | 0 | +| Wrong-topic rate | 44.4% (8/18) | 22.2% (2/9) | 0 | +| Best-context hit | 11.1% (2/18) | 22.2% (2/9) | 0 | +| Acceptable-context hit | 55.6% (10/18) | 77.8% (7/9) | 0 | +| Materially-better-context rate | 44.4% (8/18) | 22.2% (2/9) | 0 | +| Verified precision | 100.0% (2/2) | 100.0% (2/2). Строго correct: 50.0% (1/2) | 0 | +| High-confidence error rate | 22.2% (2/9) | 22.2% (2/9) | 0 | +| Collapsed-slide rate | 30.0% (6/20) | 30.0% (6/20) | 0 | +| Rendering correctness | 100.0% (20/20) | 100.0% (20/20) | 0 | + +Дополнительно: + +- Collapse: группа по evidence block 977 — слайды 1, 3, 9, 13 (разные по смыслу, из них 1, 3, 9 без поддержки). Группа по block 349 — слайды 6 и 10 (6 без поддержки). Группа {11, 12} на одном inline-якоре (block 3) — оверлеи одного слайда, дефектом не считается. Слайдов в implausible-группах: 6/20. Если считать только неподдержанных членов: 4/20 (20.0%). Максимум слайдов на evidence cue: 4 (block 977). Максимум на inline-якорь: 2. Максимум в одной галерее: 4 (id16). +- Дубли маркеров: 0. Отсутствующие маркеры/картинки: 0. Все 20 слайдов присутствуют в конспекте ровно один раз, размещение соответствует `placements`. +- Appendix: ложных положительных (слайд из обсуждаемых ушёл в appendix) — 1 (слайд 14). Верно ушедших: 1 (слайд 20). +- Assignment-correct, но rendering-wrong: 0. +- Unbound (9 слайдов): раздел correct/reasonable — 3 (7, 10, 13), incorrect — 6 (1, 3, 6, 15, 17, 18). Понижение лишнее в 8 из 9 (все, кроме слайда 1, который справедливо не привязан к речи; но и там раздел неверен). Из них «лишнее (здесь)» — 3 (7, 10, 13). +- Unresolved precision (unmentioned и unbound как «unresolved»): для unmentioned 1/2 (слайд 20 верно; слайд 14 ложно). +- Role-aware: title/divider/closing (1, 3, 14, 20) — 1/4 верно (20). Ordinary content (2, 4, 5, 7, 8, 9, 11, 12, 16) — 6 приемлемо из 9 (поставлены неверно 8, 9). Summary/reference (10, 13, 20) — 3/3. Visual examples (5, 6, 15, 17, 18, 19) — 3 приемлемо из 6 (5, 19 приемлемо, 6, 15, 17, 18 неверно, итого 2/6). Appendix: 1/2. + +Примечание для сопоставимости с прошлой версией: текст конспекта в этом прогоне мог отличаться от прошлого замера, что влияет на размещение абзацев (confounder). Сравнение с прошлым отчётом не проводилось. + +## Strong evidence-backed aspects + +- Slide 2 (verified, margin 8.349): inline в конце подтемы «Связь между AST и ассемблером», где перечислены конструкции без аналога в ассемблере. +- Slides 11 и 12: inline в id15 в месте объяснения вариантов if-then-else. +- Slide 20: верный `unmentioned`, лектор сам пропустил хвост («слайды дальше неинтересно»). +- Honest degradation: все `unbound` помечены `unresolved/fallback`, без ложных inline-вставок. +- Конспект по содержанию связный, структура покрывает всю лекцию. + +## Confidence calibration + +- Incorrect `verified`: 0 из 2. Verified-слайд 16 при этом `reasonable_range` (composite), а не direct. +- Incorrect `probable`: 2 (слайды 8, 9). Оба с отрицательным margin (-2.772, -4.331). Отрицательный margin при `probable` — слабая калибровка. Слайд 5 (margin -2.042) и слайд 19 (margin -0.999) тоже `probable` при отрицательном margin, но размещены верно/приемлемо. +- Ложный `unmentioned`: 1 (слайд 14). +- `unbound`: 6 из 9 с неверным разделом, 3 с верным. У всех margin = none, расхождение с картой: `semantic_strong ... margin=none` у слайдов 1, 10, 18 (deck_order_conflict) при неверном разделе у 1 и 18. +- Уместные fallback: слайды 5, 19 (галерея при `probable`) в верном разделе. + +## Uncertainty and limitations + +- Слайд 1 (title): метка `discussed` по роли, спорная. Если считать его unmentioned/unknown, метрики (а) сдвигаются на 1 слайд (precision (а) 17/17 при исключении, recall 17/18). +- Слайд 19: partial. При строгой трактовке (partial исключён) показатели размещения слегка меняются: (а) 9/17 acceptable, (б) 6/8. +- Слайды 10, 13, 16, 19 — диапазонные, допускают несколько якорей. +- Не просматривались картинки слайдов, кроме 19. Подтемы 0, 6, 7, 8, 14, 17 просмотрены по заголовкам и фрагментам. +- Внешние LLM и API не вызывались. Прошлые отчёты в benchmarks/lecture-quality и docs/progress не читались. + +## Verdict + +`usable_with_alignment_issues` + +Обоснование: конспект полезен (покрытие и структура хорошие), но размещение слайдов материально вводит в заблуждение. Два слайда с `probable` (8, 9) стоят в чужих разделах, divider 14 ложно ушёл в приложение, шесть из девяти `unbound` лежат в неверной галерее (в частности титул и divider ANF оказались в разделе про недостатки), одна галерея (id16) сворачивает четыре разнородных слайда. Verified-размещения (2 из 2) приемлемы. При этом `unbound` в вариантах (а) и (б) даёт совпадающие precision и расходящийся recall, то есть понижение до `unbound` само по себе не загрязняет метки, но теряет локальный якорь в 3 слайдах с верным разделом (7, 10, 13). diff --git a/benchmarks/lecture-quality/2026-10-11-after-db-v2.md b/benchmarks/lecture-quality/2026-10-11-after-db-v2.md new file mode 100644 index 0000000..3eb2cb4 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-after-db-v2.md @@ -0,0 +1,250 @@ +# Независимый отчёт о качестве конспекта: db-2026-09-24, замер «после» этапа 1 (v2) + +Судья: claude sonnet, effort medium. Дата: 2026-10-11. task_id ae8c972e1f064480b91d488fc1a1e344. Скилл lecture-quality-judge, два прохода. Прошлые отчёты не читались. + +## Scope and inventory + +- Входы: `runs/2026-10-11-after-db-v2/result/output/` (конспект.md, transcript.srt, structure.json, slides/, document-slide-alignment.json) и `db-2026-09-24/slides.pptx` (нативный текст из XML, картинки из slides/*.png). +- Хеш pptx (sha256, первые 16 символов): dae893ec850ec6e6. +- Объём: 7 крупных разделов, 21 подраздел (глобальные id 0–20), 1357 cue транскрипта (~59:20), 41 слайд, 41 маркер изображения в конспекте. +- Отсутствующие артефакты: нет. Исходного аудио/отдельного транскрипта вне результата нет, использован transcript.srt результата. + +## Sampling method + +- Транскрипт прочитан целиком (все 1357 cue). Конспект прочитан целиком, кроме служебных строк. +- Для pass A текст конспекта читался с вырезанными строками `![Слайд N]`, чтобы не видеть размещение. Диагностика (document-slide-alignment.json) и структура размещения открыты только в pass B. +- Все 41 слайд проверены по нативному тексту. По картинкам просмотрены слайды 18, 21, 32 (визуальные). Остальные визуальные слайды (14, 15, 25, 38 и др.) проверены по тексту и озвучке, а не по картинке (ограничение). +- Подтверждаю: метки pass A завершены до открытия диагностики матчера. + +## Pass-A ground truth + +Соответствие разделов времени (глобальный id: заголовок, интервал): 0 Знакомство 0:00–2:29; 1 Программа 2:29–5:42; 2 Литература 5:42–7:17; 3 Роль ИС 7:17–9:34; 4 Определения ИС 9:34–12:24; 5 Примеры ИС 12:24–14:36; 6 Эволюция 1950–70 14:36–19:02; 7 ПК 19:02–23:36; 8 Определения БД/СУБД 23:36–27:38; 9 Эволюция хранения/независимость 27:38–31:06; 10 Трёхуровневая 31:06–33:33; 11 Логический/физический 33:33–34:33; 12 История СУБД 34:33–38:16; 13 Распределённые/облака/NoSQL 38:16–41:11; 14 Причины 41:11–44:37; 15 Статистика 44:37–47:35; 16 Архитектура решений 47:35–50:09; 17 Рынок СУБД 50:09–52:49; 18 Функции СУБД 52:49–55:10; 19 Роли 55:10–58:29; 20 Завершение 58:29–. + +Все 41 слайд озвучены (`discussed`), `unmentioned` нет. Слайд 18 озвучен кратко (23:20–23:33), считаю `discussed`. + +| Слайд | Роль | Статус | Центральные понятия | Предпочтительный контекст | Допустимый диапазон | Доказательство | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed | название курса | разд. 0 начало | разд. 0 | 0:19–0:46 «курс у нас называется… система управления базами данных» | +| 2 | content | discussed | о лекторе | разд. 0 | разд. 0 | 0:49–1:41 «старшим преподавателем кафедры… Газпромнефть» | +| 3 | content | discussed | организация курса | разд. 0 | разд. 0 | 2:15–2:24 «устный экзамен… допуск к экзамену по результатам практики» | +| 4 | content | discussed | темы курса | разд. 1, первый абзац | разд. 1 | 2:29–4:13 | +| 5 | content | discussed | знать/уметь | разд. 1, абзацы 2–3 | разд. 1 | 4:13–5:35 | +| 6 | reference | discussed | литература по СУБД | разд. 2 | разд. 2 | 5:42–6:47 «литература по управления базами данных… книга Дейта» | +| 7 | reference | discussed | литература по SQL, Postgres | разд. 2 | разд. 2 | 6:33–7:13 | +| 8 | content | discussed | определение ИС (3 пункта) | разд. 3 | разд. 3 | 8:56–9:30 | +| 9 | content | discussed | определение 1995 (аппаратура, ПО, данные, люди, процедуры) | разд. 4 | разд. 4 | 9:38–10:35 | +| 10 | content | discussed | определение ACM | разд. 4 | разд. 4 | 10:35–12:20 | +| 11 | summary | discussed | примеры ИС (список) | разд. 5 | разд. 5 | 12:24–14:36 | +| 12 | section_divider | discussed | эволюция 1950–1980 | разд. 6 начало | разд. 6–7 | 14:38–14:50 | +| 13 | content | discussed | первые ИС, мейнфреймы | разд. 6 | разд. 6 | 14:50–16:28 | +| 14 | visual_example | discussed | RAMAC, 5 МБ | разд. 6 | разд. 6 | 16:36–18:10 | +| 15 | content | discussed | централизация | разд. 6 конец | разд. 6 | 18:16–19:02 | +| 16 | summary | discussed | ПК, децентрализация, выделение БД/СУБД | разд. 7 | разд. 7 | 19:02–22:07 | +| 17 | content | discussed | бизнес-логика отделима от хранения | разд. 7 конец | разд. 7 | 22:52–22:56 «бизнес-логику можно отделить от логики хранения» | +| 18 | visual_example | discussed (кратко) | трёхслойная архитектура | разд. 7 конец | разд. 7, 10 | 23:20–23:33; 31:24 «не трёхслойная архитектура» | +| 19 | content | discussed | определение БД | разд. 8 начало | разд. 8 | 23:36–24:55 | +| 20 | content | discussed | определение СУБД | разд. 8 | разд. 8; разд. 18 как обратная ссылка | 24:57–25:18, 26:00; 53:13 «этот слайд мы уже видели» | +| 21 | visual_example | discussed | БД хранение, СУБД управление, диаграмма | разд. 8 конец | разд. 8 | 26:22–27:35 | +| 22 | content | discussed | были БД без СУБД | разд. 9 начало | разд. 9 | 27:38–28:50 | +| 23 | content | discussed | физическая независимость | разд. 9 | разд. 9 | 28:57–29:41 | +| 24 | content | discussed | логическая независимость | разд. 9 | разд. 9 | 29:42–31:03 | +| 25 | visual_example | discussed | ANSI-SPARC схема | разд. 10 начало | разд. 10 | 31:06–32:15 | +| 26 | content | discussed | три уровня подробно | разд. 10 / 11 | разд. 10–11 | 32:20–34:29 | +| 27 | summary | discussed | история СУБД, стандарты SQL | разд. 12 | разд. 12 | 34:33–38:10 «система AR… клипер Fox Pro… 86-ой, 89-ый, 92-ой» | +| 28 | summary | discussed | распределённые, облака, NoSQL | разд. 13 | разд. 13 | 38:13–41:11 | +| 29 | summary | discussed | причины развития | разд. 14 | разд. 14 | 41:11–44:37 | +| 30 | visual_example | discussed | статистика данных, категории | разд. 15 начало | разд. 15 | 44:40–45:50 | +| 31 | visual_example | discussed | Big Data рынок | разд. 15 середина | разд. 15 | 45:50–46:40 | +| 32 | visual_example | discussed | архитектура решений | разд. 16 | разд. 16 | 47:35–50:06 | +| 33 | reference | discussed | игроки рынка СУБД | разд. 17 | разд. 17 | 50:09–52:45 | +| 34 | content | discussed | функции СУБД (шаг 1) | разд. 18 начало | разд. 18 | 52:50–53:26 | +| 35 | content | discussed | + ограничения целостности | разд. 18 | разд. 18 | 53:26–53:32 | +| 36 | content | discussed | + запросы, многопользовательский доступ, масштабирование | разд. 18 | разд. 18 | 53:32–53:52 | +| 37 | content | discussed | + бизнес-логика | разд. 18 | разд. 18 | 53:52–54:01 | +| 38 | visual_example | discussed | проникновение слоёв архитектуры | разд. 18 конец | разд. 18 | 54:01–55:07 «слой бизнес-логики, слой хранения данных… хранимые процедуры» | +| 39 | reference | discussed | профессии | разд. 19 | разд. 19 | 55:10–57:30 | +| 40 | content | discussed | работа проектировщика БД | разд. 19 | разд. 19 | 57:32–58:01 «разработка инфологической модели данных… ER-модель» | +| 41 | content | discussed | работа аналитика данных | разд. 19 | разд. 19 | 58:01–58:15 | + +## Scorecard + +| Измерение | Оценка | Уверенность | Резюме | +| --- | ---: | --- | --- | +| Faithfulness | 88 | средняя | Выборка по началу, середине, концу и 8+ интервалам совпадает с транскриптом. ASR-ошибки исправлены разумно (PR-модель в ER-модель, помечена сомнительная «система AR»). | +| Content coverage | 90 | высокая | Все темы и хвост лекции (роли, завершение) представлены, временных дыр нет (разд. 0–20 покрывают 0:01–59:20). | +| Block quality | 85 | средняя | Абзацы связные и информативные. Три маркера `[неясный фрагмент]` (разд. 8, 10, 15) в тексте. | +| Document structure | 80 | средняя | Заголовки отражают содержание. Раздел 11 (1 мин) мелковат. Верхний заголовок «История развития СУБД, независимость данных и стандарты SQL» неточен (под ним лог/физ. уровни, история, облака, причины). Часть содержательных реплик в разд. 19 попала в `tangent`. | +| Language consistency | 90 | средняя | Русский, термины на английском оправданы. | +| Slide semantic relevance | 90 | высокая | 40 из 41 слайда в допустимом разделе. | +| Slide anchor precision | 72 | средняя | 21 слайд в сильнейшем контексте, 9 слайдов в галереях, часть сдвинута в конец раздела. | +| Confidence calibration | 90 | высокая | 0 ошибок среди verified/probable. `unresolved` (unbound) все 4 на самом деле обсуждались. | + +## Critical and major defects + +Critical: нет. Incorrect `verified`: нет. + +- Major, wrong_topic. Слайд 6 (литература по СУБД), `unbound`/unresolved, галерея разд. 8 («Определения базы данных и СУБД»), причина `deck_order_conflict`, margin none. Слайд обсуждался 5:42–6:47 (разд. 2, «на данном слайде приведена литература по управления базами данных… книга Дейта»). Оценка по разделу: incorrect, понижение несправедливо. Читатель найдёт библиографию в блоке про определение СУБД. Evidence block 617 в диагностике — это cue 27:38 («Сначала были БД, но не было СУБД»), не связанный со слайдом. +- Major, unfair_demotion. Слайды 27 (история СУБД) и 40 (работа проектировщика БД) переведены в `unbound` с reason `stronger_competitor` и положены в галерею верного раздела, хотя обсуждались подробно и уверенно (27: 34:33–38:10; 40: 57:32–58:01). Потеряны inline-размещения. +- Warning, unfair/weak demotion. Слайд 20 (определение СУБД) `unbound` в разд. 18 (reasonable_range). Лучший контекст разд. 8 (24:57–25:18), матчер сам видел `path_section=8`, но проиграл конкуренту (слайды 34–37 того же текста). +- Warning, rendering. Слайд 38 привязан по evidence к блоку «Далее рассматривается пример проникновения…» (cue 1239, 54:04), но отрисован после первого абзаца раздела 18 вместе со слайдами 34–37. Слайд 30 привязан к cue 1014 (44:40), но отрисован после абзаца про Big Data (то есть после текста о слайде 31). Слайд 4 привязан к блоку 0 (3:40), отрисован после блока 2 (в конце раздела). +- Warning, ordering. Разд. 19: слайд 40 (проектировщик) идёт после слайда 41 (аналитик). Разд. 10: слайд 25 после слайда 26. Разд. 6: дивайдер 12 в середине/конце раздела (после слайда 14, как галерея), а не в начале. + +## Slide audit + +Условные обозначения: Топик — вердикт по разделу; Якорь: best (сильнейший контекст), acc (допустимый), gal (секционная галерея, допустима), — (нет). `unbound` показаны отдельно в разделе ниже. + +| Слайд | Статус | Топик | Якорь | Evidence | Regret | Рендер | Confidence | Evidence/комментарий | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | discussed | correct | acc | direct | small | ok | probable | титул после первого абзаца, а не перед | +| 2 | discussed | correct | best | direct | none | ok | probable | | +| 3 | discussed | correct | best | direct | none | ok | verified | организация в абзаце/tangent | +| 4 | discussed | correct | acc | direct | small | сдвиг в конец раздела | verified | лучший блок 0 | +| 5 | discussed | correct | best | direct | none | ok | verified | | +| 6 | unbound | incorrect | — | direct | major | gallery разд. 8 | unresolved | см. дефекты | +| 7 | discussed | correct | gal | direct | none | gallery | probable | справочный слайд, галерея допустима | +| 8 | discussed | correct | best | direct | none | ok | verified | | +| 9 | discussed | correct | best | direct | none | ok | verified | | +| 10 | discussed | correct | best | direct | none | ok | verified | | +| 11 | discussed | reasonable_range | acc | composite | none | ok | verified | список, якорь в середине | +| 12 | discussed | correct | gal | composite | small | gallery | probable | дивайдер не в начале раздела | +| 13 | discussed | correct | best | direct | none | ok | verified | | +| 14 | discussed | correct | best | direct | none | ok | verified | | +| 15 | discussed | correct | gal | direct | small | gallery | verified | `no_safe_semantic_block`, verified, но в галерее | +| 16 | discussed | reasonable_range | acc | composite | small | ok | verified | | +| 17 | discussed | correct | best | direct | none | ok | verified | | +| 18 | discussed | correct | best | direct | none | ok | verified | слабое лексическое совпадение, но прямая озвучка | +| 19 | discussed | correct | best | direct | none | ok | verified | | +| 20 | unbound | reasonable_range | — | direct | major | gallery разд. 18 | unresolved | см. дефекты | +| 21 | discussed | correct | best | direct | none | ok | probable | | +| 22 | discussed | correct | best | direct | none | ok | verified | | +| 23 | discussed | correct | best | direct | none | ok | verified | | +| 24 | discussed | correct | best | direct | none | ok | verified | | +| 25 | discussed | correct | gal | direct | small | gallery, после слайда 26 | probable | диаграмма должна быть inline в начале раздела | +| 26 | discussed | correct | best | direct | none | ok | verified | | +| 27 | unbound | correct | — | direct | small | gallery разд. 12 | unresolved | понижение несправедливо | +| 28 | discussed | reasonable_range | acc | composite | small | ok | probable | | +| 29 | discussed | reasonable_range | acc | composite | none | ok | probable | итоговый список, якорь в конце | +| 30 | discussed | correct | acc | direct | small | сдвиг на абзац Big Data | probable | | +| 31 | discussed | correct | gal | direct | small | gallery | probable | `weak_evidence_only`, нужный блок есть | +| 32 | discussed | correct | best | direct | none | ok | probable | | +| 33 | discussed | correct | best | direct | none | ok | verified | | +| 34 | discussed | correct | best | direct | none | ok | probable | | +| 35 | discussed | correct | acc | direct | small | ok | probable | пояснение «ограничения целостности» ниже по тексту | +| 36 | discussed | correct | acc | direct | small | ok | probable | пояснение ниже по тексту | +| 37 | discussed | correct | acc | direct | small | ok | probable | пояснение ниже по тексту | +| 38 | discussed | correct | acc | direct | small | сдвиг на блок 0 | verified | assignment верный, рендер нет | +| 39 | discussed | correct | best | direct | none | ok | probable | | +| 40 | unbound | correct | — | direct | small | gallery разд. 19, после слайда 41 | unresolved | понижение несправедливо | +| 41 | discussed | correct | best | direct | none | ok | probable | | + +## Per-slide table (статус, confidence, раздел, вердикт, margin) + +Раздел — глобальный id раздела системы. Вердикт — моя итоговая оценка (correct / reasonable_range / incorrect; `unmentioned-верно`/`unmentioned-ложно` не применимо, так как unmentioned нет). Margin из `reason_code`; для `unbound` margin = none, в скобках `path_min_margin`. + +| Слайд | Статус системы | Confidence | Раздел | Вердикт | Margin | +| ---: | --- | --- | ---: | --- | ---: | +| 1 | discussed | probable | 0 | correct | 4.619 | +| 2 | discussed | probable | 0 | correct | 8.445 | +| 3 | discussed | verified | 0 | correct | 20.627 | +| 4 | discussed | verified | 1 | correct | 22.639 | +| 5 | discussed | verified | 1 | correct | 29.421 | +| 6 | unbound | unresolved | 8 | incorrect | none | +| 7 | discussed | probable | 2 | correct | 4.661 | +| 8 | discussed | verified | 3 | correct | 21.290 | +| 9 | discussed | verified | 4 | correct | 17.507 | +| 10 | discussed | verified | 4 | correct | 13.529 | +| 11 | discussed | verified | 5 | reasonable_range | 19.648 | +| 12 | discussed | probable | 6 | correct | -2.161 | +| 13 | discussed | verified | 6 | correct | 13.632 | +| 14 | discussed | verified | 6 | correct | 5.324 | +| 15 | discussed | verified | 6 | correct | 5.153 | +| 16 | discussed | verified | 7 | reasonable_range | 10.545 | +| 17 | discussed | verified | 7 | correct | 5.053 | +| 18 | discussed | verified | 7 | correct | 2.319 | +| 19 | discussed | verified | 8 | correct | 12.274 | +| 20 | unbound | unresolved | 18 | reasonable_range | none (path -6.679) | +| 21 | discussed | probable | 8 | correct | 8.229 | +| 22 | discussed | verified | 9 | correct | 24.166 | +| 23 | discussed | verified | 9 | correct | 23.238 | +| 24 | discussed | verified | 9 | correct | 31.944 | +| 25 | discussed | probable | 10 | correct | 4.060 | +| 26 | discussed | verified | 10 | correct | 20.678 | +| 27 | unbound | unresolved | 12 | correct | none (path -11.785) | +| 28 | discussed | probable | 13 | reasonable_range | 0.020 | +| 29 | discussed | probable | 14 | reasonable_range | 29.519 | +| 30 | discussed | probable | 15 | correct | 19.790 | +| 31 | discussed | probable | 15 | correct | 31.808 | +| 32 | discussed | probable | 16 | correct | 17.348 | +| 33 | discussed | verified | 17 | correct | 9.377 | +| 34 | discussed | probable | 18 | correct | 34.826 | +| 35 | discussed | probable | 18 | correct | 35.706 | +| 36 | discussed | probable | 18 | correct | 57.816 | +| 37 | discussed | probable | 18 | correct | 38.685 | +| 38 | discussed | verified | 18 | correct | 38.508 | +| 39 | discussed | probable | 19 | correct | -1.415 | +| 40 | unbound | unresolved | 19 | correct | none (path -17.287) | +| 41 | discussed | probable | 19 | correct | 15.069 | + +## Оценка unbound (4 слайда) + +| Слайд | reason | Раздел галереи | Оценка раздела | Понижение справедливо? | +| ---: | --- | ---: | --- | --- | +| 6 | deck_order_conflict | 8 | incorrect (верный: 2) | нет: обсуждён уверенно и явно в разд. 2 | +| 20 | stronger_competitor | 18 | reasonable_range (предпочтительно 8) | частично: в разд. 18 лишь обратная ссылка 53:13, но в разд. 8 слайд озвучен прямо, и раздел 8 был лучшим выбором | +| 27 | stronger_competitor | 12 | correct | нет: обсуждён подробно и уверенно в разд. 12 | +| 40 | stronger_competitor | 19 | correct | нет: обсуждён в разд. 19 (57:32–58:01) | + +Итог: 3 из 4 понижений лишние (6, 27, 40), в одном (20) раздел выбран не лучшим. Для сопоставимости метрики даны в вариантах (а) unbound как discussed со своим разделом и (б) unbound как не-discussed. + +## Slide metrics + +Конвенции: `unknown` нет (исключено 0). Slide 6, 20 в варианте (а) учтены с их разделами галереи. Галерея в верном разделе считается допустимым якорем только для справочных слайдов и дивайдеров (7, 12); для остальных галерейных слайдов (15, 25, 31, 27, 40) якоря-попадания нет, но топик засчитан. Partially_discussed не используется (слайд 18 признан discussed). + +| Метрика | (а) unbound = discussed | (б) unbound = не-discussed | Unknown | +| --- | ---: | ---: | ---: | +| Discussed precision | 100.0% (41/41) | 100.0% (37/37) | 0 | +| Discussed recall | 100.0% (41/41) | 90.2% (37/41) | 0 | +| Ложные `unmentioned` | 0.0% (0/41) | 9.8% (4/41) (4 реально обсуждённых слайда не-discussed; `unmentioned` как статус 0) | 0 | +| Acceptable topic accuracy | 97.6% (40/41) | 100.0% (37/37) (по 37 размещённым) | 0 | +| Preferred topic accuracy | 95.1% (39/41) | 100.0% (37/37) | 0 | +| Wrong-topic rate | 2.4% (1/41) | 0.0% (0/37) | 0 | +| Best-context hit | 51.2% (21/41) | 56.8% (21/37) | 0 | +| Acceptable-context hit | 82.9% (34/41) | 91.9% (34/37) | 0 | +| Materially-better-context rate | 4.9% (2/41) (слайды 6, 20) | 0.0% (0/37) | 0 | +| Verified precision | 100.0% (20/20) | 100.0% (20/20) | 0 | +| High-confidence error rate | 0.0% (0/37) | 0.0% (0/37) | 0 | +| Unresolved precision | 0.0% (0/4) (все 4 unresolved обсуждались) | то же | 0 | +| Collapsed-slide rate | 2.4% (1/41) (слайд 38 на блоке 0 вместе с 34–37) | 2.7% (1/37) | 0 | +| Rendering correctness | 92.7% (38/41) (ошибки: 4, 30, 38) | 91.9% (34/37) | 0 | +| Вердикт | usable_with_minor_issues | usable_with_minor_issues | | + +В варианте (б) из знаменателя исключены 4 unbound-слайда (ошибок рендера среди них нет). + +Максимум слайдов на один отрисованный якорь: 5 (разд. 18, блок 0: слайды 34–38). На один evidence cue (1212): 5 (34, 35, 36, 37 и unbound 20). Слайды 34–37 — пошаговые кадры одного слайда, группировка допустима, дефектом считается только слайд 38. Дубликатов маркеров 0, пропущенных изображений 0, appendix false positives 0 (приложений нет). Assignment верный, рендер неверный: 3 (слайды 4, 30, 38). + +Ролевая разбивка: титул/дивайдер (1, 12): топик 2/2, якорь acc/gal (не в начале). Обычный контент (≈25 слайдов): топик верный, кроме unbound 6. Summary/reference (7, 11, 16, 27, 28, 29, 33, 39): топик 8/8. Визуальные (14, 18, 21, 25, 30, 31, 32, 38): топик 8/8, якорь: inline 5, галерея 2 (25, 31), сдвиг рендера 2 (30, 38). + +## Strong evidence-backed aspects + +- Слайды 3, 5, 8, 9, 10, 13, 22, 23, 24, 26, 33 verified и стоят в точном блоке (например слайд 23, «Физическая независимость данных» — блок «физической независимости данных… смена физического места хранения»). +- Слайд 18 verified при слабом lexical (7.99) корректно: озвучка 23:20–23:33 прямая. +- Ни одной ложной `unmentioned`, ни одного неверного verified/probable. + +## Confidence calibration + +- Неверных high-confidence (verified/probable): 0. Слабых high-confidence: слайд 12 (margin -2.161), 39 (-1.415), 28 (0.020) — probable, но верные. Слайд 15 verified при fallback-галерее — размещение верное, но уровень confidence завышен относительно якоря. +- Ложных `unmentioned`: 0. Все 4 `unbound` реально обсуждались, т.е. `unresolved` не оправдан (unresolved precision 0/4). +- Подходящих fallback: нет. + +## Uncertainty and limitations + +- Привязку «блок → абзац» восстанавливал по порядку маркеров в конспекте и `block_index` (счёт включает tangent-блоки). Рендер-ошибки 4, 30, 38 определены по расхождению якоря evidence и места маркера. +- Визуальные слайды проверены в основном по тексту и озвучке, картинки смотрел выборочно (18, 21, 32). +- Выборка качества текста: весь конспект просмотрен, глубокая сверка ASR по 8+ интервалам, не полное построчное сравнение. +- Изменённый текст конспекта относительно прошлых версий — возможный confounder (прошлые версии не читались). + +## Verdict + +`usable_with_minor_issues` + +Конспект полный, достоверный и структурно связный. Размещение слайдов в целом точное (40/41 в допустимом разделе, 0 ошибок среди verified/probable). Основные дефекты: статус `unbound` применён к 4 слайдам, которые обсуждались уверенно (6, 20, 27, 40), слайд 6 попал в неверный раздел, и три слайда отрисованы не у своего блока (4, 30, 38). diff --git a/benchmarks/lecture-quality/2026-10-11-after2-anf-v2.md b/benchmarks/lecture-quality/2026-10-11-after2-anf-v2.md new file mode 100644 index 0000000..3862e44 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-after2-anf-v2.md @@ -0,0 +1,285 @@ +# Независимая оценка качества конспекта: compilers-anf, режим v2, after2 + +Судья: claude sonnet, effort medium. Дата: 2026-10-11. task_id a6622f96ca124c30920d071423ee2a07. + +Статус файла: pass A и pass B готовы (см. ниже). + +## Объём и инвентарь + +- Результат: `/root/lecturelog-core/test-data/document-slide-alignment/runs/2026-10-11-after2-anf-v2/result/output/` (конспект.md, transcript.srt, structure.json, slides/, document-slide-alignment.json). +- Колода: `compilers-anf/slides.pdf`, 20 страниц (оверлеи отдельными слайдами). Текст слайдов взят через `pdftotext`, по страницам. +- Хэши (префикс sha256): конспект.md `c85c1c24...`, transcript.srt `0941eeb6...`, slides.pdf `a1b4fa5f...`. +- Конспект: 5 глав, 23 подраздела (1.1-1.2, 2.1-2.4, 3.1-3.7, 4.1-4.4, 5.1-5.6), плюс раздел «Непривязанные слайды». Транскрипт: 1419 реплик SRT, 00:00:04 - 01:22:20 (лекция около 82 минут). Маркеров `![Слайд N]`: 20 (по числу слайдов). Папка slides/ содержит 20 PNG. +- Отсутствующих артефактов нет. +- Оговорка по независимости: названия подразделов и заголовок «Непривязанные слайды» с перечнем «Слайд 5 / 14 / 20» видны в тексте конспекта без маркеров, поэтому факт, что матчер отнёс эти три слайда в раздел «непривязанные», мне был известен до pass B. Метки pass A выставлены по транскрипту и колоде и от этого не зависят (слайд 5 и 14 я считаю обсуждёнными, 20 - необсуждённым, исходя из речи). + +## Метод выборки + +- Все 20 слайдов проверены по тексту (pdftotext, постранично). Изображения слайдов в pass A не открывались: все слайды текстовые (код и схема на слайде 19), визуальных примеров, требующих отдельного разбора картинки, нет. +- Транскрипт прочитан целиком в склейке по ~30 секунд (начало, середина, конец), плюс grep по ключевым терминам (libc, линкер, runtime, GC, ELF, ссылки, Dragon, слайд). +- Конспект прочитан целиком (без строк `![Слайд N]`): начало (1.1-2.2), середина (3.x, 4.x), конец (5.x). Сверка с транскриптом: 00:00-00:29, 00:29-00:49, 00:49-01:08, 01:08-01:15, 01:15-01:22 (все интервалы лекции, не выборка). +- Метки pass A выставлены до открытия document-slide-alignment.json и structure.json (за исключением того, что сказано в оговорке выше). + +## Pass A: ground truth по слайдам + +Нумерация конспекта: 1.1 Орг/ДЗ, 1.2 Переход к ассемблеру/middle-end, 2.1 Введение в ANF, 2.2 Примеры, 2.3 Функция через CPS, 2.4 Разбор сложностей, 3.1 Мусор/каррирование, 3.2 Частичное применение, 3.3 Арность (диалог), 3.4 Замыкания и вычисление, 3.5 Типы и арность, 3.6 Глобальные функции vs аргументы, 3.7 if-then-else/итоги, 4.1 IF в ANF, 4.2 ANF и CPS, 4.3 Оптимизация/инлайнинг, 4.4 Вопросы по ANF, 5.1 Проблема замыканий, 5.2 Свободные переменные, 5.3 Варианты реализации, 5.4 Примеры, 5.5 Орг/названия, 5.6 Лямбда-подъём. + +| Слайд | Роль | Статус | Центральные понятия | Предпочтительный контекст | Допустимый диапазон | Доказательство (транскрипт) | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed (по роли; речи про титул нет) | «Компиляторы. ANF», автор, дата | начало лекции, раздел 1.1 | 1.1 (или шапка документа) | 00:00:04 начало; титульный слайд не пересказывается, проверяется только позицией | +| 2 | content | discussed | цель - ассемблер RISC-V; в мини-OCaml сложные конструкции: f(x+y), вложенные/анонимные функции, частичное применение, структуры данных; middle-end | 1.2 | 1.2 | 00:04:39 «никак не можете в ассемблер написать f от x плюс y», 00:05:12 «middle land», 00:05:43 «функции можно объявлять внутри функций... анонимные... частичное применение... структуры данных» | +| 3 | section_divider | discussed (по роли) | заголовок «ANF» | начало 2.1 | 1.2 (конец) - 2.1 | 00:06:17 «первое, что нам стоит сделать, это прикрутить...» | +| 4 | content | discussed | ANF как упрощённое представление; атомарные (immediate) аргументы; три типа immexpr/cexpr/aexpr | 2.1 | 2.1 | 00:06:54 «сложные аргументы сделать попроще... переменные и immediate»; 00:07:52 «разваливается на 3 вида конструкций»; 00:10:12 «IST ссылается на CEXPERT» | +| 5 | visual_example | discussed | пример (5+4)-2 | 2.2 | 2.2 | 00:10:12 «5 плюс 4 минус 2 это довольно простое выражение»; на слайде только условие примера (без результата) | +| 6 | content | discussed | то же выражение в ANF `let v1 = 5+4 in v1-2`, пример 2 `let x = 5 in x`, типы справа | 2.2 | 2.2 | 00:10:47 «v1 равно 5 плюс 4 ... Имена должны быть новые»; 00:11:22 «let x равно 5 in x это уже выражение в ANF» | +| 7 | content | discussed | конструкторы CImmExpr, ACExpr (обёртки простого в сложное и сложного в произвольное) | 2.2 | 2.2 | 00:11:53 «фейковые конструкторы, которые позволяют заворачивать выражение в сложные выражения и сложные в произвольные»; 00:12:22 «синтаксический мусор» | +| 8 | content | discussed | сложный случай Plus: результаты левого и правого слагаемого, выражение с дыркой (expr_with_hole) | 2.3 | 2.3 | 00:14:34 «функция, которая обозначает выражение с дыркой»; 00:15:00 «рекурсивно посчитать левую и правую часть плюса» | +| 9 | content | discussed | завершение Plus: ALet с новым именем, `expr_with_hole (ImmId ...)` | 2.3 | 2.3 | 00:15:59 «Для этого говорят let. Заводим специальное новое имя... и затыкаем дырку новым именем... свежее во всей программе» | +| 10 | summary | discussed | заключение: let/if - сложные места, лишние переменные `let x1 = x3 in x1`, арность и «каверзные» случаи `let temp1 = (+) x1 in temp1 x2`, `pure arrows`, инлайн сравнения в `if`, типизация до ANF | 3.1 (мусор, каррирование) и 3.7 (инлайн сравнения в if) | 3.1-3.7 целиком | 00:20:01 «самые сложные места - let и if... синтаксический мусор let x = y in x»; 00:21:22 «каррирование»; 00:50:44-00:51:39 про чистые стрелочки (pure arrows); 00:52:05-00:53:57 сравнения оставить внутри if; 01:05:49 «типы уж изучите» | +| 11 | content | discussed | if-then-else: вариант 1 (let fresh = if...), вариант 2 (if наружу, дублирование), «взрывается размер» | 4.1 | 4.1 | 00:54:45 «1 плюс if плюс 2... перегнать»; 00:55:17 первый вариант «let fresh»; 00:56:08 «код взрывается ... раскопировать» | +| 12 | content | discussed | вариант 3: `let fresh x = 1 + x + 2 in if x then fresh y else fresh z` | 4.1 конец / 4.2 начало | 4.1-4.2 | 00:56:43 «хитрые преобразования ... в if протаскивается только вызов функции, где функция представлена идентификатором, поэтому оно особо не взрывается» | +| 13 | summary | discussed | плюсы/минусы ANF: просто, взрыв кода рядом с if, не замкнуто относительно бета-редукции, инлайн затруднён; альтернатива CPS | 4.3 (инлайн, замкнутость) | 4.2-4.4 | 00:57:49 «конкурируют друг с другом» (CPS); 00:59:20 «недостатка ANF 2: взрыв... затруднительно делать оптимизации»; 00:59:52 «незамкнутость относительно инлайна» | +| 14 | section_divider | discussed (по роли) | «Преобразование замыканий (closure conversion)» | начало 5.1 | 4.4 (конец) - 5.1 | 01:04:27 «едем дальше»; 01:05:19 переход к замыканиям | +| 15 | content | discussed | `fac` с продолжением, вложенные функции и анонимные функции, которых нет в C/процессоре | 5.1 | 5.1-5.2 | 01:05:19 «функции можно объявлять... анонимно»; 01:07:10 «в вызове в четвёртой строке ... запускается анонимная функция как продолжение, в неё попадают через замыкания k и n» | +| 16 | content | discussed | closure conversion: три варианта (явная передача, n-ка, access links/displays по Dragon book); поиск свободных имён (AST, добавить имя, лямбда удаляет, удалить глобальные) | 5.2 (поиск), 5.3 (варианты) | 5.2-5.4 | 01:08:28 «идёте от листьев к корню и собираете свободные переменные»; 01:10:04 варианты (аргументы, n-ка в куче); 01:12:52 «DragonBook ... дисплеи и чейн-ринги» | +| 17 | visual_example | discussed | `fac` после явной передачи свободных имён; `fack1 k n m = k (m*n)` | 5.4 | 5.4 | 01:14:35 «для анонимной функции два дополнительных аргумента ... вытащили, функция трёх аргументов ... осталось частичное применение» | +| 18 | content | discussed | lambda lifting: все вложенные let-функции на верхний уровень, `fac n = fack n (fun x -> x)` | 5.6 | 5.6 | 01:18:31 «делаем конвертацию замыканий ... лямбда-лифтинг ... верхнеуровневые LET-ы ... fact k 1 ... identity» | +| 19 | visual_example | partially_discussed | схема miniML src - compiler - ASM + libC + runtime -> ELF; рантайм: создание/вызов замыканий, IO, создание данных, GC; вызов функций произвольной арности эффективно | 5.5 начало / 5.6 | 5.5-5.6 | только частично: 01:15:21 «обработка частичного применения должна быть сделана в рантайме»; 01:20:53-01:21:40 «храните указатель на код, формальные и частично применённые аргументы в массивчике ... соглашение о вызовах» (для создания/вызова замыканий и частичного применения); libc/линкер/ELF/GC/IO не упоминаются | +| 20 | reference_or_table | unmentioned | список литературы [1-5] (Aho, Cong, Flanagan, Kennedy, Maurer) | - | - | глобальный поиск по «ссылк», «статьи», «Aho», «Flanagan» и пр. - нет. «Dragon book» (01:12:52) относится к варианту 3 слайда 16, не к списку; «статья 85-го года» (01:06:44) - не из списка. Конец лекции 01:22:20 «слайды дальше неинтересно» | + +Итого pass A (20 слайдов, unknown нет): discussed 18 (из них 1, 3, 14 - только по роли: титул и два разделителя), partially_discussed 1 (слайд 19), unmentioned 1 (слайд 20). + +Неоднозначные: слайд 1 (титул) и 3, 14 (разделители) - дискуссии как таковой нет, оцениваются по позиции; слайд 12 (вариант 3) - обсуждение неявное (одна реплика про «протаскивание только вызова функции»); слайд 19 - частичное покрытие. + +## Pass A: качество конспекта (независимая выборка) + +Сильные стороны (в сверке с транскриптом): +- Покрытие: все основные темы лекции (ANF, CPS-дыра, арность, if-then-else, ANF vs CPS, замыкания, lambda lifting) присутствуют; хвост лекции (01:15-01:22: частичное применение в рантайме, C-бэкенд) представлен в 5.5-5.6. +- Технические абзацы 2.1, 2.3, 4.1, 4.3, 5.2, 5.3, 5.6 близки к речи лектора и корректно очищены (`immediate`, `let`, `lambda lifting`, регистры AMD64/ARM, n-ки на куче). +- ASR-неоднозначности честно помечены `[возможная ошибка распознавания: ...]`, `[неясный фрагмент]`. + +Дефекты pass A (без привязки к слайдам): +1. Утечка служебного текста: строка «Закрывается каллмаут.» внутри блоков `> [!tangent]-` в 3.6 (три раза, после отступлений про «Функсаже/замыкание», «Почему это сложный вопрос», «Филичкин, хватит тереть свой нос»). Это пометка конца callout-блока из промпта/разметки, в речи её нет. Тяжесть: warning (читателя сбивает, но смысл не искажает). +2. Строка-«вывод» от модели в tangent 1.2: «Подобные детали задают общий контекст подготовки студентов.» - добавлено моделью, в речи нет. Тяжесть: info. +3. Смысловая подмена в 3.6: «функцию, полученную через механизм **Closure conversion** (преобразование замыканий)». В речи (00:44:36-00:45:17) студент называет «замыкание... типа let», лектор радуется, что назвали замыкание/вложенную функцию; Closure conversion как «механизм получения функции» не упоминается. Это выдумка термина (позже на слайдах он действительно есть, но здесь не к месту). Тяжесть: warning (faithfulness). +4. Ключевой пример лекции (студент предъявил функцию арности 1: `let f n = ... ` с замыканием, 00:44:36-00:45:51) помещён в блок `tangent`, т.е. свёрнутую «не по теме» вставку. Лектор сам говорит «Вот это я ожидал увидеть» - это содержательный момент про арность. Тяжесть: warning (структура: контент ошибочно как отступление). +5. Раздел 2.4 «Разбор сложностей, вопросы и подведение итогов» (00:18:29-00:19:59) - сырой ASR без очистки: «И с, если вы будете его делать, но там они преодолимы». Слабое качество блока, warning. +6. Дробление: арность/каррирование занимают 3.2-3.6 (около 25 минут) шесть подразделов с повторяющимся диалогом студентов; много пересказа реплик аудитории («Происходит путаница...»), мало вывода. Структурное замечание, warning. +7. Мелкие искажения: в 2.2 «`v1` равно 5 плюс 4, минус `v1` минус 2» (калька ASR вместо `let v1 = 5+4 in v1-2`, видно со слайда); «Выражение вида `лет`» (ASR). Info. +8. Мини-пример из 3.4 («как если бы вы поели суп в одном ресторане, а в другом доесть до второго и запить») - верно передаёт шутку лектора (00:33:11), но семантически загрязняет абзац; info. +9. Языковая согласованность: русский везде; термины ANF/CPS/immediate/let/AST корректно оставлены латиницей; написание «АНФ»/«ANF» в заголовке главы 2 непоследовательно с телом («ANF»), info. «карирование» (одна р) в заголовках, info. +10. Отступления про домашку, Зиг, названия языков, посещаемость вынесены в tangent корректно; но 1.1 целиком (3:50 мин) состоит из одного tangent, раздел без основного текста, info. + +Ожидаемая оценка по измерениям (предварительно, до pass B): Faithfulness ~72-78, Coverage ~85-90, Block quality ~65-70, Structure ~65-70, Language ~85-90. + +--- + +# Pass B: сверка с размещением и document-slide-alignment.json + +Pass A (метки и качество текста) завершён и записан выше до открытия `document-slide-alignment.json`. Источник pass B: `document-slide-alignment.json` (mode v2, catalog `native-text-v1`, alignment `dp-v1`) и фактическая раскладка маркеров в конспект.md. + +Соответствие `global_section_id` разделам конспекта (проверено по раскладке маркеров): 0=1.1, 1=1.2, 2=2.1, 3=2.2, 4=2.3, 5=2.4, 6=3.1, 7=3.2, 8=3.3, 9=3.4, 10=3.5, 11=3.6, 12=3.7, 13=4.1, 14=4.2, 15=4.3, 16=4.4, 17=5.1, 18=5.2, 19=5.3, 20=5.4, 21=5.5, 22=5.6. + +Семантика статуса `unbound` принята по заданию: «раздел известен, места в речи нет», слайд лежит в галерее раздела `global_section_id`, `assignment_confidence=unresolved`, `anchor_s=null`. + +## Таблица margin и вердиктов по всем слайдам + +Margin берётся из reason_code (`margin=`); для unbound в скобках `path_min_margin`. «Причина» - lexical-часть reason_code / status_reason. Вердикт по разделу: correct / reasonable_range / incorrect / unmentioned-верно / unmentioned-ложно. Раздел в скобках - где слайд лежит в конспекте (номер подраздела). + +| Слайд | Статус | Confidence | Раздел (конспект) | Вердикт по разделу | Margin | Причина (reason_code / status_reason) | Вывод в конспект | +| ---: | --- | --- | --- | --- | ---: | --- | --- | +| 1 | unbound | unresolved | 4.2 (gs14) | incorrect (титул должен быть в начале, 1.1) | none (n/a) | semantic_strong, lexical=4.814; deck_order_conflict | галерея 4.2 | +| 2 | discussed | probable | 1.2 (gs1) | correct | 6.670 | semantic_strong, lexical=20.530 | inline, после блока 4 | +| 3 | unbound | unresolved | 4.2 (gs14) | incorrect (разделитель ANF должен быть в 2.1) | none (n/a) | semantic_explicit, lexical=4.814; deck_order_conflict | галерея 4.2 | +| 4 | discussed | probable | 2.1 (gs2) | correct | 4.915 | semantic_strong, lexical=18.495 | inline, после блока 2 | +| 5 | unmentioned | unresolved | - | unmentioned-ложно (обсуждён в 2.2, 00:10:12) | n/a | no_candidates | приложение | +| 6 | unbound | unresolved | 3.1 (gs6) | incorrect (должен быть 2.2) | (-4.175) | semantic_none, lexical=8.403; stronger_competitor | галерея 3.1 | +| 7 | unbound | unresolved | 2.2 (gs3) | correct (раздел верный) | (-7.997) | semantic_none, lexical=11.852; stronger_competitor | галерея 2.2 | +| 8 | discussed | probable | 4.2 (gs14) | incorrect (должен быть 2.3) | 1.521 | semantic_strong, lexical=10.719; weak_evidence_only | галерея 4.2 | +| 9 | discussed | probable | 4.2 (gs14) | incorrect (должен быть 2.3) | 2.332 | semantic_strong, lexical=11.637; weak_evidence_only | галерея 4.2 | +| 10 | unbound | unresolved | 3.7 (gs12) | correct (summary, 3.7 - один из предпочтительных) | (-3.714) | semantic_none, lexical=15.468; stronger_competitor | галерея 3.7 | +| 11 | discussed | probable | 4.1 (gs13) | correct | -0.606 | semantic_strong, lexical=15.917; weak_evidence_only | галерея 4.1 | +| 12 | discussed | probable | 4.1 (gs13) | correct | 0.728 | semantic_strong, lexical=15.918; weak_evidence_only | галерея 4.1 | +| 13 | discussed | probable | 4.2 (gs14) | reasonable_range (предпочтительно 4.3) | -0.423 | semantic_strong, lexical=9.391; weak_evidence_only | галерея 4.2 | +| 14 | unmentioned | unresolved | - | unmentioned-ложно (мягко: разделитель 5.1) | n/a | no_candidates | приложение | +| 15 | discussed | probable | 5.6 (gs22) | reasonable_range (предпочтительно 5.1-5.2; граничный случай) | 0.776 | semantic_explicit, lexical=14.255; weak_evidence_only | галерея 5.6 | +| 16 | unbound | unresolved | 5.4 (gs20) | reasonable_range (предпочтительно 5.2-5.3) | (-3.181) | semantic_none, lexical=11.694; stronger_competitor | галерея 5.4 | +| 17 | discussed | probable | 3.6 (gs11) | incorrect (должен быть 5.4) | 0.158 | semantic_strong, lexical=12.599; no_safe_semantic_block | галерея 3.6 | +| 18 | discussed | probable | 3.1 (gs6) | incorrect (должен быть 5.6) | 0.065 | semantic_strong, lexical=7.385; no_safe_semantic_block | галерея 3.1 | +| 19 | unbound | unresolved | 2.1 (gs2) | incorrect (должен быть 5.5/5.6) | (-3.490) | semantic_none, lexical=11.153; stronger_competitor | галерея 2.1 | +| 20 | unmentioned | unresolved | - | unmentioned-верно | n/a | no_candidates | приложение | + +Наблюдение по margin: среди 4 incorrect-«probable» margin равен 1.521, 2.332, 0.158, 0.065 - слайды 17 и 18 имеют margin < 0.2, но у слайдов 8 и 9 margin выше, чем у верно размещённых 12 (0.728) и 15 (0.776). Среди верных probable есть слайды с отрицательным margin (11: -0.606, 13: -0.423). То есть margin в этом прогоне не разделяет верные и неверные назначения; порог для «probable» вида margin > 0 не защищает (8, 9 прошли с запасом) и при этом режет верные (11, 13 с margin < 0 всё же остались probable). Verified-назначений нет вообще. + +## Разбор unbound-слайдов (7 штук) + +| Слайд | Верно ли понижение до unbound | Верен ли раздел галереи | Комментарий и доказательства | +| ---: | --- | --- | --- | +| 1 | допустимо (титул не требует якоря) | нет | Титул должен лежать в начале (1.1), он в галерее 4.2 («Связь ANF и CPS»). Причина `deck_order_conflict` общая со слайдом 3: слайды 1 и 3 привязаны к блоку 977 (00:59:38 «недостатка ANF 2. Это упомянутый в DNLS...»), тот же блок что у слайдов 9 и 13. Это следствие ошибочного размещения слайдов 8 и 9 в 4.2. | +| 3 | допустимо (разделитель) | нет | Разделитель «ANF» должен быть в начале 2.1 (00:06:17), лежит в 4.2 вместе со слайдом 1. Тот же блок 977, `deck_order_conflict`. | +| 6 | нет (unfair_demotion) | нет | Прямая речь 00:10:47 «v 1 равно 5 плюс 4 ... Имена должны быть новые» и 00:11:22 «let x равно 5 in x это уже выражение в ANF» в 2.2. Галерея 3.1, блоки 344-412 (00:20-00:24, «синтаксический мусор» и каррирование) - лексические совпадения по общим словам. path_min_margin -4.175. Диагностика: `path_section=3` (т.е. 2.2) указывает на верный раздел, но `global_section_id=6`; путь DP был ближе к истине, чем итоговая галерея (гипотеза: path_section индексируется так же, как global_section_id). | +| 7 | нет, мягко (unfair_demotion, потеря якоря) | да (2.2) | Прямая речь 00:11:53 «фейковые конструкторы, которые позволяют заворачивать выражение в сложные выражения...» в 2.2; слайд лежит в галерее 2.2, доказательные блоки 164-216 внутри 2.2. Потерян только inline-якорь. path_min_margin -7.997 (самый низкий в прогоне). `path_section=6` не совпадает с `global_section_id=3`. | +| 10 | да (summary, диапазон) | да (3.7) | Слайд-заключение, пересекающий 3.1-3.7; 3.7 содержит «чистые стрелочки» (00:50:44-00:51:39) и инлайн сравнений в `if` (00:52:05-00:53:57). Понижение до галереи - правильная стратегия для summary. path_min_margin -3.714; `path_section=6`. | +| 16 | да (многосоставной слайд: поиск имён + 3 варианта) | да, допустимо (5.4; предпочтительно 5.2-5.3) | Галерея 5.4 соответствует блокам 1232-1275 (01:12:53-01:15:28, упоминание Dragon book). path_min_margin -3.181; `path_section=17` (5.1) для пути слабее галереи. | +| 19 | да (обсуждён лишь частично, схема рантайма) | нет | Галерея 2.1 «Введение в ANF» (блоки 95-163, около 00:06-00:10). Схема miniML-runtime/libC касается 5.5-5.6 (01:15:21, 01:20:53). path_min_margin -3.490; `path_section=18`, `visual_contribution 0.27` (картинка тянула к «ассемблер/регистры» раздела 1-2). | + +Итог по unbound: понижение корректно для 4 из 7 (1, 3, 10, 16) и частично для 19 (слайд обсуждён частично); некорректно для 2 (6, 7), где слайд имел прямой контекст. Раздел галереи верен/допустим для 3 из 7 (7, 10, 16), неверен для 4 из 7 (1, 3, 6, 19). Вердикт unfair_demotion: слайды 6 (раздел при этом неверный) и 7 (раздел верный). + +## Критические и значимые дефекты + +Критических (повреждённый или отсутствующий результат): нет. Все 20 слайдов выведены, ссылки на slides/*.png валидны. + +Major (материально вводит в заблуждение): +1. Слайды 8 и 9 (`probable`, margin 1.521 и 2.332) размещены в 4.2 «Связь ANF и CPS-представлений» (anchor 3543.455 и 3578.205 c, 00:59:03 и 00:59:38). Содержимое слайда 8: «Plus(..., ...). Не совсем понятно, что делать с результатами левого и правого слагаемого» и `anf left (fun limm -> ...`; слайда 9: `ALet("result_of_plus", CPlus(limm, rimm), ...)`. Контекст размещения (00:59:20 «борьба с взрыванием тела и else. И короткие программы исполняются быстрее») посвящён недостаткам ANF. Лучший контекст: 2.3, 00:15:00 «вам нужно рекурсивно посчитать левую часть плюса и правую часть плюса» (слайд 8) и 00:15:59 «для этого говорят let. Мы заводим специальное новое имя ... затыкаем дырку новым именем» (слайд 9). Регресс для читателя: ключевые слайды реализации ANF оторваны от объяснения на 45 минут. +2. Слайд 17 (`probable`, margin 0.158): размещён в 3.6 «Различие между глобальными функциями и аргументами-функциями» (anchor 2737.265 c, 00:45:37, «Функсаже? Нет, Функсаже, ну это замыкание. Типа led? Да»). Слайд показывает явную передачу свободных переменных `fack1 k n m = k (m * n)` (closure conversion). Лучший контекст: 5.4, 01:14:35 «я сделал для анонимной функции 2 дополнительных аргумента ... вытащили, получилась функция трех аргументов». +3. Слайд 18 (`probable`, margin 0.065): размещён в 3.1 «Борьба с синтаксическим мусором» (anchor 1226.485 c, 00:20:26). Слайд «А затем - lambda lifting». Лучший контекст: 5.6, 01:18:48 «мы можем сделать так называемый лямбда-лифтинг и все вложенные LET-ы ... сделать верхнеуровневыми». Оторван от темы на час, нарушает хронологию документа. +4. Слайд 5 ложно `unmentioned` (приложение): обсуждается в 2.2 на 00:10:12 «5 плюс 4 минус 2 это довольно простое выражение». Слайд на странице «Примеры и уточнения» уходит в «Непривязанные слайды», причина `no_candidates`: у слайда нет текста кроме «(5 + 4) - 2» (почти нулевой лексический сигнал, визуальная часть не помогла: visual_contribution null). +5. Слайды 1, 3 (unbound) - в галерее 4.2 вместо начала документа / 2.1 (титул и разделитель ANF). Слайд 6 - в 3.1 вместо 2.2. Слайд 19 - в 2.1 вместо 5.5/5.6. + +Warning: +6. Слайд 14 (разделитель «Преобразование замыканий») - в приложении (`no_candidates`), хотя раздел 5.1 начинается ровно на нём (01:04:27 «едем дальше»). Мягкая ложная `unmentioned`: у разделителя нет собственной речи, но по роли его место - начало 5.1. +7. Слайд 15 (probable, margin 0.776) в 5.6 в конце документа; приемлемо (ссылка на тот же `fact k` + `identity`, 01:19:08), но основное объяснение в 5.1-5.2 (01:07:10). +8. Утечки служебного текста в конспект: 3 строки «Закрывается каллмаут.» внутри блоков `[!tangent]` раздела 3.6 (конспект.md строки 258, 264, 272). В транскрипте такой фразы нет (`grep` по «каллмаут/callout» пуст). Это конец-маркер callout-разметки из промпта. Строка-вывод модели «Подобные детали задают общий контекст подготовки студентов.» в tangent раздела 1.2 (строка 40 без маркеров) - инструкции в явном виде не содержит, но добавлена моделью. Других инструкций промпта (поиск по «промпт», «инструкц», «Примечание», «не включ») не найдено. +9. Риск неверной уверенности: слайды 17 и 18 выводятся с `anchor_confidence: fallback` (`no_safe_semantic_block`) при `assignment_confidence: probable`: система сама не нашла безопасного блока, но оставила `probable` в назначении. + +Дефекты рендера (assignment верный, маркер не там / грубее, чем возможно): +- Серьёзных ошибок рендера (маркер не в разделе из placements) нет: все 20 маркеров встречаются ровно по одному разу (дубликатов 0, пропусков 0), расположены в конце раздела из placements (gallery `after_content`) либо inline (слайды 2 и 4). +- Слайды 11, 12 (assignment верный, 4.1) выведены как галерея в конце раздела (`weak_evidence_only`), хотя речь о вариантах 1 и 2 локализована (00:55:17-00:56:43). Слайд 13 (4.2 - допустимо) и 15 (5.6 - допустимо) тоже уходят в галерею по `weak_evidence_only`. Итого 4 слайда с верным/допустимым assignment потеряли inline-якорь по причине слабости доказательств. +- Слайд 7: assignment-раздел верен (2.2), но unbound-галерея в конце раздела (inline не получен). +- Слайд 4: inline после блока 2 («Глобально ANF означает ... три вида конструкций», 00:07:52) - верный локальный контекст. Слайд 2: inline после последнего абзаца 1.2 («функции внутри функций, анонимные, частичное применение, структуры данных»), точное совпадение с буллетами слайда. + +Утечки служебного текста / инструкций в конспект: см. п. 8 (3 строки «Закрывается каллмаут.», строки 258, 264, 272; плюс 1 «вывод» модели в tangent 1.2). + +Ложные unmentioned: слайд 5 (жёсткое, major), слайд 14 (мягкое, divider). Слайд 20 - `unmentioned` верно. + +Коллапс: в галерее 4.2 сошлись 5 слайдов (1, 3, 8, 9, 13), из них 4 (1, 3, 8, 9) семантически чужие; блок 977 является доказательством для 4 слайдов (1, 3, 9, 13) - максимум слайдов на одну доказательную реплику = 4; блок 966 - 1 слайд (8). Максимум слайдов на один рендер-якорь (раздел-галерея): 5 (4.2). Раздел 3.1 получил 2 чужих слайда (6, 18), раздел 2.1 - 1 чужой (19). + +## Метрики + +Базовая разметка (pass A): 20 слайдов, unknown 0. Позитивные (discussed + partially_discussed) = 19 (в том числе 3 слайда discussed «по роли»: 1, 3, 14), негативные = 1 (слайд 20). Partially_discussed (слайд 19) считается позитивным. + +Предсказания матчера: discussed 10 (2, 4, 8, 9, 11, 12, 13, 15, 17, 18), unbound 7 (1, 3, 6, 7, 10, 16, 19), unmentioned 3 (5, 14, 20). + +### Обнаружение обсуждения + +| Метрика | (а) unbound = discussed со своей галереей | (б) unbound = не-discussed, исключены из знаменателя | +| --- | --- | --- | +| Предсказано discussed (знаменатель precision) | 17 (10 + 7) | 10 | +| Истинно позитивных среди них | 17 | 10 | +| Discussed precision | 17/17 = 100% | 10/10 = 100% | +| Знаменатель recall: фактически обсуждённых | 19 | 12 (19 - 7 unbound: 1, 3, 6, 7, 10, 16, 19 все позитивные) | +| Discussed recall | 17/19 = 89.5% | 10/12 = 83.3% | +| Unmentioned false-negative rate | 2/19 = 10.5% (слайды 5, 14) | 2/12 = 16.7% (слайды 5, 14) | +| Unknown исключено | 0 | 0 | + +Для справки (в (б) unbound считаются предсказанными как не-discussed, но остаются в знаменателе): recall = 10/19 = 52.6%, FN-rate с учётом unbound 9/19 = 47.4%. Строгая версия без слайдов «по роли» (1, 3, 14 переведены в unknown): (а) precision 15/15 = 100%, recall 15/16 = 93.8%, FN-rate 1/16 = 6.3% (только слайд 5); (б) precision 10/10, recall 10/11 = 90.9% (знаменатель 12 - 1 слайд 14 = 11), FN-rate 1/11 = 9.1%. + +### Семантическое размещение (слайды, получившие раздел) + +Вердикты: correct 2, 4, 7, 10, 11, 12; reasonable_range 13, 15, 16; incorrect 1, 3, 6, 8, 9, 17, 18, 19. + +| Метрика | (а) 17 слайдов с разделом | (б) 10 discussed-слайдов | +| --- | --- | --- | +| Acceptable topic accuracy | 9/17 = 52.9% (2, 4, 7, 10, 11, 12, 13, 15, 16) | 6/10 = 60.0% (2, 4, 11, 12, 13, 15) | +| Preferred topic accuracy | 6/17 = 35.3% (2, 4, 7, 10, 11, 12) | 4/10 = 40.0% (2, 4, 11, 12) | +| Wrong-topic rate | 8/17 = 47.1% (1, 3, 6, 8, 9, 17, 18, 19) | 4/10 = 40.0% (8, 9, 17, 18) | + +Unknown исключено: 0. Три приложения (5, 14, 20) в знаменатель размещений не входят. + +### Локальный якорь + +Inline-якорей два (слайды 2 и 4), остальные 15 размещённых слайдов - галереи раздела (локальный якорь не заявлен), 3 в приложении. +- Best-context hit (среди inline): 2/2 = 100% (слайды 2, 4); acceptable-context hit: 2/2. +- Среди всех 17 размещённых слайдов (раздел верен = acceptable_context в рамках галереи): 9/17 = 52.9% (a); 6/10 = 60% (б). +- Materially-better-context rate (есть заметно лучший контекст в другом разделе): 8/17 = 47.1% (а), 4/10 = 40.0% (б) - те же слайды, что wrong-topic. Anchor regret `major`: 1, 3, 6, 8, 9, 17, 18, 19; `small`: 13, 15, 16 (доп. локализация), 11, 12, 7, 10 (потеря inline в рамках верной секции); `none`: 2, 4. + +### Уверенность + +| Метрика | Значение | +| --- | --- | +| Verified-назначений | 0 (verified precision не определена, 0/0) | +| Probable-назначений | 10 (все discussed); из них неверных 4 (8, 9, 17, 18) | +| High-confidence error rate (incorrect verified|probable / all verified|probable) | 4/10 = 40.0% | +| Unresolved | 10 (7 unbound + 3 unmentioned) | +| Unresolved precision (действительно без поддержки / все unresolved) | 1/10 = 10.0% (только слайд 20; 6 unbound с поддержкой, 5 и 14 - ложные unmentioned, 19 - частично) | +| Probable с отрицательным margin | 2 (11, 13), оба верны/допустимы | + +Если для (б) считать только 13 не-unbound слайдов: unresolved там 3 (5, 14, 20), unresolved precision 1/3 = 33.3%. + +### Коллапс и рендеринг + +| Метрика | Значение | +| --- | --- | +| Collapsed-slide rate | 4/20 = 20.0% (1, 3, 8, 9 в галерее 4.2); 5/20 = 25% если включить 13 | +| Макс. слайдов на доказательную реплику | 4 (блок 977: слайды 1, 3, 9, 13) | +| Макс. слайдов на рендер-якорь (галерея) | 5 (раздел 4.2) | +| Дубликаты маркеров | 0 | +| Пропущенные маркеры/картинки | 0 (20/20 маркеров, 20/20 PNG) | +| Ложные попадания в приложение | 2 (слайд 5 жёстко, слайд 14 мягко); слайд 20 в приложении верно | +| Assignment верный, рендер грубее (галерея вместо inline) | 4 (11, 12, 13, 15) + слайд 7 (unbound) | +| Rendering correctness (маркер там, где сказано в placements) | 20/20 = 100% | +| Rendering correctness с учётом смысла (inline там, где можно было) | 2 inline из 9 слайдов с верным/допустимым разделом (2, 4, 7, 10, 11, 12, 13, 15, 16) | + +### Метрики по ролям (семантика / рендер) + +| Роль | Слайды | Раздел верен или допустим | Комментарий | +| --- | --- | ---: | --- | +| title / divider / closing | 1, 3, 14 | 0/3 | титул и разделитель ANF в 4.2, разделитель замыканий в приложении | +| content | 2, 4, 6, 7, 8, 9, 11, 12, 15, 16, 18 | 7/11 | ошибки 6, 8, 9, 18 | +| summary / reference | 10, 13, 20 | 3/3 | стратегия «галерея в диапазоне» работает | +| visual_example | 5, 17, 19 | 0/3 | 5 в приложении, 17 в 3.6, 19 в 2.1; визуальная часть (visual_contribution ≤ 0.27) не помогла | +| appendix / blank | - | не применимо | слайд 20 корректно в приложении | + +## Оценки по измерениям (scorecard) + +| Измерение | Оценка | Уверенность | Резюме | +| --- | ---: | --- | --- | +| Faithfulness | 72 (68-78) | средняя | Один выдуманный термин (3.6 «механизм Closure conversion»), 3 строки утечки callout, остальное в целом верно; ASR-огрехи размечены | +| Content coverage | 86 (82-90) | высокая | Все темы и хвост лекции на месте; ключевой диалог про арность вынесен в tangent | +| Block quality | 66 (60-72) | средняя | 2.4 - сырой ASR, 3.2-3.6 пересказ диалога студентов, утечки «Закрывается каллмаут.» | +| Document structure | 66 (60-72) | средняя | 23 подраздела на 82 мин, 5 подразделов про арность подряд; 1.1 только tangent | +| Language consistency | 88 (84-92) | высокая | Русский, термины оставлены корректно | +| Slide semantic relevance | 55 (50-60) | средняя | 9 из 17 допустимо (a); 6 из 10 (б) | +| Slide anchor precision | 40 (35-50) | средняя | 2 inline, оба точные; 15 галерей; 8 слайдов с major-регретом | +| Confidence calibration | 40 (35-50) | средняя | 4/10 probable неверны, margin не разделяет; verified отсутствует; unbound-механика частично полезна (10, 16), частично вредна (1, 3, 6, 19) | + +Общую среднюю не считаю (по правилам шаблона). + +## Сильные стороны, подтверждённые доказательствами + +- Слайды 2 и 4 - точные inline-размещения (probable, margins 6.670 и 4.915), локальный блок совпадает с содержанием слайда. +- Слайды 11 и 12 - верный раздел 4.1 (прямое обсуждение вариантов 1-2 `let fresh`, дублирование веток). +- Слайд 10 (summary) - 3.7 (чистые стрелки, инлайн сравнений) - корректное использование галереи для обобщающего слайда. +- Слайд 20 корректно в приложении; слайд 16 в 5.4 - допустимо. +- Нет дублирующихся или потерянных маркеров, все слайды различимы. + +## Калибровка уверенности + +- Неверные `probable`: 4 (8, 9, 17, 18). `verified`: нет. Слабые высоко-уверенные: слайд 18 (margin 0.065), 17 (0.158) - близкие к нулю margin, при этом assignment остаётся `probable`. +- Ложные `unmentioned`: слайд 5 (жёстко), слайд 14 (мягко). +- Уместные fallback: слайд 20 (unmentioned), слайды 10, 16 (unbound), 7 (раздел верен). +- Неуместные unbound: 6 (раздел неверен), 7 (раздел верен), и titles 1, 3 (раздел неверен). +- Цепочка: неверное размещение 8/9 в 4.2 породило `deck_order_conflict` для 1 и 3 (оба в 4.2): две ошибки на одном ложном якоре усиливают друг друга. +- Диагностическая гипотеза (info): у пяти unbound со `path_section` (6, 7, 10, 16, 19) `path_section` не совпадает с `global_section_id`; для слайда 6 путь указывал на верный раздел (3 = 2.2). Если индексация общая, галерея могла выбираться иначе, чем решал DP-путь. + +## Неопределённость и ограничения + +- Проверено полностью: все 20 слайдов по тексту, транскрипт целиком, конспект целиком. +- Не проверено: изображения слайдов не открывались (визуальные детали, например, подсветка на слайде 17, не учитывались); слайды 1, 3, 14 (титул/разделители) и 19 (частично обсуждён) неоднозначны; слайд 15 - граничный случай между `reasonable_range` и `incorrect` (я отнёс к reasonable_range ввиду пересказа `fact k`/`identity` в 5.6). +- Слайд 12 (вариант 3) обсуждён неявно (одна реплика), поэтому его разметка discussed менее надёжна. +- Утечка «Закрывается каллмаут.» подтверждена в конспекте и отсутствует в транскрипте (проверено по тексту SRT). +- Известная независимость: заголовок «Непривязанные слайды» с перечнем 5, 14, 20 был виден в конспекте до pass B (не повлиял на метки pass A). + +## Вердикт + +`usable_with_alignment_issues` + +Обоснование: текст конспекта в основном полезен и полон (покрытие около 86, язык хороший), но слайды материально вводят читателя в заблуждение: 8 из 17 размещённых слайдов лежат вне допустимого диапазона (в (б) 4 из 10), среди них четыре `probable`-ошибки (8, 9, 17, 18) и две ложные `unmentioned` (5, 14); 3 из 3 титульных/разделительных слайдов размещены неверно. Критических дефектов формата нет, `verified`-ошибок нет (верифицированных нет вовсе). + +## Что должен проверить родитель + +- Все incorrect-probable: слайды 8, 9, 17, 18 (по нормативу - incorrect verified/probable) и их лучшие контексты (2.3 00:14:34-00:17:53; 5.4 01:14:35; 5.6 01:18:31). +- Ложные unmentioned: слайды 5, 14. +- Неверный раздел unbound: 1, 3, 6, 19; unfair_demotion: 6, 7. +- Утечка «Закрывается каллмаут.» (строки 258, 264, 272 конспекта). +- Арифметика: precision/recall (а) 17/17, 17/19; (б) 10/10, 10/12; размещение (а) 9/17, 6/17, 8/17; (б) 6/10, 4/10, 4/10; high-confidence error 4/10. diff --git a/benchmarks/lecture-quality/2026-10-11-after2-db-v2.md b/benchmarks/lecture-quality/2026-10-11-after2-db-v2.md new file mode 100644 index 0000000..13f3682 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-after2-db-v2.md @@ -0,0 +1,219 @@ +# Независимая оценка качества: db-2026-09-24, режим v2, замер «после» этапа 1 (after2) + +Судья: claude sonnet, effort medium. Дата: 2026-10-11. task_id 56bf7989e5654694af9438793fa0aa4f. + +Источники: `test-data/document-slide-alignment/runs/2026-10-11-after2-db-v2/result/output/` (конспект.md, transcript.srt, structure.json, slides/, document-slide-alignment.json); колода `test-data/document-slide-alignment/db-2026-09-24/slides.pptx` (41 слайд). Прошлые отчёты не читались. + +## Инвентарь и метод + +- 41 слайд в колоде, 41 строка `![Слайд N]` в конспекте, 7 частей / 20 подразделов, транскрипт 1357 реплик (00:00:01 - 00:58:50, лекция 59 мин). +- Pass A выполнен по нативному тексту pptx, PNG слайдов (картинки/схемы 12, 18, 25, 32, 38 просмотрены глазами) и полному транскрипту (прочитан целиком окнами по 30 с). Конспект читался с вырезанными строками `![Слайд N]`. alignment.json и structure.json на этом проходе не открывались. +- Лекция короткая и линейная: лектор идёт по слайдам последовательно, но слайды-«билды» (34-37) и повтор определения СУБД (20 и 34) требуют диапазонов. + +## Pass A: ground truth + +| Слайд | Роль | Статус | Центральные понятия | Предпочтительный контекст | Допустимый диапазон | Доказательство | +|---:|---|---|---|---|---|---| +| 1 | title | discussed | курс «Базы данных», лекция 1 | 00:00:01-00:00:49 | 0:00-0:49 | «курс у нас называется База данных... у магистрантов» | +| 2 | content | discussed | о лекторе, карьера | 00:00:49-00:01:41 | 0:49-2:08 | «старшим преподавателем кафедры системного программирования... Газпромнефть» | +| 3 | content | discussed | организационное, экзамен, чат | 00:02:08-00:02:38 | 1:41-2:38 | «В конце устный экзамен... допуск к экзамену по результатам практики» | +| 4 | content | discussed | программа курса | 00:02:38-00:04:11 | 2:38-4:11 | «транзакции блокировки... индексирования, оптимизации» | +| 5 | content | discussed | знать и уметь | 00:04:11-00:05:47 | 4:11-5:47 | «Что нужно знать и уметь после окончания курса?» | +| 6 | reference | discussed (общо) | литература по СУБД, Дейт | 00:05:47-00:06:19 | 5:47-6:49 | «книга Data это классика по модели» | +| 7 | reference | discussed (общо) | литература по SQL, PostgreSQL | 00:06:19-00:07:19 | 6:19-7:19 | «особое внимание я бы все-таки сейчас уделил постгрессу» | +| 8 | content | discussed | определение ИС | 00:08:22-00:09:25 | 7:19-9:25 | «программно-аппаратное решение, обеспечивающее надежное хранение информации» | +| 9 | content | discussed | определение Silver et al. | 00:09:25-00:10:28 | 9:25-10:28 | «система включает аппаратное обеспечение, программное обеспечение, данные, людей и процедуры» | +| 10 | content | discussed | определение ACM | 00:10:28-00:11:28 | 10:28-12:31 | «от Ассоциации вычислительной техники» + симбиоз ИТ и бизнеса | +| 11 | content | discussed | примеры ИС | 00:12:31-00:14:34 | 12:31-14:34 | ERP, экспертные, BI/OLAP, экосистемы | +| 12 | section_divider/visual_example | partially_discussed | эволюция техники 1950-1980 (4 фото) | 00:14:34-00:15:05 | 14:34-16:41 | «Пройдемся по этапам эволюции вычислительной техники»; фото не описываются | +| 13 | visual_example | partially_discussed | UNIVAC, первые ЭВМ и мейнфреймы | 00:16:07 | 15:05-16:41 | «Появляются 1-ые компьютеры, потом мейнфреймы с терминалами» | +| 14 | content | discussed | RAMAC 1956, 5 МБ | 00:16:41-00:17:43 | 16:41-18:13 | «жесткий диск от IBM... 5 мегабайт» | +| 15 | content | discussed | IBM 360, централизация | 00:18:13-00:18:44 | 18:13-19:15 | «отличительной особенностью... склонность к централизации» | +| 16 | content | discussed | 1970-2000, ПК, децентрализация, БД выделены | 00:19:15-00:21:54 | 19:15-22:24 | «выделение баз данных и системы управления базами в отдельный класс технологий» | +| 17 | content | discussed | бизнес-логику можно отделить от хранения | 00:22:24-00:23:25 | 21:54-23:25 | «можно отделить от логики хранения. Это была революционная... идея» | +| 18 | visual_example | discussed (композитно) | пирамида UI/бизнес-логика/хранилище | 00:22:24-00:23:25 | 21:54-23:25 | «бизнес-логика и хранилище данных»; пирамида прямо не комментируется | +| 19 | content | discussed | определение БД | 00:23:25-00:24:56 | 23:25-24:56 | «Совокупность данных, хранимых в соответствии со схемой данных» | +| 20 | content | discussed | определение СУБД, функции (3) | 00:24:56-00:26:28 | 24:56-27:28 | «совокупность программных и лингвистических средств» | +| 21 | content | discussed | БД - хранение, СУБД - управление | 00:27:28 | 26:58-27:59 | «БД это хранение данных, а система управления базами данных это управление» | +| 22 | content | discussed | сначала БД без СУБД, файлы | 00:27:28-00:29:04 | 27:28-29:04 | «формат файлов был специфичен для каждой программы» | +| 23 | content | discussed | физическая независимость | 00:29:04-00:29:35 | 28:29-29:35 | «смена физического места хранения данных не оказывает влияния» | +| 24 | content | discussed | логическая независимость | 00:29:35-00:31:06 | 29:35-31:06 | «изменения подсхемы 1 пользователя не влияют на других» | +| 25 | visual_example | discussed | ANSI_SPARC диаграмма | 00:31:06-00:32:07 | 31:06-32:07 | «внешнее представление... концептуальная схема... internal schema» | +| 26 | content | discussed | три уровня подробно | 00:32:07-00:34:37 | 32:07-34:37 | инфологическая/даталогическая модель, физический уровень | +| 27 | content | discussed | история СУБД: System R, SQL, стандарты | 00:34:37-00:37:53 | 34:37-38:23 | «в 1974 году появилась система... SQL 2023» | +| 28 | content | discussed | 2000+: распределённые, облако, NoSQL | 00:38:23-00:40:59 | 37:53-41:00 | «резервирование данных географически удаленных ЦОД... нереляционные» | +| 29 | content | discussed | причины развития БД | 00:40:59-00:44:13 | 40:59-44:46 | производительность, объёмы, сеть, «данные важнее программ» | +| 30 | reference/visual | discussed | статистика объёмов данных | 00:44:46-00:45:46 | 44:13-45:46 | «количество данных... неуклонно растет... видеоконтент половина» | +| 31 | reference/visual | discussed | статистика Big Data | 00:45:46-00:47:21 | 45:46-47:21 | «Размер международного рынка больших данных» | +| 32 | visual_example | discussed | архитектура обработки данных (Batch/Stream/Analytical store) | 00:47:21-00:49:57 | 47:21-49:57 | «stream processing... analytical data store» | +| 33 | reference | discussed | игроки рынка СУБД | 00:49:57-00:52:36 | 49:57-52:36 | «Основные игроки на рынке... Oracle, MSQL сервер»; SQLite-отступление | +| 34 | content (билд 1) | discussed | функции СУБД: хранение, создание, схема, резервирование | 00:52:36-00:53:06 | 52:36-54:07 | «постоянное хранение данных. Это и создание БД, и описание ее схемы» | +| 35 | content (билд 2) | discussed | + ограничения целостности | 00:53:06-00:53:37 | 52:36-54:07 | «Что туда входит?.. ограничения целостности» | +| 36 | content (билд 3) | discussed | + запросы ВУ, конкурентность, масштабирование | 00:53:37-00:54:07 | 52:36-54:07 | «конкурентный многопользовательский доступ... масштабирования» | +| 37 | content (билд 4) | discussed | + бизнес-логика | 00:53:37-00:54:07 | 52:36-54:07 | «Возможность реализации бизнес-логики в задачах обработки данных» | +| 38 | visual_example | discussed | проникновение слоёв архитектуры | 00:54:07-00:55:11 | 54:07-55:11 | «слой бизнес слойки, слой хранения данных... классы ООП» | +| 39 | content | discussed | IT-профессии вокруг БД | 00:55:11-00:57:16 | 55:11-57:16 | «архитектором БД... администратором БД... дата-инженером» | +| 40 | content | discussed | работа проектировщика БД | 00:57:16-00:57:49 | 57:16-57:49 | «Разработка инфологической модели данных... ER-модель» | +| 41 | content | discussed | работа аналитика данных | 00:57:49-00:58:19 | 57:49-58:19 | «Валидация данных, обработка данных, подготовка отчетов, data mining» | + +Итог pass A: discussed 39, partially_discussed 2 (12, 13), unmentioned 0, unknown 0. Appendix/blank слайдов нет. Истинно discussed/partial (положительные) = 41. + +### Качество конспекта (pass A) + +- Сэмпл: начало (0:00-7:17), середина (24-38 мин), конец (52-59 мин), >8 интервалов: 00:07, 00:14, 00:22, 00:29, 00:34, 00:41, 00:47, 00:52, 00:55. Расхождений с транскриптом по существу не найдено: RAMAC 5 МБ, ANSI_SPARC, 1974 System R, SQL:2023, SQLite. +- Структура: 20 подразделов по ходу лекции, временные метки и границы (напр. 00:14:36, 00:19:04, 00:34:29) совпадают с темами в транскрипте. Хвост лекции (организация, перенос на завтра 19:30) покрыт отдельным разделом. +- Отступления (`[!tangent]`) в целом уместны (проверка звука, Telegram, «вылетела из головы System R», проверка SQL:2023); часть из них цитирует речь лектора дословно с ASR-огрехами («система AR»), что слегка шумит. +- Мелкая неточность: ASR-ошибка «позиционирования» (транскрипт, cue около 00:03:09) перенесена в конспект (раздел «Организация курса»), хотя слайд 4 даёт «партиционирование»; не исправлена. В тангенте про System R сохранена ASR-форма «система AR» (в основном тексте корректно System R). +- Язык: проза русская, англоязычные термины (analytical data store, Software as a Service) оставлены как имена, смешения нет. + +## Pass B: аудит матчера + +Pass B начат после завершения pass A (таблица выше не менялась). Артефакт: `document-slide-alignment.json` (schema_version 1, mode v2, 41 assignment и 41 placement). Единственный `unbound`: слайд 16. Статусов `unmentioned` в артефакте нет, статусов `fallback`/`unresolved` как match_status нет (слайд 16 имеет confidence `unresolved`). + +### Таблица margin и вердиктов (все 41 слайд) + +| Слайд | Статус | Confidence | Раздел (global id) | Вердикт по разделу | margin | Причина (reason_code) | Размещение | Комментарий | +|---:|---|---|---|---|---|---|---|---| +| 1 | discussed | probable | 0 Введение/лектор | correct | 5.048 | semantic_strong | inline/b2 | 0:21, title в начале | +| 2 | discussed | probable | 0 Введение/лектор | correct | 8.059 | semantic_strong | inline/b2 | | +| 3 | discussed | verified | 1 Организация курса | correct | 23.605 | semantic_explicit | section_gallery | gallery-fallback; 2:20 в окне 2:08-2:38 | +| 4 | discussed | verified | 1 Организация курса | correct | 21.533 | semantic_explicit | inline/b3 | | +| 5 | discussed | verified | 2 Ожидаемые результаты | correct | 53.331 | semantic_explicit | inline/b1 | | +| 6 | discussed | verified | 3 Литература | correct | 3.156 | semantic_explicit | inline/b1 | | +| 7 | discussed | verified | 3 Литература | correct | 8.062 | semantic_explicit | inline/b1 | | +| 8 | discussed | verified | 4 Определения ИС | correct | 19.161 | semantic_explicit | inline/b0 | | +| 9 | discussed | verified | 4 Определения ИС | correct | 12.405 | semantic_explicit | inline/b1 | | +| 10 | discussed | verified | 4 Определения ИС | correct | 22.105 | semantic_explicit | inline/b2 | | +| 11 | discussed | verified | 5 Примеры ИС | correct | 19.830 | semantic_explicit | inline/b3 | | +| 12 | discussed | probable | 6 Эволюция 1950-70 | reasonable_range | 0.281 | semantic_explicit | section_gallery | divider эволюции; gallery в конце раздела, слабое evidence, но раздел верен | +| 13 | discussed | probable | 6 Эволюция 1950-70 | correct | 17.697 | semantic_strong | inline/b0 | | +| 14 | discussed | probable | 6 Эволюция 1950-70 | correct | 7.903 | semantic_strong | section_gallery | RAMAC 5 МБ на 17:23; gallery вместо inline | +| 15 | discussed | verified | 6 Эволюция 1950-70 | correct | 3.310 | semantic_explicit | section_gallery | IBM 360 на 18:22; gallery | +| 16 | unbound | unresolved | 7 ИС 1970-80 | correct (unbound; понижение неверно) | (none; path_min_margin в артефакте отсутствует) | semantic_none / stronger_competitor | section_gallery | УНЕСЕНО в unbound: лектор на 21:24 «как здесь указано на слайде, начался взрывной рост BI. Много пользователей одновременно...» | +| 17 | discussed | verified | 7 ИС 1970-80 | correct | 6.652 | semantic_explicit | inline/b3 | | +| 18 | discussed | probable | 7 ИС 1970-80 | reasonable_range | 0.068 | semantic_explicit | section_gallery | пирамида UI/бизнес-логика/хранилище на 23:27, margin практически 0; граница окна 22:24-23:25 | +| 19 | discussed | verified | 8 Понятия БД и СУБД | correct | 18.938 | semantic_explicit | inline/b0 | | +| 20 | discussed | probable | 17 Функции и слои СУБД | incorrect | 6.465 | semantic_explicit +evidence_collision | inline/b2 | ОШИБКА: привязан к 53:13 (разд. 17, evidence_collision со слайдами 34-37); прямое объяснение («совокупность программных и лингвистических средств», 3 функции) на 24:56-26:28, разд. 8 | +| 21 | discussed | verified | 8 Понятия БД и СУБД | correct | 7.200 | semantic_explicit | inline/b4 | | +| 22 | discussed | verified | 9 Независимость данных | correct | 32.119 | semantic_explicit | inline/b0 | | +| 23 | discussed | verified | 9 Независимость данных | correct | 21.088 | semantic_explicit | inline/b1 | | +| 24 | discussed | probable | 9 Независимость данных | correct | 31.048 | semantic_strong | inline/b3 | | +| 25 | discussed | probable | 10 Трёхуровневая архитектура | correct | 12.327 | semantic_strong | section_gallery | ANSI_SPARC на 31:08; gallery после слайда 26 | +| 26 | discussed | verified | 10 Трёхуровневая архитектура | correct | 21.832 | semantic_explicit | inline/b3 | | +| 27 | discussed | probable | 11 История СУБД/SQL | correct | 10.302 | semantic_strong | inline/b2 | | +| 28 | discussed | probable | 12 Распределённые/облако/NoSQL | correct | -2.234 | semantic_explicit | section_gallery | margin отрицательный, но раздел и время (38:57) верны | +| 29 | discussed | verified | 13 Причины развития БД | correct | 27.112 | semantic_explicit | inline/b3 | | +| 30 | discussed | probable | 14 Статистика/Big Data | correct | 13.414 | semantic_explicit +evidence_collision | inline/b3 | 44:41 (на границе); evidence_collision с 31 | +| 31 | discussed | probable | 14 Статистика/Big Data | reasonable_range | 23.731 | semantic_explicit +evidence_collision | section_gallery | 45:17: сдвиг ~30 с раньше своего окна 45:46-47:21; общий cue 1014 со слайдом 30 | +| 32 | discussed | probable | 15 Архитектура обработки данных | correct | 18.166 | semantic_strong | inline/b0 | | +| 33 | discussed | verified | 16 Рынок СУБД/SQLite | correct | 11.832 | semantic_explicit | inline/b0 | | +| 34 | discussed | probable | 17 Функции и слои СУБД | reasonable_range | 26.001 | semantic_explicit +evidence_collision | inline/b2 | билд 1, 52:55 | +| 35 | discussed | probable | 17 Функции и слои СУБД | reasonable_range | 37.512 | semantic_explicit +evidence_collision | inline/b2 | билд 2, 52:58 (на 8 с раньше) | +| 36 | discussed | probable | 17 Функции и слои СУБД | reasonable_range | 37.804 | semantic_explicit +evidence_collision | inline/b2 | билд 3, 53:20 | +| 37 | discussed | probable | 17 Функции и слои СУБД | reasonable_range | 44.752 | semantic_explicit +evidence_collision | inline/b3 | билд 4 привязан к 52:58 (раньше 36), окно 53:37-54:07 | +| 38 | discussed | verified | 17 Функции и слои СУБД | correct | 38.941 | semantic_explicit | inline/b0 | 54:03 верно, но маркер отрендерен раньше (см. дефекты рендера) | +| 39 | discussed | probable | 18 Роли и профессии | reasonable_range | -1.688 | semantic_strong | section_gallery | anchor 57:46 общий cue 1328 со слайдом 40; окно 55:11-57:16; gallery в конце раздела, раздел верен | +| 40 | discussed | probable | 18 Роли и профессии | correct | 11.508 | semantic_explicit +evidence_collision | inline/b1 | | +| 41 | discussed | verified | 18 Роли и профессии | correct | 16.186 | semantic_explicit | inline/b2 | | + +### Разбор unbound (слайд 16) + +- Слайд 16 («История: 1970-2000», ПК, децентрализация, БД/СУБД как отдельный класс): статус `unbound`, раздел 7 «Развитие ИС в 1970-1980-е годы», размещение `section_gallery` (fallback `unbound:stronger_competitor`), score 13.1, margin=none, path_min_margin в артефакте отсутствует. +- Верен ли раздел галереи: да. Лекция по слайду идёт в окне 19:15-21:54 (раздел 7: 19:04-23:36). +- Верно ли понижение: нет (unfair_demotion). Место в речи есть и явное: ~00:21:24 «Как здесь указано на слайде, начался взрывной рост BI. Значит, много пользователей одновременно стали работать, не мешая друг другу», далее ~00:21:54 «выделение баз данных и системы управления базами в отдельный класс технологий». Слайд 16 в галерее раздела вместо inline-маркера у 21:24. Влияние на читателя малое: раздел верен, потеряна только точка в тексте. + +## Дефекты + +### Ложные unmentioned +Нет: статусов `unmentioned` в выходе нет, истинно необсуждаемых слайдов в колоде нет. Ложно-негативное понижение одно: слайд 16 (unbound, см. выше). + +### Неверные назначения (assignment) +1. **Слайд 20** (major, probable, margin 6.465, evidence_collision): «Что такое СУБД?» (определение + 3 функции) привязан к разделу 17 «Основные функции и слои архитектуры СУБД» (anchor 53:13, блок 2 после абзаца «Что входит в обеспечение консистентности?»), хотя прямое объяснение этого слайда («Это система управления базами данных... совокупность программных и лингвистических средств общего или специального назначения», три функции) прозвучало на 24:56-26:28 (раздел 8). Лектор сам говорит на 53:06 «где-то этот слайд мы уже видели в начале презентации». Слайд 34-37 — билды того же заголовка; матчер схлопнул 20 на повторное объяснение. Тематически раздел 17 не чужой (функции СУБД), поэтому ошибка «major, но не critical»; навигация врёт: определение оказывается после слайдов-билдов 34-36 в конце лекции. + +### Рендер (assignment верный, маркер не там) +1. **Слайд 38** (warning): anchor 54:03 (последний абзац раздела «В качестве примера проникновения слоев...»), но маркер в `inline/b0 after`, то есть сразу после первого абзаца раздела (строка 409 конспекта), раньше слайдов 20/34/35/36 и до своего текста (последний абзац, строка 424). Слайд 37 при этом стоит ПОСЛЕ абзаца про слой бизнес-логики (b3), а его содержание (бизнес-логика в функциях СУБД, 53:37-54:07) раньше; порядок 38 и 37 фактически перепутан. +2. **Слайд 12** (info/warning): divider эволюции 1950-1980 лежит в `section_gallery` в конце раздела (после 13), а не перед диапазоном. +3. **Слайд 25** (info): диаграмма ANSI_SPARC в галерее после слайда 26 (подробности), а объясняется до подробностей. +4. **Слайд 39** (info): профессии в галерее в конце раздела 18 после слайда 41; порядок 40, 41, 39 не следует речи (профессии, затем проектировщик, затем аналитик). +5. Слайды 3/4 и 13/12 поменяны местами в разметке (inline идёт раньше gallery): допустимо. +Дубликатов маркеров 0, потерянных 0 (41 из 41 строка `![Слайд N]`, 41 PNG). + +### Утечки служебного текста +Не найдено: в конспекте нет JSON/подсказок/инструкций/пометок модели. Упоминания «на слайде» — естественная речь лектора. Замечание не про утечку: организационная информация (экзамен, чат) оформлена как `[!tangent]` («Отступление от темы») в разделах 1 и 2, хотя это основной контент слайда 3 (misclassified tangent, warning). + +## Шкала оценок + +| Измерение | Оценка | Уверенность | Основание | +|---|---:|---|---| +| Faithfulness | 85 | средняя | сэмпл 9 интервалов сверен; не исправлена ASR-ошибка «позиционирования»; «система AR» в тангенте | +| Content coverage | 90 | высокая | все темы 00:00-58:50 и хвост покрыты, пропусков нет | +| Block quality | 82 | средняя | абзацы связны; часть тангентов дословно пересказывает речь, организация курса ошибочно в тангенте | +| Document structure | 85 | высокая | 20 подразделов совпадают с ходом лекции, границы по времени точны | +| Language consistency | 90 | высокая | проза русская, термины как имена | +| Slide semantic relevance | 97 | высокая | 40/41 разделов верны | +| Slide anchor precision | 82 | средняя | 33/40 лучших, 6 small regret, 1 major (слайд 20) | +| Confidence calibration | 88 | средняя | 20/20 verified верны; 1 ошибка среди 20 probable; unresolved(16) ложно | + +## Метрики слайдов + +Положительный класс = discussed + partially_discussed (слайды 12, 13 partial): истинно положительных 41 из 41 (отрицательных нет, unknown 0). Метрики разделов/анкера считаются по ручному аудиту. + +### Два варианта treatment для unbound + +| Метрика | (а) unbound = discussed со своим разделом | (б) unbound = не-discussed (исключён из знаменателя) | +|---|---:|---:| +| Предсказано discussed (знаменатель precision) | 41 | 40 | +| Discussed precision | 41/41 = 100% | 40/40 = 100% | +| Discussed recall (знаменатель 41 фактически обсуждаемых) | 41/41 = 100% | 40/41 = 97.6% | +| Unmentioned false-negative rate | 0/41 = 0% (unmentioned нет) | 1/41 = 2.4% (слайд 16) | +| Acceptable topic accuracy | 40/41 = 97.6% | 39/40 = 97.5% | +| Preferred topic accuracy | 40/41 = 97.6% | 39/40 = 97.5% | +| Wrong-topic rate | 1/41 = 2.4% (слайд 20) | 1/40 = 2.5% | + +Если partially_discussed (12, 13) не считать положительными (строго discussed): истинно discussed 39; precision (а) 39/41 = 95.1%, (б) 38/40 = 95.0%; recall (а) 39/39, (б) 38/39 = 97.4%. + +### Остальные (по 40 слайдам с якорем; слайд 16 без якоря исключён из всех вариантов, в (а) его раздел 7 засчитан в topic-метриках выше) + +| Метрика | Значение | Счёт | Исключено | +|---|---:|---:|---| +| Best-context hit | 82.5% | 33/40 | слайд 16 (нет anchor) | +| Acceptable-context hit | 97.5% | 39/40 | слайд 16 | +| Materially-better-context rate | 2.5% | 1/40 (слайд 20) | слайд 16 | +| Anchor regret: none / small / major | 33 / 6 / 1 | small: 30, 31, 35, 36, 37, 39 | | +| Verified precision | 100% | 20/20 | | +| High-confidence error rate (verified+probable) | 2.5% | 1/40 (слайд 20, probable) | | +| Unresolved precision | 0% | 0/1 (слайд 16 был discussed) | | +| Collapsed-slide rate | 12.2% | 5/41 (20, 30, 31, 39, 40 делят cue с семантически иными слайдами; билды 34-37 не считаются дефектом) | | +| Rendering correctness (marker соответствует assignment) | 95.1% | 39/41 (дефекты: 38, 37) | плюс 3 gallery-порядка (12, 25, 39) как info | +| Макс. слайдов на cue / на rendered anchor | 5 (cue 1211: 20, 34, 35, 36, 37) / 4 (раздел 17, b2: 20, 34, 35, 36) | | | +| Appendix false positives | 0 | | | + +Verified, проверенные на слабый raw score: слайды 6 (13.9, margin 3.16) и 15 (17.4, margin 3.31) — оба корректны (Дейт на 5:47-6:19; IBM 360/централизация 18:13). Probable со слабым margin: 12 (0.281), 18 (0.068), 28 (-2.234), 39 (-1.688) — все с верным разделом, margin не коррелирует с ошибкой: единственная ошибка (слайд 20) имеет margin 6.465 и высокий score 36.9 из-за повторяющегося текста. + +### По ролям + +| Роль | Слайды | Семантика | Рендер | +|---|---|---|---| +| title/divider/closing | 1, 12 | 2/2 | 1 из 2 (12 в галерее после контента) | +| content | остальные текстовые (2-11, 14-17, 19-24, 26-29, 34-37, 39-41) | 31/32 верны, 20 неверен, 16 unbound с верным разделом | 37 сдвинут | +| reference/table | 6, 7, 30, 31, 33 | 5/5 | ок | +| visual_example | 13, 18, 25, 32, 38 | 5/5 | 38 (маркер раньше), 25 (галерея после) | +| appendix/blank | нет | n/a | n/a | + +## Сильные стороны + +- Линейные слайды 1-15, 17, 19, 21-24, 26-29, 32-33, 40-41 попадают в окно 5-30 с.; verified 20/20. +- Слайды 14, 15 (RAMAC 5 МБ, IBM 360) и 25 (ANSI_SPARC) корректны, пусть и в gallery. +- Билды 34-37 разведены по смысловым вехам внутри раздела 17 (52:55-53:20), без вылета в другие разделы. + +## Уверенность и ограничения + +- Проверено: все 41 слайд по таблице pass A, весь транскрипт, 9 интервалов конспекта; структурные границы разделов по таймкодам. Не проверено: побайтовое сравнение каждого предложения конспекта с ASR (сэмпл), хэши источников не снимались. +- Неоднозначные: 18 (пирамида прямо не комментируется), 12/13 (фото не описываются, partial), 20 vs 34-37 (повтор определения; ориентир выбран по первому прямому объяснению). +- Условие «unbound» в таблице margin: path_min_margin в артефакте не хранится, в reason_code `margin=none`. + +## Вердикт + +`usable_with_minor_issues` + +Конспект полный, структурированный и точный; из 41 слайда 40 лежат в верном разделе, все 20 verified верны. Дефекты локальны: один неверный слайд 20 (probable), одно ложное понижение 16 в unbound (раздел верен), одна рендер-ошибка слайда 38 и несколько неоптимальных галерей. Вводящих в заблуждение verified-размещений нет. diff --git a/benchmarks/lecture-quality/2026-10-11-baseline-anf-legacy.md b/benchmarks/lecture-quality/2026-10-11-baseline-anf-legacy.md new file mode 100644 index 0000000..34c9a84 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-baseline-anf-legacy.md @@ -0,0 +1,161 @@ +# Independent lecture quality report + +- Lecture: compilers-anf (Russian, 01:22:24, 20-slide PDF deck) +- Mode: legacy (no document-slide-alignment.json; slides sit in section galleries) +- task_id: e5c813e0d0384b4a8d91586fbb237958 +- Code: tag stage1-baseline @1ad9384 +- Judge: claude sonnet, effort medium +- Source hashes (sha256): + - slides.pdf `a1b4fa5f2c000d23cade866a2a19129fb18cf57493f0fa8223e3ece16f80d6ae` + - transcript.srt `0941eeb6cf8bd2a8cd8a93dc73fb8b8820f564fa180c8b230cdc9273c66f2c6d` + - конспект.md `af89da14849ea7cd256fd266ff8e1d5d043cbe3f5639cf4b774931cd4304ef86` + - structure.json `cac080336c74ae71e28b734154490720dd17d953c96f77d3d2d05f62f9c7f4d3` + +## Scope and inventory + +- Inputs inspected: result/output/{конспект.md, transcript.srt, structure.json, slides/slide-01..20.png}; source deck slides.pdf (native text via pdftotext, images viewed for slides 5 and 19, the two slides with no/graphic text). +- Sections / blocks / cues / slides: 5 H1, 21 H2 sections (one H3), 17 tangent callouts, 1420 transcript cues (00:00:04 to 01:22:24), 20 slides. +- Missing artifacts: document-slide-alignment.json (expected in legacy), audio cuts (removed for space, not a defect). Verified/probable/unresolved confidence does not exist in legacy: those metrics are n/a, not unknown. + +## Sampling method + +- The whole transcript was read end to end (all 1420 cues), so every slide was labelled against a full read plus targeted greps (runtime, libc, linker, ELF, GC, Dragon book, references). +- Note: the whole note was read (all 21 sections), not sampled; beginning, middle and end all covered. +- Order of work: slide text and images, then full transcript, then pass-A labels (recorded below), then the note. While inventorying note headings with a grep, the slide image markers were displayed. This happened after the pass-A labels had been fixed and no label was changed afterwards. structure.json (slide_keys/slide_nums per subtopic) was opened only in pass B and merely confirmed the markers in the note. +- Granularity: legacy places slides as a gallery at the top of a section. "Best context hit" therefore means the placed section contains the strongest explanation of the slide; "acceptable" means the section lies in the accepted range. + +## Pass-A ground truth + +Time ranges are transcript cue times. `S##` = note section (H2) numbers 01..21 in document order. + +| Slide | Role | Discussion status | Central concepts | Preferred context | Acceptable range | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed (role-based) | lecture title "Компиляторы. ANF" | lecture start 00:03:54 | 00:00:04-00:06:35 | cue 35 "сегодня некоторые поверхностные темы..." (title slide, start of covered span) | +| 2 | content | discussed | goal RISC-V asm; f(x+y), nested functions, anonymous, partial application, tuples; middle-end | 00:03:54-00:06:25 | same | cues 36-60 "никак вы не можете в ассемблер написать f от x плюс y"; "Функции можно возвращать из функций, анонимные функции бывают, частичное применение" | +| 3 | section_divider | discussed (role) | divider "ANF" | just before 00:06:25 | 00:05:00-00:06:40 | cue 82 "И 1-ое, что нам стоит сделать, это прикрутить... специальное представление программ" | +| 4 | content | discussed | ANF def; immexpr/cexpr/aexpr; atomic args | 00:06:40-00:10:35 | same | "Простыми аргументами считаются переменные и ... константы", "разваливается на 3 вида конструкций" | +| 5 | visual_example | discussed | example `(5+4)-2` | 00:10:39-00:10:58 | 00:10:39-00:11:27 | "5 плюс 4 минус 2 это довольно простое выражение" (image-only slide, viewed) | +| 6 | content | discussed | example 1 -> `let v1 = 5+4 in v1-2`; example 2 `let x = 5 in x`; types recap | 00:10:39-00:11:30 | 00:10:39-00:13:20 | "v 1 равно 5 плюс 4 минус v 1 минус 2"; "Wet x равно 5 n x это уже выражение в ANF" | +| 7 | content | discussed | wrapper constructors CImmExpr/ACExpr | 00:11:31-00:13:20 | same | "приходится добавлять такие вот фейковые конструкторы ... заворачивать" | +| 8 | content | discussed | anf with hole, Num/Id/Plus, why `(* bad *)` | 00:13:25-00:16:05 | 00:13:25-00:17:37 | "трюк ... напоминает contination passing style ... выражение типа с дыркой" | +| 9 | content | discussed | `ALet("result_of_plus", CPlus, hole (ImmId ...))`, fresh name | 00:16:07-00:17:50 | 00:15:20-00:17:50 | "заводим специальное новое имя ... затыкаем дырку новым именем ... свежее во всей программе" | +| 10 | summary | discussed | conclusions: let/if hard; trivial lets; curried temp1; arity info; inline `A S13/S14 (00:54:45-00:58:00, "1-ый вариант... 2-ой вариант... Код взрывается"); slide 13 -> S14 (00:59:32-01:01:57, "незамкнутость относительно операции инлайн"); slide 14 -> S16 (01:05:07, "повозиться с замыканиями"); slide 15 -> S16/S17 (01:06:24-01:07:57); slide 16 -> S17/S18 (01:08:01-01:13:46). + - Impact: the reader sees 10 slides after the last paragraph, 25-50 minutes after their discussion; the closure-conversion divider (14) appears after the closure-conversion text. +2. major, `wrong_section`: slide 9 (`ALet("result_of_plus", ...)`) placed in S12 [00:49:03-00:51:53] about arity of a function passed as argument. Better: S06 [00:13:38-00:17:37], cue 00:16:17 "Мы заводим специальное новое имя ... затыкаем дырку новым именем". +3. major, `unsupported_claim_from_slide`: S12 note text re-types slide 9's code and states "функция имеет тип, принимающий функцию в качестве продолжения (`immexpr -> aexpr`)". Cues 00:49:03-00:51:53 discuss only arity of a function that arrived as an argument; the immexpr->aexpr link is not made there. Slide content was folded into a paragraph about a different subject. +4. major, `wrong_section`: slide 2 (goal: RISC-V asm, f(x+y), nested functions) placed in S01 (homework chatter, 00:00:04-00:03:20); the content is explained in S03 (00:03:54-00:06:25), "никак вы не можете в ассемблер написать f от x плюс y". +5. major, `wrong_section` (ambiguous): slide 10 ("Заключение про ANF", summary of six distinct bullets) placed in S14 [00:56:43-01:02:02] (ANF vs CPS, inlining). Its bullets are spoken at 00:20:06-00:22:24 (S08, S09) and 00:51:53-00:54:30 (S13); none of them in S14 except the broad ANF theme. S14's paragraph 1 re-types the slide 10 text (incl. LLVM/RISC-V, `temp1`) although those words are not in cues 00:56:43-01:02:02. +6. warning, `invented_expansion`: S14 "Administrative Normal Form" vs slide 4 "A Normal Form" and the lecturer's "A-normal form" (S04 heading). +7. warning, `unresolved_text`: 6 `[неясный фрагмент]` markers and several truncated sentences (e.g. S06 end "...берет и [неясный фрагмент]", S14 para 1 ends "чтобы "). +8. warning, `appendix_false_positive`: slide 20 (references, unmentioned) is shown inline in the last gallery; harmless for navigation but a reference list is presented as discussed content. + +## Slide audit + +Predicted status in legacy = shown inline in a section gallery (no appendix, no unmentioned). Section numbering S01..S21. Confidence column is n/a for all rows. Rendering: all 20 markers present, once each, image files exist (20 of 20), gallery above the prose as designed. + +| Slide | Predicted status | Topic verdict | Anchor verdict | Evidence strength | Regret | Rendering | Confidence | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | placed (S01) | correct | best context | composite (title, start of lecture) | none | ok | n/a | S01 starts the note at 00:00:04 | +| 2 | placed (S01) | incorrect | not hit | broad_topic_only/unrelated (S01 = homework) | major | ok | n/a | better S03 [00:03:54-00:06:35] | +| 3 | placed (S03) | reasonable_range | acceptable | composite (ANF intro, before ANF section S04) | small | ok | n/a | S03 closes with "Первым шагом ... ANF"; divider sits ~3 min before the ANF content | +| 4 | placed (S04) | correct | best context | direct | none | ok | n/a | S04 "три типа данных: immexpr, cexpr, aexpr" | +| 5 | placed (S05) | correct | best context | direct | none | ok | n/a | S05 `5 + 4 - 2` | +| 6 | placed (S05) | correct | best context | direct | none | ok | n/a | S05 `let v1 = 5 + 4 in v1 - 2`, `let x = 5 in x` | +| 7 | placed (S05) | correct | best context | direct | none | ok | n/a | S05 "фейковые конструкторы ... immexpr в cexpr, cexpr в aexpr" | +| 8 | placed (S06) | correct | best context | direct | none | ok | n/a | S06 "дырка", `ImmNum`/`ImmId` | +| 9 | placed (S12) | incorrect | not hit | unrelated (arity) | major | ok | n/a | better S06 (00:16:17); S12 repeats slide code (defect 3) | +| 10 | placed (S14) | incorrect (ambiguous) | not hit | broad_topic_only | major | ok | n/a | better S08/S09/S13; see defect 5 | +| 11 | placed (S21) | incorrect | not hit | unrelated | major | ok | n/a | better S13 [00:54:45-00:56:42] | +| 12 | placed (S21) | incorrect | not hit | unrelated | major | ok | n/a | better S14 [00:56:54-00:58:00] | +| 13 | placed (S21) | incorrect | not hit | unrelated | major | ok | n/a | better S14 [00:59:32-01:02:02] | +| 14 | placed (S21) | incorrect | not hit | unrelated | major | ok | n/a | divider; better S16 start [01:05:07] | +| 15 | placed (S21) | incorrect | not hit | unrelated | major | ok | n/a | better S16/S17 [01:06:24-01:07:57] | +| 16 | placed (S21) | incorrect | not hit | unrelated | major | ok | n/a | better S17/S18 [01:08:01-01:13:46] | +| 17 | placed (S21) | reasonable_range | acceptable (recap) | composite (S21 opens with "дописывается множество аргументов") | small | ok | n/a | direct explanation is in S19 [01:13:50-01:15:13] | +| 18 | placed (S21) | correct | best context | direct | none | ok | n/a | S21 "лямбда-лифтинг ... верхнеуровневые let-выражения" | +| 19 | placed (S21) | reasonable_range | best context (partial) | composite, weak (partial-application runtime only) | none | ok | n/a | S21 last paragraph: code pointer, formal arity, calling convention; no libc/linker in any cue | +| 20 | placed (S21), truly unmentioned | reasonable_range (end-of-lecture reference) | acceptable | n/a | none | ok | n/a | appendix-like; inline placement is a false positive | + +## Slide metrics + +Denominator rule: unknown labels excluded (0 unknown in this audit). Partially_discussed (slide 19) is counted as positive wherever noted; slide 20 (truly unmentioned) is excluded from the placement metrics and reported separately. + +| Metric | Value | Count | Unknown/excluded | +| --- | ---: | ---: | ---: | +| Discussed precision (partial = positive) | 95.0% | 19/20 | 0 | +| Discussed precision (strict: 18 discussed over 19 non-partial predictions) | 94.7% | 18/19 | 0 (slide 19 partial excluded) | +| Discussed recall (partial = positive) | 100% | 19/19 | 0 | +| Unmentioned false-negative rate | 0% | 0/19 | 0; degenerate, legacy never predicts "unmentioned" | +| Acceptable topic accuracy | 52.6% | 10/19 | 0 (slide 20 excluded) | +| Preferred topic accuracy | 42.1% | 8/19 | 0 | +| Wrong-topic rate | 47.4% | 9/19 | 0 | +| Best-context hit | 42.1% | 8/19 | 0 | +| Acceptable-context hit | 52.6% | 10/19 | 0 | +| Materially-better-context rate | 47.4% | 9/19 | 0 | +| Anchor regret none / small / major | 8 / 2 / 9 | of 19 | 0 | +| Verified precision | n/a | n/a | legacy has no verified | +| High-confidence error rate | n/a | n/a | legacy has no verified/probable | +| Unresolved precision | n/a | n/a | no unresolved | +| Collapsed-slide rate (strict: 11-16 collapsed on S21 with unrelated content) | 30.0% | 6/20 | 0 | +| Rendering correctness (marker + file, once each) | 100% | 20/20 | 0 | + +- Max slides per rendered anchor: 10 (S21 gallery, slides 11-20); per evidence cue: n/a (legacy has no cue evidence). Next largest: 3 (S05, correct), 2 (S01). +- Duplicate markers: 0. Missing marker/image: 0. Appendix false positives (discussed slide put in appendix): 0 (no appendix exists). Inline false positive of an unmentioned slide: 1 (slide 20). +- Assignment-correct but rendering-wrong: 0 by the legacy gallery convention (galleries precede prose by design; for slides 5-7 and 11-20 the image is not adjacent to the explaining sentence). +- Role-aware (acceptable topic / total): title/divider/closing slides 1, 3, 14: 2/3; ordinary content slides 2, 4, 6, 7, 8, 9, 11, 12, 15, 16, 17, 18: 6/12; summary/reference slides 10, 13, 20: 1/3 (slide 20 only); visual examples 5, 19: 2/2; appendix/blank: none. Totals 11/20 including slide 20. +- Sensitivity: if slide 10 is judged reasonable_range, acceptable topic accuracy would be 11/19 (57.9%). + +## Strong evidence-backed aspects + +- S04-S06 (00:06:35-00:17:37): ANF definition, the three types, the hole/continuation trick and the fresh-name `let` are accurately paraphrased; slides 4, 5, 6, 7, 8 sit in exactly these sections. +- S17 free-variable algorithm and S18 heap vs arguments ("это утюг", 6/8 registers) track cues 01:08:47-01:12:50 faithfully. +- S21 correctly places slide 18 with the lambda-lifting explanation, and the final paragraph on partial application at runtime matches cues 01:21:00-01:21:33. +- The lecture tail up to 01:22:24 is represented, including the closing remark. + +## Confidence calibration + +Not applicable in legacy: no verified/probable/fallback/unresolved labels. Counts: incorrect high-confidence placements n/a; false-negative unmentioned 0 (none predicted); weak high-confidence matches n/a. The user-visible effect is instead silent mislocation: 9 of 19 discussed slides stand in a wrong section with no signal of uncertainty. + +## Uncertainty and limitations + +- Checked in full: all 20 slides (native text; images for 5 and 19 only, the rest have complete native text), all 1420 cues, all 21 note sections. +- Ambiguous: slide 10 (multi-range summary, wrong-topic verdict is arguable), slide 3 (divider off by one section), slide 17 (recap context), slide 19 (partial), slide 20 (reference). +- Slides 1, 3, 14 labelled discussed by role; if excluded, denominators shrink by 3 (precision/recall unchanged in direction). +- Faithfulness was checked on every section by reading, but not every sentence was line-aligned to cues; the 70 score carries a range. +- Slide images were not compared pixel-wise to the PDF. + +## Verdict + +`usable_with_alignment_issues` + +The note itself is complete and mostly faithful (contiguous coverage, readable, sensible structure), but slide placement materially misleads: 9 of 19 discussed slides are in a wrong section, six of them collapsed at the end of the document, and one wrong placement came with slide text injected into an unrelated paragraph (S12). Legacy gives no confidence signal, so the reader cannot tell the good placements (slides 1, 4-8, 18) from the bad ones. diff --git a/benchmarks/lecture-quality/2026-10-11-baseline-anf-v2.md b/benchmarks/lecture-quality/2026-10-11-baseline-anf-v2.md new file mode 100644 index 0000000..ffa77f3 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-baseline-anf-v2.md @@ -0,0 +1,162 @@ +# Independent lecture quality report + +- Lecture: compilers-anf (Kosarev, "Compilers. ANF", 01:22:24, 20 slides) +- Mode: v2 (baseline of stage 1) +- task_id: fbd3a7f99c1d4827aae1a8899685ecb9 +- Code: tag stage1-baseline @1ad9384 +- Judge: claude sonnet, effort medium +- Source hashes (sha256): slides.pdf a1b4fa5f2c000d23cade866a2a19129fb18cf57493f0fa8223e3ece16f80d6ae; transcript.srt 0941eeb6cf8bd2a8cd8a93dc73fb8b8820f564fa180c8b230cdc9273c66f2c6d; конспект.md 5bb62cd6ec057cce56904ec31d6155e85f7753e688cade5c0676b94e39415eab; document-slide-alignment.json 03fca65d6ce4752408c36e2313df4c868049221e1b569459d07da5aa23e103fd; structure.json 4e480177c5ffaddc439585c186f30a3c0c28afd757a02d47bc91bdaed3a1a0f6 + +## Scope and inventory + +- Inputs inspected: result/output/{конспект.md, transcript.srt, structure.json (opened only for hashing/headings; slide_nums not used in pass A), slides/*.png (slides 5, 19 viewed; others judged from native text), document-slide-alignment.json (pass B only)}; source deck slides.pdf native text via pdftotext (all 20 pages). +- Sections / blocks / cues / slides: 22 sections in 6 top-level groups (note), ~7.5 text blocks per section average, 1420 transcript cues, 20 slides. +- Missing artifacts: audio cuts (removed by design, not a defect). Slide-image check was done for slides 5 and 19 only; the rest rely on native text (all slides have usable native text). Slides were not checked pixel-by-pixel for diagrams (slide 19 diagram seen). + +## Sampling method + +- The full transcript (cues 1-1420) was read in order; the full note was read with slide markers stripped. Note-vs-transcript comparison intervals: 00:00-00:04, 00:04-00:07, 00:07-00:13, 00:13-00:19, 00:21-00:25, 00:29-00:34, 00:42-00:48, 00:51-00:59, 00:59-01:05, 01:05-01:13, 01:13-01:22 (11 intervals; beginning, middle, end all covered). +- All 20 slides labelled in pass A against the global transcript before the alignment JSON was opened. Caveat: I ran one `grep` for headings/marker lines of the note after drafting pass-A labels but before reading the note text, so marker positions were visible; the pass-A table below was written from transcript + slide text before this and was not changed afterwards. diagnostics (document-slide-alignment.json) opened only after the table. +- Cue IDs below are 1-based SRT indices (cue N at time shown in the SRT). + +## Pass-A ground truth + +Time ranges h:mm:ss. "Cues" are SRT indices. + +| Slide | Role | Discussion status | Central concepts | Preferred context | Acceptable range | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed (document-role) | lecture title ANF | lecture start / start of the middle-end intro | 0:03:54-0:06:35 | cue 35 "сегодня некоторые поверхностные темы..." | +| 2 | content | discussed | goal RISC-V asm; f(x+y), nested funcs, anonymous funcs, partial application, tuples | 0:04:48-0:06:15 | 0:03:54-0:06:35 | cues 54-80: "никак вы не можете в ассемблер написать f от x плюс y", "анонимные функции, частичное применение" | +| 3 | section_divider "ANF" | discussed (document-role, no own content) | divider | start of ANF part ~0:06:25 | 0:06:17-0:07:00 | cues 83-92 "прикрутить ... специальное представление программ" | +| 4 | content | discussed | ANF = atomic args; imm/cexpr/aexpr three types | 0:07:00-0:10:35 | 0:06:40-0:10:35 | cues 93-167 "простыми аргументами считаются переменные и константы ... разваливается на 3 вида конструкций" | +| 5 | visual_example | discussed | example (5+4)-2 | 0:10:35-0:10:55 | 0:10:35-0:11:30 | cue 169 "5 плюс 4 минус 2 это довольно простое выражение" (image: one code line) | +| 6 | content | discussed | (5+4)-2 -> let v1 = ... ; let x = 5 in x ; fresh names | 0:10:43-0:11:30 | 0:10:35-0:11:30 | cues 170-183 "v1 равно 5 плюс 4 ... имена должны быть новые ... let x равно 5 in x уже выражение в ANF" | +| 7 | content | discussed | wrapper constructors CImmExpr, ACExpr | 0:11:38-0:12:50 | 0:11:31-0:13:20 | cues 184-212 "приходится добавлять фейковые конструкторы ... заворачивать имм выражение в сложные ..." | +| 8 | content | discussed | anf with hole function, Num/Id/Plus cases, "bad" | 0:14:44-0:15:45 | 0:13:23-0:16:10 | cues 245-270 "функция ... выражение с дыркой ... не вызвав дырку, потеряется информация" | +| 9 | content | discussed | ALet with fresh name result_of_plus; plug hole with ImmId | 0:16:07-0:16:40 | 0:15:55-0:17:50 | cues 275-284 "заводим специальное новое имя ... затыкаем дырку новым именем ... свежее" | +| 10 | summary | discussed | conclusions: let/if hard, junk vars, arity info, inline compare into if, typecheck first | 0:20:06-0:22:00 (junk, if/let) | 0:20:06-0:23:00; arity discussion 0:21:18-0:51:49; if-compare 0:51:53-0:54:30; 1:05:09-1:06:20 (types before) | cues 343-368, 396-408, 818-868, 1068-1092 | +| 11 | content | discussed | 1+(if..)+2 variants 1 and 2; size explosion | 0:55:43-0:56:45 | 0:54:48-0:56:45 | cues 887-920 "первый вариант ... второй вариант ... код взрывается" | +| 12 | content | discussed | variant 3: let fresh x = 1+x+2 in if ... fresh y / fresh z | 0:56:47-0:57:30 | 0:56:47-0:58:48 | cues 922-936 "более хитрые преобразования ... протаскивается только вызов функции ... саму функцию можно построить" | +| 13 | content | discussed | pros/cons: simple, code duplication, not closed under beta/inlining, CPS is the alternative | 0:59:32-1:02:02 | 0:58:48-1:02:02 | cues 976-1026 "незамкнутость относительно ... инлайн", "CPS-представление другие проблемы" | +| 14 | section_divider "closure conversion" | discussed (document-role) | divider | before 1:05:09-1:06:30 | 1:05:09-1:06:30 | cues 1067-1096 "образование замыканий нужно по той причине..." | +| 15 | content | discussed | fac with nested fack and anonymous continuation; no nested/anon funcs in C/CPU | 1:06:10-1:08:00 | 1:05:09-1:08:00 (also 1:13:55-1:15:13 as example thread) | cues 1072-1076 "в функциях можно объявлять другие функции анонимно", cues 1113-1127 "анонимная функция как продолжение ... к и н через замыкание" | +| 16 | content | discussed | find free names (AST walk, add names, remove at lambda, drop globals); options: explicit, tuple, chain links/displays | 1:08:46-1:10:00 (search), 1:09:52-1:13:15 (options) | 1:08:00-1:13:58 | cues 1145-1166, 1167-1247 incl. cue 1232 "Dragon Book ... дисплеи и чейн-ринги" | +| 17 | content | discussed | pass names explicitly: extra arguments to anon fn and at call site | 1:13:55-1:15:13 | 1:09:41-1:15:13 | cues 1249-1274 "для анонимной функции 2 дополнительных аргумента ... в месте вызова передал" | +| 18 | content | discussed | lambda lifting: nested/anon funcs to top level; one partial application left | 1:18:31-1:19:30 | 1:18:31-1:19:48; 1:15:13-1:15:30 | cues 1342-1361, 1275-1277 | +| 19 | visual_example | partially_discussed | runtime contents (closure create/call, data, GC), libc/linker diagram; arity calls | 1:20:51-1:21:36 (partial application impl) | 1:11:15-1:12:50 (heap closures), 1:15:21-1:15:34, 1:20:51-1:21:36 | cues 1202-1220, 1276-1283, 1389-1405; libc/linker/ELF/GC never mentioned | +| 20 | reference_or_table | unmentioned (omission from the note is correct) | bibliography | n/a | n/a | global search: only the lecturer's closing cue 1420 "слайды дальше неинтересно"; Dragon book (cue 1232) belongs to slide 16, not to the list | + +Slides 1, 3, 14 are labelled discussed by document-role reasoning (their covered span is discussed); this is the weakest labelling and is covered by a sensitivity row in the metrics. + +## Scorecard + +| Dimension | Score or unknown | Confidence | Evidence summary | +| --- | ---: | --- | --- | +| Faithfulness | 72 | medium | Core ANF/CPS/closure claims match the transcript. Defects: ASR terms left uncorrected (AST for aexpr: note 03 "тип данных AST", sec "Алгоритм..."; "DNLS/DNLC" in section 16 intro), "лет x = 5 in x"; one invented attribution: note (sec "Проблематика генерации ассемблера") "Борьбу с этим ведут преобразования ANF" while cue 1077-1078 says "борьбу с этим делают преобразования и." (closure conversion/lifting); section 16 opens with "Переводчик упоминает..." (no translator exists in the transcript); `[...] неясный фрагмент` placeholders. | +| Content coverage | 85 | medium | All major topics and the lecture tail (lifting, C backend, partial application impl.) present. Gaps: slide-driven detail on the free-variable algorithm is there, but 0:23-0:50 arity Q&A is long and partly garbled; 0:44-0:46 example of an if/closure function reduced. | +| Block quality | 72 | medium | Mostly readable; some blocks are chopped mid-thought ("первое, что нужно сделать, это прикрутить к этой штуке [неясный фрагмент]", "В качестве примера: у нас в факториале, который..."), and blocks of verbatim chatter in tangents (sections 0:33-0:43). | +| Document structure | 78 | medium | Logical chapter order; section titles correct except "Обсуждение арности и работы с замыканиями" (content is mostly arity Q&A) and "Алгоритм поиска свободных переменных и варианты передачи замыканий" which starts at 1:09:41 although the free-variable search begins before it. Tangent boxes keep chatter out of the main text. | +| Language consistency | 80 | medium | Prose is Russian throughout; foreign terms kept; some ASR leaks ("лет", "энкл", "REK", "Мисамадурова/Самодурова" inconsistently). | +| Slide semantic relevance | 70 | medium | 11/13 placed slides in an acceptable topic; slides 1 and 6 outside it. | +| Slide anchor precision | 55 | medium | 10/13 acceptable local anchors; only 3/13 best; 8 of 13 are section galleries at the end of a section, never next to the narrating block. | +| Confidence calibration | 40 | high | 1 of 2 verified is wrong; 3 of 13 verified/probable wrong; 6 discussed slides marked unmentioned; unresolved precision 1/7. | + +No overall arithmetic score computed. + +## Critical and major defects + +No critical defects (output complete, all 20 slide images present and referenced once each). + +1. major, incorrect_verified: slide 15 verified in "Лямбда-лифтинг, трансляция в код на C и заключение лекции" (inline, after block 0, evidence cues ~1343-1344 at 1:18:35-1:18:40: "мы дописываем в анонимные функции кучу аргументов... перестают быть с замыканиями"). The slide shows the problem (fac with nested fack and the continuation fun m -> k (m * n), "нет ни в Си, ни в процессоре"), narrated at 1:05:09-1:08:00 (section "Проблематика генерации ассемблера...", cue 1113-1127 "запускается анонимная функция как продолжение... к и н через замыкания"). Placement is after the solution description, 13 minutes after the problem. Evidence is composite at best, not direct; verified is unjustified. Reader is misled about where the problem is stated. +2. major, discussed_slide_to_appendix (false-negative unmentioned): slides 5, 8, 16, 17 (content) are in "Непривязанные слайды" although each is explicitly narrated: 5 at 0:10:39 (cue 169), 8 at 0:14:44-0:15:45 (cues 245-270), 16 at 1:08:46-1:13:15 (cues 1145-1247), 17 at 1:13:55-1:15:13 (cues 1249-1274). Slides 3 and 14 (dividers) are also in the appendix; severity warning (no own content) but they are navigation slides with a clear place (start of ANF part; start of closure conversion). +3. major, wrong_topic_placement (probable): slide 1 (title) sits in the gallery of "Алгоритм трансляции в ANF с использованием CPS-подобного подхода" (0:13:38-0:18:49), where it is irrelevant (assignment evidence cue 296 at 17:14, "...", no title content). Better: beginning of the note / first content section. The placement was marked `fallback` (honest), the assignment `probable`. +4. major, wrong_topic_placement (probable): slide 6 (example (5+4)-2 with let v1) in gallery of "Вопросы студентов, цели ANF и заключительные замечания" (0:18:49-0:21:20; evidence cue 349 at 20:26 about "let x = y in x"). The example is narrated at 0:10:43-0:11:30 in "Примеры преобразования выражений и синтаксический мусор". Placement `fallback`, assignment `probable`. +5. warning, anchor_regret: slide 7 (CImmExpr/ACExpr wrappers) is at the end of "Введение в ANF" (before 0:10:22), while the wrapper constructors are narrated in the next section (0:11:38-0:12:50, "фейковые конструкторы"). Adjacent section, small regret; kept as reasonable_range. +6. warning, anchor_regret: slide 11 is after block 2 together with slide 12, though variants 1 and 2 are in blocks 0-1; slide 12 is correctly there. Siblings of one animated build; small regret. +7. warning, anchor_regret: slide 10 (summary) is in the arity "worst case" section (0:42:55-0:47:34); the direct narration of its first bullets is 0:20:06-0:22:00 (section "Вопросы студентов..."), and the if-inlining bullet at 0:51:53-0:54:30. Reasonable_range only through the arity bullet. +8. warning, content: faithfulness defects listed in the scorecard (invented "преобразования ANF", "Переводчик упоминает"). + +## Slide audit + +Predicted status as in the alignment file (assignment status / assignment confidence / placement kind and placement confidence). Topic verdict and anchor verdict from my pass-A ranges. + +| Slide | Predicted status | Topic verdict | Anchor verdict | Evidence strength | Regret | Rendering | Confidence | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | discussed (sec 5) | incorrect | incorrect | unrelated | major | gallery, matches assignment | probable (placement fallback) | title in "Алгоритм трансляции", range 0:03:54-0:06:35 | +| 2 | discussed (sec 2) | correct | correct | direct | none | inline after block 4 (infix/nested/anon paragraph); matches | verified | cue 54-80 "f от x плюс y", "анонимные функции, частичное применение" | +| 3 | unmentioned | incorrect (divider omitted) | incorrect | n/a | major (navigation) | appendix | unresolved | should precede cue 83 | +| 4 | discussed (sec 3) | correct | correct (small) | direct | small | inline after block 0 (ANF idea paragraph); matches | probable | cues 93-167 | +| 5 | unmentioned | incorrect (false negative) | incorrect | n/a | major | appendix | unresolved | cue 169 | +| 6 | discussed (sec 6) | incorrect | incorrect | broad_topic_only | major | gallery; matches | probable (placement fallback) | cue 349 vs cues 170-183 | +| 7 | discussed (sec 3) | reasonable_range | acceptable | composite | small | gallery; matches | probable | cues 184-212 in next section | +| 8 | unmentioned | incorrect (false negative) | incorrect | n/a | major | appendix | unresolved | cues 245-270 | +| 9 | discussed (sec 5) | correct | acceptable | direct | small | gallery at section end; matches | probable | cues 275-284 | +| 10 | discussed (sec 12) | reasonable_range | acceptable | composite | small | gallery; matches | probable | arity bullet cues 669-680 region; direct bullets elsewhere | +| 11 | discussed (sec 15) | correct | acceptable | direct | small | inline after block 2 (one block late); matches | probable | cues 887-920 | +| 12 | discussed (sec 15) | correct | correct | direct | none | inline after block 2; matches | probable | cues 922-936 | +| 13 | discussed (sec 16) | correct | acceptable | direct | small | gallery; matches | probable | cues 976-1026 | +| 14 | unmentioned | incorrect (divider omitted) | incorrect | n/a | major (navigation) | appendix | unresolved | cues 1067-1096 | +| 15 | discussed (sec 21) | reasonable_range | incorrect | broad_topic_only | major | inline after block 0; matches | verified | cues 1113-1127 vs 1343-1344 | +| 16 | unmentioned | incorrect (false negative) | incorrect | n/a | major | appendix | unresolved | cues 1145-1247 | +| 17 | unmentioned | incorrect (false negative) | incorrect | n/a | major | appendix | unresolved | cues 1249-1274 | +| 18 | discussed (sec 21) | correct | acceptable | direct | small | gallery after block set; matches | probable | cues 1342-1361 | +| 19 | discussed (sec 19) | reasonable_range | acceptable | composite (heap closures, "создание замыкания") | small | gallery; matches | probable (placement fallback) | cues 1202-1220; better: cues 1389-1405 | +| 20 | unmentioned | correct | correct | n/a | none | appendix | unresolved | no narration | + +## Slide metrics + +Denominators: 20 slides, 0 unknown. `partially_discussed` (slide 19) is treated as POSITIVE in discussion metrics (actually_discussed = 19); strict variant given in the notes row. + +| Metric | Value | Count | Unknown/excluded | +| --- | ---: | ---: | ---: | +| Discussed precision | 100% | 13/13 | 0 | +| Discussed recall | 68.4% | 13/19 | 0 | +| Unmentioned false-negative rate | 31.6% | 6/19 (slides 3,5,8,14,16,17) | 0 | +| Acceptable topic accuracy | 84.6% | 11/13 placed | 0 | +| Preferred topic accuracy | 53.8% | 7/13 (2,4,9,11,12,13,18) | 0 | +| Wrong-topic rate | 15.4% | 2/13 (1,6) | 0 | +| Best-context hit | 23.1% | 3/13 (2,4,12) | 0 | +| Acceptable-context hit | 76.9% | 10/13 (all except 1,6,15) | 0 | +| Materially-better-context rate | 23.1% | 3/13 (1,6,15) | 0 | +| Verified precision | 50% | 1/2 (2 correct; 15 incorrect) | 0 | +| High-confidence error rate | 23.1% | 3/13 verified-or-probable by assignment (1,6,15); by placement confidence (1,6,19 fallback excluded): 1/10 | 0 | +| Unresolved precision | 14.3% | 1/7 truly unsupported (20 only) | 0 | +| Collapsed-slide rate | 10% | 2/20 (1 and 9 share the sec-5 gallery, slide 1 unsupported); 11+12 share an anchor but are sibling slides, not counted | 0 | +| Rendering correctness | 100% | 13/13 placed slides rendered where the placement says | 0 | + +- Maximum slides per evidence cue/block: 2 (block 893: slides 11,12); per rendered anchor: 2 (sec-5 gallery: 1,9; sec-15 block 2: 11,12). +- Duplicate markers: 0. Missing marker/image: 0 (13 placed + 7 appendix = 20 files referenced once). +- Appendix: 7 slides in appendix, 1 correct (20); 6 discussed slides wrongly relegated (false-negative unmentioned; 4 content: 5,8,16,17; 2 dividers: 3,14). Appendix false positives: 6 (of 7 appendix slides). +- Assignment-correct but rendering-wrong: 0 (slide 11 is one block late, counted as anchor regret). +- Notes: strict variant (partial = not positive): precision 12/13=92.3% (19 is the extra), recall 12/18=66.7%, FN 6/18=33.3%. Sensitivity excluding title/divider slides 1,3,14 from ground truth: precision 12/12 (slide 1 excluded), recall 12/16=75.0%, FN 4/16=25.0% (5,8,16,17). +- Role-aware: title/divider (1,3,14): 0/3 acceptable (1 wrong topic; 3,14 in appendix). Ordinary content (2,4,6,7,8,9,11,12,13,15,16,17,18 = 13): 10 placed, 9/10 acceptable topic (6 wrong; 15 acceptable topic but poor anchor), 3 in appendix (8,16,17), so 9/13 acceptable topic overall. Summary (10): 1/1 reasonable_range. Visual (5,19): 1/2 (5 in appendix; 19 reasonable_range). Reference (20): 1/1 correct omission. Rendering is correct for all placed slides in every role. + +## Strong evidence-backed aspects + +- Slide 2: after the infix/nested/anonymous-function paragraph, which quotes the slide bullets (cue 54-80). +- Slide 12 inline after the paragraph about the "more clever transformation" where only a function call is pushed into the branches (cue 922-936). +- Slides 13 and 18 land in the right sections (drawbacks of ANF/inline; lambda lifting). +- Note text is generally faithful and complete for ANF algorithm (0:13:38-0:18:49), if-then-else variants, closure conversion and lifting; the lecture tail is covered including the partial-application runtime representation (1:21:00). +- Correct omission of the references slide 20 and the lecturer's "слайды дальше неинтересно". + +## Confidence calibration + +- Incorrect verified: 1 of 2 (slide 15). +- Incorrect probable: 2 (slides 1, 6), both with a `fallback` placement confidence in the file, so the rendered confidence was honest there while the assignment confidence was not. +- Weak probable placements with `weak_evidence_only` fallback_reason but still `probable` anchor_confidence: 7, 9, 10, 13, 18 (5 slides; all acceptable, none wrong). +- False-negative unmentioned: 6 (of which 4 content slides). +- Appropriate fallbacks/unresolved: slide 20 (1/7 unresolved correct). +- Slide 7 has margin -8.45 and slide 19 margin -4.28 with `probable`; both are only reasonable_range, not exact. + +## Uncertainty and limitations + +- Checked: all 20 slides' native text and the full transcript; the whole note text; slides 5 and 19 images. Not checked: pixel content of slides 1-4, 6-18, 20 (native text trusted); transcript audio. +- Ambiguous: slides 1, 3, 14 (title/divider discussed status is role-based), slide 7 (adjacent-section placement), slide 10 (summary with many valid ranges), slide 15 (topic acceptable within closure chapter, anchor poor), slide 19 (partially discussed; no libc/linker narration). +- No second judge; scores in the scorecard are subjective ranges and coarse. +- Note text mentions "возможная ошибка распознавания" annotations, which are not defects by themselves. + +## Verdict + +`usable_with_alignment_issues` + +Rationale: the note is complete, mostly faithful and well structured, but slide placement materially misleads: 6 of 19 discussed slides are relegated to the appendix (31.6% false-negative rate), one of two `verified` placements is wrong (slide 15), and two `probable` slides are in unrelated sections (1, 6). Only 3/13 placed slides sit at the best local context. diff --git a/benchmarks/lecture-quality/2026-10-11-baseline-db-v2.md b/benchmarks/lecture-quality/2026-10-11-baseline-db-v2.md new file mode 100644 index 0000000..7783571 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-baseline-db-v2.md @@ -0,0 +1,225 @@ +# Independent lecture quality report + +- Lecture: db-2026-09-24 (Databases, lecture 1, ~59 min, Russian), mode v2, baseline of stage 1 +- task_id: 7509c2afb0c14026a24d3ec37743d42b +- Code: tag stage1-baseline @1ad9384 +- Judge: claude sonnet, effort medium +- Date: 2026-10-11 + +## Scope and inventory + +- Inputs inspected: extracted result `test-data/document-slide-alignment/runs/2026-10-11-baseline-db-v2/result/output/` (конспект.md, transcript.srt, structure.json, slides/slide-01..41.png, document-slide-alignment.json); source deck `test-data/document-slide-alignment/db-2026-09-24/slides.pptx` (native text extracted from the slide XML for all 41 slides; slide images viewed for 18, 25, 32, 38 only). +- Source hashes (sha256): + - конспект.md `9d168296f6c6425122c5c53ad651993796e8de981e3cdbe263e5a7f634cb460e` + - transcript.srt `444a014f32ad0c57da68eda5c206707ccaecd642cc15a7a5a8af00cdd6e5c8da` + - structure.json `0bf30df3f3349669174d9c01b6a6fc4d27b8c85580f699551089b6782cad6f67` + - document-slide-alignment.json `8af9867c9239c08ef27c9d1b62df3e37c44b068f8afe5e7ade9a44a4d60e3d47` + - slides.pptx `dae893ec850ec6e6ede84807fbbdca8ca7b900e76d1d86fc3e4801e4dc6a540e` +- Sections / transcript cues / slides: 21 sections (5 top-level groups), 1357 SRT cues (00:00:01 - 00:59:20), 41 slides; 41 slide markers in the note (37 inline/gallery + 4 in "Непривязанные слайды"). +- Missing artifacts: audio clips (removed deliberately, not a defect). Nothing else missing. + +## Sampling method + +- Full transcript read end to end (all 1357 cues, with timestamps). Full note read with slide markers stripped. All 41 slides' native text read; images of 18, 25, 32, 38 inspected. Image-only content of picture slides (12-16, 21, 28, 30, 31, 33) was judged from native title text plus transcript, not from the pixels (limit). +- Every slide was searched globally in the transcript, including paraphrases. +- Note quality was sampled across the whole lecture (all sections read), not a subset. +- Pass-A labels (table below) were completed before document-slide-alignment.json was opened. Note: the note file itself contains slide markers; they were stripped (grep -v) while reading in pass A. +- Section numbering used below: S1 Введение/лектор, S2 Содержание курса, S3 Литература, S4 Понятие ИС, S5 Этапы эволюции (00:14:38-00:17:13), S6 История выч. техники 50-70 (-00:19:04), S7 Эпоха ПК (-00:21:54), S8 Появление СУБД и 3-уровневой арх. (-00:23:36), S9 Понятие БД, S10 СУБД (00:25:03-00:27:43), S11 Файлы -> СУБД, независимость, S12 Трёхуровневая арх. БД, S13 История СУБД, S14 Распределённые БД/облака, S15 Причины/статистика, S16 Архитектура решений/игроки, S17 Функции СУБД (00:52:49-00:54:01), S18 Слои арх., S19 Роли, S20 Проектировщик/аналитик, S21 Завершение. + (matcher global_section_id N = this S(N+1).) + +## Pass-A ground truth + +Times are transcript times (hh:mm:ss). "Sec" = note section that covers that time range. Status of partial slides: see slide 7 and 31. + +| Slide | Role | Discussion status | Central concepts | Preferred context | Acceptable range | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed | course title, lecturer | 00:00-00:19 (S1 start) | S1 | cue 9 "курс у нас называется База данных" | +| 2 | content | discussed | about the lecturer, career, e-mail | 00:49-02:12 (S1) | S1 | cues 19-47 "старшим преподавателем кафедры системного программирования", "Ростелекома", "Газпромнефть" | +| 3 | content | discussed | organisational: oral exam, 1 pair/week, admission, Telegram/personal message | 02:15-02:29 (S1 end) | S1 | cue 49 "В конце устный экзамен, ... 1 пара лекций в неделю" | +| 4 | content | discussed | course topics (terminology, models, SQL, transactions, indexing, design, NoSQL, DBMS overview, cloud) | 02:29-04:13 (S2) | S2 | cues 52-93 | +| 5 | content | discussed | know/able after the course | 04:13-05:37 (S2) | S2 | cues 94-128 | +| 6 | reference_or_table | discussed | DB literature, Date | 05:42-06:29 (S3) | S3 | cues 129-146 "книга Data ... классика по модели" | +| 7 | reference_or_table | partially_discussed | SQL literature list; only generic mention + Postgres emphasis | 06:31-07:17 (S3) | S3 gallery | cues 147-163 | +| 8 | content | discussed | IS = storage + processing + UI | 07:42-09:34 (S4) | S4 | cues 188-207 "хранение, обработка и представление" | +| 9 | content | discussed | Silver 1995 IS definition (hardware, software, data, people, procedures) | 09:38-10:30 (S4) | S4 | cues 209-230 "аппаратное обеспечение, программное обеспечение, данные, людей и процедуры" | +| 10 | content | discussed | ACM definition, IT + business symbiosis | 10:30-11:28 (S4; tangent to 12:20) | S4 | cues 231-274 | +| 11 | content | discussed | IS examples: DWH, ERP, expert, search, EDMS, BI+OLAP, ecosystems | 12:24-14:36 (S4) | S4 | cues 275-323 | +| 12 | section_divider | discussed | "Evolution of computing 1950s-1980s" | beginning of 14:38 (S5 start) | S5 start; S5-S7 span | cues 324-329 "Пройдемся по этапам эволюции вычислительной техники" | +| 13 | visual_example | discussed | first IS (statistics, banking), first computers, mainframes + terminals | 14:42-16:28 (S5) | S5 | cues 329-363 | +| 14 | visual_example | discussed | IBM 305 RAMAC 1956, 5 MB | 16:30-18:05 (S5 end / S6 start) | S5, S6 | cues 364-403 "жесткий диск от IBM ... 1956", "5 мегабайт" | +| 15 | visual_example | discussed | centralisation in 1950-70, IBM 360 | 18:08-19:02 (S6) | S6 | cues 408-421 "склонность к централизации" | +| 16 | content | discussed | PCs, BI boom, many users, decentralisation, DB/DBMS as separate class | 19:04-21:54 (S7) | S7 (and S8 for the last bullet) | cues 423-490 | +| 17 | content | discussed | business logic can be separated from storage logic | 22:52-23:02 (S8) | S8 | cue 512 "с концептуальной точки зрения бизнес-логику можно отделить от логики хранения" | +| 18 | visual_example | discussed | three-tier pyramid UI / business logic / data storage | 23:17-23:33 (S8 end) | S8 | cues 524-527 "трехуровневая архитектура, бизнес-логика и хранилище данных" | +| 19 | content | discussed | DB definition (Wikipedia, conceptual, technical, file) | 23:36-24:55 (S9) | S9 | cues 530-554 | +| 20 | content | discussed | DBMS definition + 3 functions | 25:05-26:20 (S10); repeated at 52:50 (S17) | S10, S17 | cue 560-565 definition; cue 1208-1219 "мы его видели ... в начале презентации" | +| 21 | visual_example | discussed | DB = storage, DBMS = management | 26:22-27:35 (S10) | S10 | cues 587-616 | +| 22 | content | discussed | "first there were DBs, no DBMS", file formats per program | 27:38-28:57 (S11) | S11 | cues 617-643 | +| 23 | content | discussed | physical independence | 28:57-29:42 (S11) | S11 | cues 644-657 | +| 24 | content | discussed | logical independence | 29:42-31:03 (S11) | S11 | cues 658-686 | +| 25 | visual_example | discussed | ANSI_SPARC diagram (external/conceptual/internal) | 31:06-32:20 (S12 start) | S12 | cues 687-715 | +| 26 | content | discussed | three levels in detail (external / logical / physical) | 32:20-34:29 (S12) | S12 whole | cues 716-763 | +| 27 | summary | discussed | DBMS history timeline, System R 1974, SQL, standards, SQL:2023 | 34:33-37:45 (S13) | S13 | cues 764-838 | +| 28 | visual_example | discussed | 2000+: distributed, cloud, NoSQL | 38:13-41:06 (S14) | S14 | cues 846-931 | +| 29 | content | discussed | reasons for DB development | 41:11-44:40 (S15) | S15 | cues 932-1013 | +| 30 | visual_example | discussed | data volume statistics, video content half | 44:40-45:50 (S15) | S15 | cues 1014-1042 | +| 31 | visual_example | partially_discussed | Big Data market size forecast, technologies in demand (only a vague pass over the charts) | 45:50-47:20 (S15) | S15 | cues 1043-1089 | +| 32 | visual_example | discussed | data-processing architecture (batch, stream, analytical store) | 47:35-49:50 (S16) | S16 | cues 1090-1147 | +| 33 | visual_example | discussed | main DBMS vendors, Oracle, MS SQL, market share, SQLite tangent | 50:09-52:26 (S16) | S16 | cues 1153-1207 | +| 34 | content | discussed | "What is a DBMS": 1st build of function list (storage, creation, schema, backup, consistency, queries) | 52:50-53:09 (S17) | S17 | cues 1208-1219 | +| 35 | content | discussed | build 2: + integrity constraints | 53:25-53:35 (S17) | S17 | cues 1224-1228 | +| 36 | content | discussed | build 3: + query processing, concurrent access, scaling | 53:35-53:50 (S17) | S17 | cues 1229-1234 | +| 37 | content | discussed | build 4: + business logic in DBMS | 53:52-54:00 (S17 end) | S17 | cues 1235-1238 | +| 38 | visual_example | discussed | layers penetrating components (UI, business, storage, OOP, stored procedures) | 54:01-55:07 (S18) | S18 | cues 1239-1267 | +| 39 | reference_or_table | discussed | DB IT roles | 55:10-57:30 (S19) | S19 | cues 1268-1323 | +| 40 | content | discussed | DB designer: infological model, ER | 57:32-58:01 (S20) | S20 | cues 1324-1331 | +| 41 | content | discussed | data analyst: validation, processing, reports, data mining | 58:01-58:15 (S20) | S20 | cues 1332-1340 | + +Pass-A totals: discussed 39, partially_discussed 2 (slides 7, 31), unmentioned 0, unknown 0. + +## Scorecard + +| Dimension | Score or unknown | Confidence | Evidence summary | +| --- | ---: | --- | --- | +| Faithfulness | 78-85 | medium | Content tracks the transcript closely across all sections. Defects: "batch-обработка запросов на языках высокого уровня" (S17) - transcript cue 1229 "бета-обработка запросов на языках высокого уровня", slide 36 "Обработка запросов на языках высокого уровня": "batch" is an invented gloss. "В 1980-е годы произошло появление персональных компьютеров" (S7): the transcript cue 423 is garbled ("140000-ые годы"), slide 16 says 1970-2000, so "1980-е" is unsupported. S3 closing sentence "Если на предыдущем слайде рассматривался ответ на один вопрос..." is a reworded slide-reference artefact. | +| Content coverage | 88-92 | medium | All topics from 00:00 to 00:59 represented, including the tail (S20, S21); no temporal gaps. Closing remarks (next lecture tomorrow 19:30, shortened format) only inside a tangent block. | +| Block quality | 65-72 | medium | Several sections are near-verbatim spoken transcript instead of summarised prose (S6, the second half of S5, the S15 reasons paragraph) with "вот", "да", "ну", and the quiz dialogue ("Килобайт 16? 16 килобайт. Да.") kept raw. Unresolved ASR leaks "[неясный фрагмент]" (S5-S10). Contrast: S9-S12, S19-S20 are well summarised. | +| Document structure | 62-70 | medium | Top-level group "Введение в курс" swallows the IS definition and the start of computing history (S4, S5). Boundary at 00:17:13 cuts the RAMAC Q&A mid-dialogue (S5 ends with "Я думаю, что побольше.", S6 starts "Что еще? По-моему, там было 4 мегабайта."). S21 consists only of a tangent. Otherwise headings reflect content and progress coherently. | +| Language consistency | 90-95 | high | Russian prose throughout; English only for terms/slide labels (external, conceptual schema, stream processing, Software as a Service), all legitimate. | +| Slide semantic relevance | 85-90 | medium | 34/37 placed slides sit in an accepted range; 3 wrong-topic placements. Image content for picture slides inferred from title text. | +| Slide anchor precision | 70-78 | medium | 20/37 at the best context, 34/37 acceptable; recurring small regrets (slide placed before its explanation, galleries at section end, inverted order of gallery vs inline slides). | +| Confidence calibration | 72-80 | medium | No incorrect `verified` (0/18). 3 incorrect `probable` (3/19). All 4 `unresolved` slides are discussed ones (precision 0/4). Weakest verified slide scores (6: raw 13.7) are still correct. | + +## Critical and major defects + +No critical defects. Major defects (all proven against transcript cues): + +1. major / false-negative unmentioned: slide 2 ("О лекторе") placed in appendix (`no_supported_evidence`). Native text: "Виктор Александрович Андриенко, ст. преподаватель кафедры системного программирования матмеха СПбГУ ... Руководитель направления «Искусственный интеллект» в «Ростелеком-Корпоративные системы»". Transcript 00:00:49-00:02:12 (cues 19-47): "старшим преподавателем кафедры системного программирования", "руководителем направления искусственного интеллекта в 1 из дочек Ростелекома", "Газпромнефть". Expected: S1, after the paragraph "Лекции ведёт Андриенко...". Reader sees a lecturer slide detached from the lecturer paragraph. +2. major / false-negative unmentioned: slide 4 ("Что будет в курсе") in appendix. Transcript 00:02:29-00:04:13 (cues 52-93): "терминологией баз данных и системой управления базами данных ... транзакции блокировки ... индексирования, оптимизации запросов ... нереляционными базами данных". Expected: S2, para 1-2 (note already paraphrases every bullet). +3. major / false-negative unmentioned: slide 9 (Silver et al. 1995 definition) in appendix. Transcript cues 209-230: "система включает аппаратное обеспечение, программное обеспечение, данные, людей и процедуры", "95-го года". Expected: S4, 2nd paragraph ("Согласно модели взаимодействия информационных технологий (базовый курс 1995 года)..."). +4. major / false-negative unmentioned: slide 15 (centralisation, IBM 360, 1964) in appendix. Transcript cues 408-421: "отличительной особенностью тех времен была склонность к централизации ... вычисления все производились на 1 машине". Expected: S6 (note: "склонность к централизации" paragraph). +5. major / incorrect probable placement: slide 14 (IBM 305 RAMAC, "5 мегабайт"): placed as section_gallery (fallback no_safe_semantic_block) at the end of S15 "Причины развития и статистика" after the Big Data paragraph (anchor 00:42:01, evidence cues 952, 959). The only match there is the aside "несчастные 5 мегабайт" (cue 959, a call-back, `broad_topic_only`). The actual discussion is 00:16:30-00:18:05: "появился жесткий диск от IBM ... 1956-ом году", "5 мегабайт" (S5/S6, RAMAC Q&A). Better context exists: S5 end / S6 start. +6. major / incorrect probable placement: slide 16 ("История: 1970-2000", PCs, decentralisation) placed as gallery at the end of S16 after the SQLite tangent (anchor 00:52:50, evidence cue 1208 "Что-то у меня такое ощущение, что где-то этот слайд мы уже видели"). `unrelated`. The explanation is 00:19:04-00:21:54 "появились персональные компьютеры ... Децентрализация ... выделение баз данных и системы управления базами в отдельный класс технологий" (S7). +7. major / incorrect probable placement: slide 34 ("Что такое СУБД?", build 1 with "Создание БД, Описание её схемы, Резервирование данных") placed inline at the start of S10 (anchor 00:27:41, evidence cue 617 "Сначала были БД, но не было СУБД"). `broad_topic_only`: S10 never lists create/schema/backup. The matching explanation is 00:52:50-00:53:09 ("Это и создание БД, и описание ее схемы, и резервирование данных") in S17. Notably slides 20 and 34 look swapped: slide 20 (the definition + 3 functions) is in S17, slide 34 in S10. +8. warning / faithfulness: "batch-обработка запросов" (S17) and "В 1980-е годы" (S7), see scorecard. +9. warning / structure: S5/S6 boundary mid-dialogue; evolution history under "Введение в курс". +10. info / calibration: slide 10 is `verified` but rendered as a `fallback` gallery (`no_safe_semantic_block`); assignment and rendering state disagree. + +## Slide audit + +Predicted status/confidence and placement from document-slide-alignment.json (opened only after pass A). "disc"=discussed, "unm"=unmentioned. Topic/anchor: C=correct, RR=reasonable_range, I=incorrect. Evidence strength per rubric. Rendering: where the marker actually appears in конспект.md versus the placement record. + +| Slide | Predicted status | Topic verdict | Anchor verdict | Evidence strength | Regret | Rendering | Confidence | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | disc, S1 | C | C | direct | none | inline, after para 1 (as recorded) | probable | cue 9 course title; title slide at start | +| 2 | unm (appendix) | I (false negative) | - | - | major | appendix | unresolved | see defect 1 | +| 3 | disc, S1 | C | C | direct | small | inline, after para 1; org text is in tangent after "Лекции ведёт" paragraph, so marker sits ahead of its explanation | verified | cue 49 exam / 1 pair per week (anchor 140 s) | +| 4 | unm (appendix) | I (false negative) | - | - | major | appendix | unresolved | defect 2 | +| 5 | disc, S2 | C | C | direct | small | inline, after para 1 (course program), before the know/able paragraph | verified | cues 99-102 "Нужно знать принцип проектирования баз данных" | +| 6 | disc, S3 | C | C | direct | small | inline, after last para of S3 | verified | cue 133 "книга Data ... классика" (raw 13.7, lowest verified; still direct) | +| 7 | disc, S3 | C | C | composite | none | gallery at section end | probable | reference slide; partially discussed | +| 8 | disc, S4 | C | C | direct | none | inline, after para 1 | verified | cues 188-207 | +| 9 | unm (appendix) | I (false negative) | - | - | major | appendix | unresolved | defect 3 | +| 10 | disc, S4 | C | RR | direct | small | gallery fallback (no_safe_semantic_block) at section end, placed after slide 11 although ACM para precedes examples | verified | cues 231-238 ACM definition | +| 11 | disc, S4 | C | C | direct | none | inline, after last para | verified | cues 276-318 | +| 12 | disc, S5 | C | RR | composite | small | gallery at S5 end (divider should be at section start) | probable | cue 324-329 | +| 13 | disc, S5 | C | C | direct | none | inline, after para 2 (mainframes + terminals) | probable | cue 338 "статистические обработки ... банковских операций" | +| 14 | disc, S15 | I | I | broad_topic_only | major | gallery at end of S15 | probable | defect 5 | +| 15 | unm (appendix) | I (false negative) | - | - | major | appendix | unresolved | defect 4 | +| 16 | disc, S16 | I | I | unrelated | major | gallery at end of S16 | probable | defect 6 | +| 17 | disc, S8 | C | C | direct | none | inline, after para 2 | verified | cues 512-513 | +| 18 | disc, S8 | C | C | direct | none | gallery after slide 17 | probable | cues 525-527 "трехуровневая архитектура, бизнес-логика и хранилище" | +| 19 | disc, S9 | C | C | direct | none | inline, after para 1 | probable | cue 551 Wikipedia definition | +| 20 | disc, S17 | C | RR | composite | small | inline at S17 start | probable | cues 1208-1228 "слайд мы уже видели в начале презентации"; preferred anchor S10 (cue 560-565 definition) | +| 21 | disc, S10 | C | C | direct | none | inline, after last para | verified | cues 614-616 "БД это хранение ... СУБД это управление" | +| 22 | disc, S11 | C | C | direct | none | inline, after para 1 | probable | cues 617-628 | +| 23 | disc, S11 | C | C | direct | none | inline, after para 2 | verified | cues 646-650 | +| 24 | disc, S11 | C | C | direct | none | inline, after para 4 | verified | cues 658-675 | +| 25 | disc, S12 | C | RR | direct | small | gallery at S12 end, after slide 26 (reverse of narrative order) | probable | cue 688-715 diagram explanation is the first paragraph | +| 26 | disc, S12 | C | RR | composite | small | inline, after last para (physical level) | probable | cue 717 "внешний пользовательский уровень"; slide covers three paras | +| 27 | disc, S13 | C | C | direct | small | inline, after para with added periods; the SQL-standards bullet follows | verified | cues 795-831 | +| 28 | disc, S14 | C | RR | composite | small | gallery at S14 end | probable | cues 850-881 | +| 29 | disc, S15 | C | C | direct | none | inline, after the last reason | probable | cue 937 | +| 30 | disc, S15 | C | C | direct | none | inline, after statistics para | verified | cue 1014 "Статистика по использованию данных" | +| 31 | disc (partial), S15 | C | C | direct | none | inline, after Big Data para | verified | cues 1046, 1068 "размер международного рынка больших данных" | +| 32 | disc, S16 | C | C | direct | small | inline, after para 2 (para 1 is the architecture explanation) | verified | cues 1127, 1143 | +| 33 | disc, S16 | C | C | direct | none | inline, after vendors para | probable | cue 1153 "Основные игроки на рынке" | +| 34 | disc, S10 | I | I | broad_topic_only | major | inline at S10 start | probable | defect 7 | +| 35 | disc, S17 | C | RR | composite | small | inline at S17 block 0 (before "ограничения целостности" paragraph) | probable | cues 1211-1212; build slide | +| 36 | disc, S17 | C | RR | composite | small | inline at S17 block 0 (query processing/concurrency/scaling are in the later paragraph) | verified | cues 1212, 1216, 1223 | +| 37 | disc, S17 | C | C | direct | none | inline, after the last paragraph | probable | cues 1208, 1212 (note: evidence cue 1208 is shared with slides 16, 20) | +| 38 | disc, S18 | C | C | direct | none | inline, after para 1 | verified | cue 1239 | +| 39 | disc, S19 | C | RR | direct | small | gallery at S19 end | probable | cue 1305 roles | +| 40 | disc, S20 | C | C | direct | none | inline, after para 1 | verified | cues 1324-1330 | +| 41 | disc, S20 | C | C | direct | none | inline, after para 2 | verified | cues 1332-1334 | + +Overall placement verdict per slide (correct / reasonable_range / incorrect), 37 placed slides: correct 25 (1, 3, 5, 6, 7, 8, 11, 13, 17, 18, 19, 21, 22, 23, 24, 27, 29, 30, 31, 32, 33, 37, 38, 40, 41), reasonable_range 9 (10, 12, 20, 25, 26, 28, 35, 36, 39), incorrect 3 (14, 16, 34). Plus 4 appendix slides, all false negatives (2, 4, 9, 15). Unknown 0. + +## Slide metrics + +Pass-A positives: 41 (39 discussed + 2 partially_discussed; both treated as positive). Strict variant (partial excluded from positives): 39. Predicted discussed: 37, all truly (at least partially) discussed. Unknown/excluded: 0 everywhere. + +| Metric | Value | Count | Unknown/excluded | +| --- | ---: | ---: | ---: | +| Discussed precision (partial = positive) | 100.0% | 37/37 | 0 | +| Discussed precision (strict: partial = not discussed) | 94.6% | 35/37 | 0 | +| Discussed recall (partial = positive) | 90.2% | 37/41 | 0 | +| Discussed recall (strict) | 89.7% | 35/39 | 0 | +| Unmentioned false-negative rate (partial = positive) | 9.8% | 4/41 | 0 | +| Unmentioned false-negative rate (strict) | 10.3% | 4/39 | 0 | +| Acceptable topic accuracy (placed slides) | 91.9% | 34/37 | 0 | +| Preferred topic accuracy | 89.2% | 33/37 (all correct 25 + RR slides 10, 12, 25, 26, 28, 35, 36, 39; slide 20 acceptable but not preferred) | 0 | +| Wrong-topic rate | 8.1% | 3/37 (14, 16, 34) | 0 | +| Best-context hit (regret none) | 54.1% | 20/37 | 0 | +| Acceptable-context hit (regret none or small) | 91.9% | 34/37 | 0 | +| Materially-better-context rate (regret major) | 8.1% | 3/37 | 0 | +| Verified precision (strict: correct only) | 88.9% | 16/18 | 0 | +| Verified precision (correct + reasonable_range) | 100.0% | 18/18 | 0 | +| High-confidence error rate (incorrect verified or probable / all verified or probable) | 8.1% | 3/37 (0 verified of 18, 3 probable of 19) | 0 | +| Unresolved precision | 0.0% | 0/4 | 0 | +| Collapsed-slide rate | 4.9% | 2/41 (16 onto cue 1208 and 34 onto cue 617 are semantically unrelated to the other slides sharing that cue) | 0 | +| Rendering correctness (marker present once, in the recorded section) | 100% | 41/41 | 0 | + +Additional: + +- Maximum slides per evidence cue: 3 (cue 1208: slides 16, 20, 37; cue 1212: slides 35, 36, 37). Per rendered anchor: 3 (S17 block 0: slides 20, 35, 36; defensible as progressive builds of one slide). +- Duplicate markers: 0. Missing markers/images: 0 (41 markers, 41 PNG). +- Appendix false positives (a discussed slide sent to the appendix): 4 (slides 2, 4, 9, 15); appendix correct omissions: 0 (no real appendix slides in the deck). +- Assignment-correct but rendering-imperfect: 4 (slide 10 verified but rendered as fallback gallery; slides 10/11 and 25/26 appear in reversed narrative order because galleries are appended after inline slides; slide 3 placed before the paragraph carrying its content). None of these misleads on topic. +- Role-aware semantic accuracy (acceptable topic, appendix false negatives counted as failures): + - title/divider/closing: 2/2 (slides 1, 12; 12 is reasonable_range, gallery at section end); + - ordinary content: 18/23 (failures: 2, 4, 9 appendix; 16, 34 wrong topic); + - summary/reference/table: 4/4 (6, 7, 27, 39); + - visual examples: 10/12 (failures: 14 wrong topic, 15 appendix); + - appendix/blank: no real appendix slides in the deck; 0 correct omissions, 4 false omissions; + - total 34/41 = 82.9%. + - Rendering accuracy is not role-dependent here: 41/41 markers present once; gallery-vs-inline order inversions only affect galleries (7, 10, 12, 18, 25, 28, 39, 14, 16). + +## Strong evidence-backed aspects + +- Verified placements are precise on narrated, distinctive slides: slide 8 (IS = хранение, обработка, представление: cues 188-207 right under para 1 of S4), slides 23/24 (physical and logical independence, each directly beside its own paragraph), slides 30/31 (statistics charts beside the paragraphs that read them), slide 38 (stored-procedures layer example), slides 40/41 (designer/analyst). +- Slide 18 (pyramid) correctly tied to "трехуровневая архитектура, бизнес-логика и хранилище" at the end of S8, and slide 25 correctly not confused with it (the lecturer explicitly says "это не трехслойная архитектура ... это уровни представления данных"). +- Appendix section is not used as a dumping ground (4 of 41). +- Language: faithful Russian; tangents (SQLite story, SQL:2023 check, course-inheritance remark, "ERP/OLAP" aside) correctly isolated into tangent callouts; the lecture tail is present. + +## Confidence calibration + +- Incorrect `verified`: 0 of 18. +- Incorrect `probable`: 3 (slides 14, 16, 34), all gallery/inline placements driven by `broad_topic_only` or a call-back cue; slides 14 and 16 are `section_gallery` fallbacks with `no_safe_semantic_block` that still carry `probable`. +- Weak high-confidence matches that happen to be right: slide 6 (verified, raw 13.7, correct), slide 3 (verified, anchor ahead of the explanation), slides 10 and 36 (verified but reasonable_range). +- False-negative `unresolved`/unmentioned: 4 (slides 2, 4, 9, 15); `unresolved` precision 0/4. These are slides with no lexical overlap in the matcher but with clear paraphrased or spoken-explanation matches (slide 15 "централизация" appears in the transcript as a standalone key word). +- Appropriate fallbacks: slides 7, 12, 25, 28, 39 (gallery at an acceptable section). +- Slides 20 and 34 are effectively swapped: the near-duplicate "What is DBMS" slides were assigned in the opposite order of their discussion. + +## Uncertainty and limitations + +- Checked and correct scope: all 25 `correct` slides were verified against transcript cues; all 4 false negatives and 3 incorrect placements were verified against transcript text with cue numbers. +- Unchecked: picture content of slides 12-16, 21, 28, 30, 31, 33 was inferred from native title/text and the transcript, not from the images; slide 31's partial status is a judgment call (the lecturer only names the two charts). Slides 7, 20, 34-37 are ambiguous (reference slide, near-duplicate build slides); they are labelled `reasonable_range` or `incorrect` with the reasoning above, and a stricter judge might treat 20 as incorrect. +- Note-text faithfulness was read end to end, but a line-by-line diff against the transcript was not done; numeric faithfulness scores are ranges. +- Scores use my sampling; no overall arithmetic score computed. + +## Verdict + +`usable_with_alignment_issues` + +Rationale: the note covers the whole lecture and is faithful, in good Russian, but 7 of 41 slides are mishandled: four discussed slides (2, 4, 9, 15) were dropped to the appendix as unmentioned (false-negative rate 4/41 = 9.8%), and three slides (14, 16, 34) sit in unrelated or merely topical sections with `probable` confidence (slide 14 RAMAC is in the Big-Data statistics section, slide 16 PCs after the SQLite tangent). There are no incorrect `verified` placements (0/18), which prevents a `poor` verdict, but the structure and block-quality defects (raw dialogue, mid-dialogue section cut, history under the introduction group) and the false negatives mislead navigation. diff --git a/benchmarks/lecture-quality/2026-10-11-val-swe-03-26-v2.md b/benchmarks/lecture-quality/2026-10-11-val-swe-03-26-v2.md new file mode 100644 index 0000000..44f3ac5 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-val-swe-03-26-v2.md @@ -0,0 +1,204 @@ +# Независимая оценка качества конспекта: swe-2026-03-26, режим v2, validation + +- Судья: claude sonnet, effort medium +- Дата: 2026-10-11 +- task_id: 224b1c64c62c478880d811951f212689 +- Code: feat/slide-matcher-fixes, матчер = 5ec2da4 (стенд :18082 собран из рабочего дерева до коммита; SLIDE_MODE=v2) +- sha256 (добавлено родителем): slides.pdf c1c02335fe347516500e311275dd770b0298d5a76d42ab9dac060abf2baf9473, transcript.srt c277a2edfb99328593736459a59fba33721fc2daf4950a9787d710e782af1f5f, конспект.md 1701bd23719eb035f7891f19d32d486ec680802d9b6027c510214ff904c57212 + +## Объём и инвентарь + +- Входы: `runs/2026-10-11-val-swe-03-26-v2/result/output/` (конспект.md, transcript.srt, structure.json, slides/, audio/, document-slide-alignment.json), колода `swe-2026-03-26/slides.pdf`. +- Хэши: slides.pdf sha256 `c1c02335fe347516500e311275dd770b0298d5a76d42ab9dac060abf2baf9473`; transcript.srt sha256 `c277a2edfb99328593736459a59fba33721fc2daf4950a9787d710e782af1f5f`. +- Структура: 6 глав (H1), 29 секций (H2/H3 в оглавлении) + служебная глава «Непривязанные слайды»; 1893 реплики транскрипта (00:00:01 – 01:30:10); 26 слайдов в PDF и 26 PNG в slides/; 11 врезок `[!tangent]`. +- Отсутствующие артефакты: нет (исходное аудио не требовалось). + +## Метод выборки + +- Pass A: все 26 слайдов проверены по нативному тексту (`pdftotext`), визуальные слайды (8, 9, 22, 24) просмотрены как изображения. Для каждого слайда проведён глобальный поиск по всему транскрипту (ключевые слова и парафразы), транскрипт прочитан целиком для интервалов 00:00–00:10, 00:24–01:08, 01:07–01:15, 01:15–01:18, 01:29–01:30 и выборочно по остальным. +- Качество конспекта: проверены начало (секции 1–2), середина (секции 4.3 «Оценка задач…» и 5.2 «Обратный проход…»), конец (последняя секция и хвост 01:29–01:30), блоки с отступлениями. +- Ограничение независимости: в конспекте (.md) положения картинок слайдов видны по построению, поэтому при чтении выборочных секций я заметил, в какие секции попали некоторые слайды. Метки pass A (discussed/preferred/acceptable) выставлены только по транскрипту и содержимому слайдов до открытия `document-slide-alignment.json`. Сам json в pass A не открывался. + +## Pass-A ground truth + +| Слайд | Роль | Статус обсуждения | Центральные концепты | Предпочтительный контекст | Допустимый диапазон | Доказательство | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed | Лекция 4: Планирование проекта | начало, 00:00:01 | секции 1–2 (00:00–06:30) | 00:00:02 «лекция про планирование проекта» | +| 2 | agenda/content | discussed | зачем план; Что/Почему/Когда/Как/Где/Кто; план нужен и в Agile | 00:04:18–00:04:45, секция «Составление плана…» | введение 00:00–06:30 | 00:04:34 «что нужно сделать, когда, какими силами, используя какие ресурсы и зачем» | +| 3 | content | discussed | риск = неопределённость + неприятный исход; известное/неизвестное неизвестное | 00:07:12–00:07:56, секция «Важность идентификации…» | 00:06:30–00:10:20 | 00:07:15 «неопределенность с неприятным исходом»; 00:07:35 «известная и неизвестная» | +| 4 | content | discussed | идентификация рисков: stakeholder'ы, мозговые штурмы, прошлый опыт, профиль рисков | 00:10:20–00:13:03 «Методы идентификации» | 00:10:20–00:13:03 | 00:10:23 «Идентификация риска включает… поиск» | +| 5 | content/summary | discussed | серьёзность, вероятность, стратегии (принять/избежать/переложить/смягчить/отслеживать), триггеры | 00:15:30–00:25:25 (матрица, стратегии, триггеры) | 00:08:08–00:25:25 | 00:24:43 «события, триггеры … пороги» | +| 6 | content | discussed | резервный фонд, План Б × вероятность, 5–30% | 00:25:28–00:31:41 | 00:24:24–00:32:41 | 00:25:30 «создание резервного фонда»; 00:27:22 «от 5 до 30 процентов» | +| 7 | content | discussed | непрерывное управление рисками, переоценка, поиск новых рисков, анализ резерва | 00:31:42–00:32:36 | 00:28:43–00:32:41 | 00:31:42 «поддержание списка…»; 00:32:09 «поиск новых рисков» | +| 8 | section_divider + visual (WBS-дерево «Landscape project») | discussed | WBS, корень = проект | 00:32:47–00:33:24 | 00:32:41–00:34:02 | 00:32:55 «work-breakdown structure»; 00:33:07 «В корне дерева находится проект целиком» | +| 9 | visual_example (WBS-дерево «Widget Release», два подхода) | discussed | компонентный vs поэтапный подход к WBS | 00:33:25–00:33:48 | 00:32:47–00:34:02 | 00:33:25 «на предыдущем слайде был пример… а здесь применяется подход» | +| 10 | content | discussed | критерии декомпозиции: отчуждаемый артефакт, полнота, непересечение, ясность | 00:34:02–00:35:56 | 00:34:02–00:35:56 | 00:34:10 «каждая задача должна порождать отчуждаемый артефакт»; 00:34:53 «не должны пересекаться» | +| 11 | content | discussed | SMART | 00:35:57–00:39:31 | 00:35:57–00:41:46 (вкл. 8–80 ч) | 00:36:15 «задача должна быть конкретной»; 00:39:31 «time bound» | +| 12 | summary/agenda | discussed | 7 этапов планирования | 00:41:46–00:42:15 «Этапы планирования» | 00:41:46–00:42:15 (00:04:18–00:06:30 лишь общий цикл риски→расписание→риски, как допустимый диапазон не засчитан) | 00:41:52 «Планирование в целом состоит из этапов… цели, анализ рисков, декомпозиция, зависимости, оценка, расписание» | +| 13 | reference_or_table | discussed | матрица зависимостей | 00:42:35–00:42:56 | 00:42:15–00:43:00 | 00:42:35 «есть такая вещь, как матрица зависимости» | +| 14 | visual_example | discussed | сетевой график, фиктивное ребро, длительности | 00:43:00–00:44:19 | 00:43:00–00:44:27 | 00:43:10 «задачи являются ребрами… Вершины это этапы»; 00:43:27 «фиктивное ребро» | +| 15 | content | discussed | длительность vs объём работ, формула конвертации | 00:44:27–00:45:58 | 00:44:27–00:45:59 | 00:45:45 «объем работы надо делить на производительность труда» | +| 16 | visual_example | discussed | Astromskis: чем заняты программисты за кодом | 00:46:05–00:49:50 | 00:46:05–00:50:24 | 00:46:05 «картинка из хорошей статьи 2017-го года»; 00:48:18 «Coding порядка 60 процентов» | +| 17 | visual_example | discussed | то же (вторая часть, ящики с усами/выбросы) | 00:48:55–00:49:37 | 00:46:05–00:50:24 | 00:49:05 «ящики с усами» | +| 18 | visual_example | discussed | Meyer: ~21% времени на работе — код, остальное коммуникации | 00:50:25–00:51:57 | 00:50:25–00:52:07 | 00:50:30 «работой порядка 21 процента времени»; 00:51:27 «работают всего 1/5» | +| 19 | summary | discussed | прямой/обратный проход, резервы, критический путь | 00:52:48–00:59:19 (обе секции прохода) | 00:52:48–00:59:28 | 00:54:08 «Прямой проход»; 00:55:35 «обратный переход»; 00:58:12 «критическим путем» | +| 20 | content | discussed | Гантт, 1910 год, календарный график, early start | 00:59:28–01:01:02 | 00:52:07–01:01:02 (слабо 00:52:21 упоминание) | 00:59:28 «диаграмма Ганта»; 01:00:17 «подход early start»; 01:01:08 про 1910-й год (по смыслу: «придумали задолго до… ПО») | +| 21 | visual_example | discussed | Гантт с ресурсами | 01:01:57–01:02:17 | 01:01:25–01:03:05 | 01:02:02 «про каждую задачу написано, кто… отвечает» | +| 22 | visual_example | discussed | загруженность ресурсов, гистограмма | 01:02:33–01:03:05 и 01:07:04 | 01:02:33–01:07:22 | 01:02:41 «сколько часов уходит у каждого ресурса»; 01:07:05 «визуализация загруженных ресурсам» | +| 23 | content | discussed | оптимизация ресурсов: перегрузка, выравнивание пиков, переоценка | 01:05:06–01:06:00 | 01:03:05–01:07:22 | 01:05:06 «балансировку ресурсов приходится выполнять»; 01:05:33 «подвигать работы в пределах флота» | +| 24 | visual_example | discussed | планирование денежного потока, кассовый разрыв | 01:07:22–01:08:47 | 01:07:22–01:08:47; слабо 01:13:25–01:14:50 | 01:08:03 «кассовым разрывом» | +| 25 | summary/list | discussed | типичные ошибки оценки (люди, скорость, риски, налоги, админ. аппарат, отпуск, индексация, закупки, политика) | 01:15:10–01:29:32 (секции «Основные ошибки…» по «Влияние корпоративной политики») | 01:15:10–01:30:10 | 01:15:15 «Основные ошибки перечислены на этом слайде»; 01:29:29 «политика против здравого смысла» | +| 26 | content/list | unmentioned | уровни детальности оценки: «оценка в лифте», при выборе проекта, детальная | — | — | Глобальный поиск «лифт», «уровн», «детальн», «выборе проект» нашёл только несвязанные места (00:33:07 «уровню» про дерево WBS; 00:07:09). Слабая смежность: компромисс «точность vs скорость оценки» 01:16:45–01:17:42 относится к слайду 25 | + +Итого pass A: discussed 25, partially_discussed 0, unmentioned 1 (слайд 26), unknown 0. + +## Оценка качества конспекта (pass A) + +Конспект по инспектированной выборке верен транскрипту: числа и примеры (120 000 руб. -> 180–200 тыс., 13% НДФЛ, 60–70% кодинга, 21% рабочего времени, 5–30% резерва, правило 8–80 ч) совпадают с репликами; 19 мест с неясным ASR честно помечены «[возможная ошибка распознавания: …]»; хвост лекции (01:29:32–01:30:10) представлен. Pass A (метки обсуждения и предпочтительные диапазоны) зафиксирован до открытия json. + +## Pass B: аудит матчера + +Pass B начат только после фиксации pass A. Открыты `document-slide-alignment.json` (mode v2, prompt_versions catalog `native-text-v1`, alignment `dp-v1`) и расположение картинок в `конспект.md`. Нумерация global_section_id: 0 «Введение…», 1 «Составление плана…», 2 «Важность…», 3 «Методы…», 4 «Типичные ошибки…», 5 «Матрица рисков…», 6 «Стратегии…», 7 «Триггеры и резерв…», 8 «Согласование бюджета…», 9 «Декомпозиция (WBS)», 10 «Требования…», 11 «SMART», 12 «8–80 часов», 13 «Этапы планирования», 14 «Матрица зависимостей», 15 «Сетевые графики», 16 «Оценка задач…», 17 «Диаграммы Ганта», 18 «Прямой проход», 19 «Обратный проход…», 20 «Диаграмма Ганта и её особенности», 21 «Управление ресурсами…», 22 «Денежные потоки…», 23 «Fix Price/T&M», 24 «Финансирование продукта…», 25 «Основные ошибки…», 26 «Налоги…», 27 «Административные расходы…», 28 «Корпоративная политика». + +## Вердикты по слайдам + +Вердикт выносится по содержанию (сопоставление с pass A), margin/reason_code приведены справочно. `unbound` = слайд положен в галерею раздела без привязки к абзацу; `appendix` = в «Непривязанные слайды». + +| Слайд | Статус матчера (уверенность) | Раздел матчера (вывод) | margin / reason_code | Вердикт | Предпочтительный раздел | Комментарий | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | discussed (verified), inline | 0 Введение, блок 0 | margin 3.18, semantic_explicit | correct | 0 | титул в начале лекции, после первого абзаца: допустимо | +| 2 | unbound (unresolved), gallery | 8 Согласование бюджета (28:43–32:41) | margin none, path_section=0, stronger_competitor | incorrect | 1 «Составление плана…» (04:18, «что нужно сделать, когда, какими силами…»), допустимо 0 | см. ниже: (а) unbound неверно, слайд обсуждён; (б) галерея раздела 8 (инвесторы, мониторинг рисков) не про планирование вообще; путь матчера (path_section=0) был верным, но галерея выбрана в 8 | +| 3 | discussed (verified), gallery (fallback no_safe_semantic_block) | 2 Важность идентификации | margin 5.12 | correct | 2 | определение риска 07:12–07:56 в секции 2; якорь на уровне галереи | +| 4 | discussed (verified), inline | 3 Методы идентификации, блок 0 | margin 9.62 | correct | 3 | | +| 5 | discussed (verified), inline | 5 Матрица рисков, блок 4 | margin 12.87 | correct | 5 (допустимо 6, 7) | слайд «Шаг 2: стратегия» после абзаца «Далее рассматривается стратегия снижения урона» | +| 6 | discussed (verified), inline | 7 Триггеры и резерв, блок 1 | margin 7.26 | correct | 7 | 25:28 «создание резервного фонда», 27:22 «5 до 30 процентов» | +| 7 | discussed (verified), inline | 8 Согласование…, блок 2 | margin 7.93 | correct | 8 | абзац «поддержание списка… перетряхивается» (31:42) прямо перед слайдом | +| 8 | discussed (probable), gallery | 9 Декомпозиция (WBS) | margin 1.03, semantic_strong | correct | 9 | дерево WBS, 32:47–33:24; галерея уместна для визуала | +| 9 | unmentioned (unresolved), appendix | Непривязанные слайды | no_candidates, score 0 | incorrect | 9 | ложный unmentioned: 00:33:25 «на предыдущем слайде был пример… а здесь применяется подход…» объясняет второй WBS-рисунок. Слайд без нативного текста (только схема), матчер не нашёл кандидатов | +| 10 | discussed (probable), gallery | 10 Требования к задачам | margin 13.10, weak_evidence_only | correct | 10 | | +| 11 | discussed (verified), inline | 11 SMART, блок 0 | margin 2.62 | correct | 11 | | +| 12 | unbound (unresolved), gallery | 1 Составление плана (04:18–06:30) | margin none, path_section=13, stronger_competitor | incorrect | 13 «Этапы планирования проекта» (41:46–42:15: «Планирование в целом состоит из этапов… цели и требования, анализ рисков, декомпозиция, зависимости, оценка, расписание») | (а) unbound неверно: слайд обсуждён почти 1:1; (б) галерея раздела 1 лишь по общей теме (общий цикл), прямое объяснение в разделе 13, в котором слайда нет. Слабое место: допустимость раздела 1 как обзорного — спорная, оценено как incorrect по правилу «есть материально лучший контекст». Путь матчера (path_section=13) был верным | +| 13 | unbound (unresolved), gallery | 14 Матрица зависимостей | margin none, path_section=18, stronger_competitor | correct | 14 | (а) unbound формально неверно (обсуждён 42:35), но слайд-таблица, и (б) галерея нужного раздела: ок. Путь DP (18) был неверен, финальная галерея верна | +| 14 | discussed (probable), inline | 15 Сетевые графики, блок 2 | margin 8.33, visual 0.316 | correct | 15 | | +| 15 | discussed (verified), inline | 16 Оценка задач, блок 0 | margin 16.35 | correct | 16 | формула «объём/производительность» | +| 16 | discussed (probable), gallery | 16 Оценка задач | margin 18.31, weak_evidence_only | correct | 16 | график Astromskis; конец раздела, допустимо | +| 17 | discussed (verified), inline | 16 Оценка задач, блок 3 | margin 20.26 | correct | 16 | после абзаца про эксперимент Astromskis | +| 18 | discussed (verified), inline | 16 Оценка задач, блок 3 | margin 13.25, anchor_s 3033 (50:33) | correct (раздел); локальный якорь неверен | 16 | раздел верный, но рендер поставил слайд Meyer (21% времени) после блока 3 вместе со слайдом 17, т.е. раньше трёх абзацев разбора Astromskis и абзаца «непосредственно работе программисты посвящают лишь около 21 процента»; anchor_s=50:33 указывает на более поздний блок. Assignment верный, рендеринг/блок неверный | +| 19 | unbound (unresolved), gallery | 19 Обратный проход | margin none, path_section=18, stronger_competitor | reasonable_range | 18–19 (суммарный слайд; предпочтительно начало 18) | (а) unbound формально неверно (прямой/обратный проход, резервы, критический путь обсуждены 52:48–59:19), но для слайда-обзора без единого якоря галерея секции прохода допустима; (б) галерея 19 входит в допустимый диапазон | +| 20 | discussed (probable), gallery | 20 Диаграмма Ганта | margin 6.73 | correct | 20 | 01:00:17 «early start» | +| 21 | discussed (probable), gallery | 20 Диаграмма Ганта | margin 7.45 | correct | 20 | 01:02:02 про ресурсы по задачам | +| 22 | discussed (probable), gallery (fallback) | 19 Обратный проход | margin -0.96 (отрицательный), no_safe_semantic_block | incorrect | 20 (01:02:33–01:03:05 «сколько часов уходит у каждого ресурса»), допустимо 21 (01:07:04) | слайд «Загруженность ресурсов» отнесён к разделу про критический путь (anchor 58:54, блок 1241 общий со слайдом 19). Прямое объяснение в разделах 20/21. Уверенность `probable` при отрицательном margin: завышена | +| 23 | unbound (unresolved), gallery | 20 Диаграмма Ганта | margin none, path_section=21, stronger_competitor | incorrect | 21 «Управление ресурсами и балансировка нагрузки» (01:05:06–01:07:22) | (а) unbound неверно: оптимизация ресурсов (перегрузка, выравнивание пиков) объясняется 01:05:06–01:06:00; (б) галерея 20 смежная и тематически близкая (ресурсы на Гантте), но центральные концепты слайда в разделе 21. Путь DP (21) был верным, галерея выбрана в 20. Низкая тяжесть | +| 24 | discussed (verified), inline | 24 Финансирование продукта, блок 2 | margin 5.26 | reasonable_range | 22 (01:07:22 «денежные потоки», «кассовый разрыв»), допустимо 24 | абзац «Планирование денежного потока (Cash flow schedule)» 01:13:25 прямо называет слайд; но табличная диаграмма уместна и в разделе 22 | +| 25 | discussed (probable), gallery | 25 Основные ошибки | margin 6.54 | correct | 25 | слайд-список, охватывает 25–28 | +| 26 | unbound (unresolved), gallery | 9 Декомпозиция (WBS) | margin none, no path_section, stronger_competitor | incorrect | appendix (слайд не обсуждался) либо галерея раздела 25 | (а) отсутствие привязки к тексту верно: слайд «Уровни детальности оценки» не обсуждался (global search: нет «лифт», «уровни детальности»); (б) галерея раздела 9 (WBS) тематически неверна: слайд про оценку, а не декомпозицию; для необсуждённого слайда верно было бы приложение | + +Слайды с вердиктом по разделу: +- correct: 1, 3, 4, 5, 6, 7, 8, 10, 11, 13, 14, 15, 16, 17, 18, 20, 21, 25 (18 слайдов); +- reasonable_range: 19, 24 (2); +- incorrect: 2, 9, 12, 22, 23, 26 (6); +- unknown: 0. + +### Оценка unbound-слайдов отдельно + +| Слайд | (а) верно ли отсутствие привязки к тексту | (б) верна ли галерея раздела | +| ---: | --- | --- | +| 2 | нет (обсуждён 04:18) | нет (раздел 8 вместо 1) | +| 12 | нет (обсуждён 41:46) | нет (раздел 1 вместо 13) | +| 13 | частично (слайд-таблица, галерея допустима) | да (14) | +| 19 | частично (суммарный слайд, единого якоря нет) | да, в допустимом диапазоне (19; предпочтительно 18) | +| 23 | нет (обсуждён 01:05:06) | нет, смежный раздел (20 вместо 21) | +| 26 | да (не обсуждался) | нет (раздел 9 вместо приложения) | + +Из 6 unbound слайдов только один (26) был не обсуждён; 5 из 6 действительно обсуждены, из них 2 (13, 19) попали в верные галереи. Для 3 из 6 (2, 12, 23) путь DP (`path_section`) указывал на верный раздел (0/13/21), но галерея выбрана иначе (раздел «сильного конкурента»): артефакт выбора раздела для unbound. + +## Скоркард + +| Измерение | Оценка | Уверенность | Резюме доказательств | +| --- | ---: | --- | --- | +| Faithfulness | 88 | средняя | Выборка: начало (секции 0–1), 4 (13:03–15:30), 15–16 (44:27–52:07), 19 (55:38–59:28), 23, 27, 8, хвост; факты и числа сходятся с транскриптом, ASR-сомнения помечены (19 меток). Недочёты: фраза «Лекция начинается с вопроса…» в середине лекции (секция 27), отсебятина «Каждая строка начинается судя по всему с телефонного звонка…» в tangent (строки ~590) | +| Content coverage | 92 | средняя | 29 секций покрывают 00:00:01–01:30:10 без временных разрывов; хвост присутствует | +| Block quality | 82 | средняя | Блоки связные и информативные; редкие мелкие дефекты формулировок («Иными стороны», обрыв «упоминается …» в блоке про Astromskis) | +| Document structure | 88 | средняя | 6 глав / 29 секций, ход соответствует лекции; три подряд раздела про риски (4, 5) пересекаются по теме, но терпимо | +| Language consistency | 93 | высокая | Проза русская; англ. термины (WBS, Time & Material, early start) уместны; ложных мест не найдено | +| Slide semantic relevance | 77 | средняя | 20/25 обсуждённых слайдов в допустимом разделе | +| Slide anchor precision | 72 | низкая-средняя | инлайн-якорей 11, 10 в допустимом диапазоне; 14 слайдов лишь в галереях (локальный якорь не оценивался); дефект слайда 18 | +| Confidence calibration | 80 | средняя | 0 неверных verified; 1 неверный probable (22, margin -0.96); unresolved в основном честно ведут в fallback-галереи, но 5 из 7 unresolved положены в неверный раздел либо в приложение | + +## Критические и major дефекты + +1. major, `discussed_slide_in_appendix` (ложный unmentioned): слайд 9 в `# Непривязанные слайды` (конспект.md, строки ~612–616). Слайд обсуждён: 00:33:25 «вот, предыдущим, на предыдущем слайде был пример в, который использовал подход с компонентами, а здесь применяется подход с…». Ожидаемо: галерея раздела «Декомпозиция задач и структура работ (WBS)» (00:32:41–00:34:02). Причина: слайд-схема без нативного текста, `no_candidates`, score 0. +2. major, `wrong_section_unbound`: слайд 2 «Задача планирования» в галерее раздела «Согласование бюджета, работа с инвесторами и мониторинг» (строка ~214). Реплика 00:04:34: «что нужно сделать, когда, какими силами, используя какие ресурсы и зачем это вообще нужно делать». Ожидаемо: раздел «Составление плана…». Читателя уводит в раздел про инвесторов. +3. major, `wrong_section_probable`: слайд 22 «Загруженность ресурсов» в разделе «Обратный проход и определение критического пути» (assignment `probable`, margin -0.96; строка ~425). Реплики 01:02:41 «сколько часов времени уходит у каждого ресурса на выполнение своих задач» и 01:07:05 «визуализация загруженных ресурсам» относятся к разделам 20/21. Это ближайший к определению «высокоуверенной ошибки» случай. +4. warning, `wrong_section_unbound`: слайд 12 в разделе «Составление плана…» вместо «Этапы планирования проекта» (41:46–42:15; в разделе 13 слайдов нет). Слайд 23 в галерее раздела 20 вместо 21. Слайд 26 (необсуждённый) в галерее раздела WBS вместо приложения. +5. warning, `rendering_local_anchor`: слайд 18 (Meyer, 21%) вынесен вместе со слайдом 17 после блока 3 раздела «Оценка задач…», хотя обсуждается позже (50:25–51:57, блок «Если же брать практику в целом…»). Assignment-correct, rendering-wrong. +6. warning, note-text: tangent «Там телефон. Каждая строка начинается судя по всему с телефонного звонка…» содержит метакомментарий модели, не из транскрипта (раздел «Административные расходы…»). +7. info: assignment `verified` для слайда 3, но placement `fallback/no_safe_semantic_block` (галерея): расхождение уровней уверенности assignment и placement, на читателя не влияет. + +## Метрики слайдов + +Положительным классом считается `discussed` (partially_discussed в этом прогоне нет). Для детекции обсуждения приведены два варианта: строгий (только статус `discussed`) и «привязан к разделу» (discussed + unbound, т.е. слайд не отправлен в приложение). unknown исключён: 0. + +| Метрика | Значение | Счёт | Unknown/исключено | +| --- | ---: | ---: | ---: | +| Discussed precision (строгий) | 100% | 19/19 | 0 | +| Discussed recall (строгий; unbound не считается) | 76% | 19/25 | 0 | +| Привязан к разделу: precision | 96% | 24/25 (слайд 26 не обсуждён) | 0 | +| Привязан к разделу: recall | 96% | 24/25 (слайд 9 потерян) | 0 | +| Unmentioned false-negative rate | 4% | 1/25 (слайд 9) | 0 | +| Precision предсказаний `unmentioned` | 0% | 0/1 | 0 | +| Acceptable topic accuracy (обсуждённые) | 80% | 20/25 | 0 | +| Preferred topic accuracy (обсуждённые) | 72% | 18/25 | 0 | +| Wrong-topic rate (обсуждённые) | 20% | 5/25 (2, 9, 12, 22, 23; строго «чужой раздел/потеря»: 2, 9, 22) | 0 | +| Best-context hit (inline-якоря) | 82% | 9/11 | 14 слайдов в галереях не оценивались по якорю | +| Acceptable-context hit (inline-якоря) | 91% | 10/11 | то же | +| Materially-better-context rate (inline) | 0% (1 small) | 0/11 | то же | +| Verified precision (по теме раздела) | 100% | 11/11 | 0 | +| Verified precision (с локальным якорем) | 91% | 10/11 (слайд 18) | 0 | +| High-confidence error rate (verified+probable, неверный раздел) | 5% | 1/19 (слайд 22) | 0 | +| High-confidence error rate (включая локальный якорь) | 11% | 2/19 (22, 18) | 0 | +| Unresolved precision | 14% | 1/7 (слайд 26; 9 и 2, 12, 13, 19, 23 обсуждены) | 0 | +| Collapsed-slide rate | 0% | 0/26 | 0 | +| Rendering correctness (inline) | 91% | 10/11 (слайд 18) | 0 | + +Дополнительно: +- максимум слайдов на один рендер-якорь: 2 (слайды 17 и 18 на блоке 3 раздела 16; семантически близки), в галерее: 3 (раздел 20: слайды 20, 21, 23); +- дубликатов маркеров 0, пропущенных изображений 0 (26 уникальных `![Слайд N]` для 26 PNG); +- ложноположительных в приложении: 1 (слайд 9); необсуждённых слайдов, ушедших в приложение: 0 из 1 (слайд 26 положен в галерею раздела 9); +- assignment-correct, rendering-wrong: 1 (слайд 18). + +По ролям (раздел верен / допустим из всех): +- title/divider/closing/agenda (1, 2, 8, 12): 2/4 (неверны 2, 12); +- ordinary content (3, 4, 5, 6, 7, 10, 11, 15, 20, 23): 9/10 (неверен 23); +- summary/reference/table (13, 19, 25): 3/3; +- visual examples (9, 14, 16, 17, 18, 21, 22, 24): 6/8 (неверны 9, 22); +- appendix/blank: слайд 26 (необсуждённый) положен в основной текст, а не в приложение: 0/1. + +## Сильные стороны + +- Слайды 4, 6, 7, 11, 15, 17, 24 стоят inline прямо у объясняющих абзацев (например, слайд 7 после «Дальнейшее управление рисками заключается в поддержании списка…», слайд 24 после «Планирование денежного потока (Cash flow schedule)»). +- Слайд 5 «Шаг 2: стратегия» стоит после абзаца «Далее рассматривается стратегия снижения возможного урона». +- Ни одного неверного `verified` по теме раздела; визуальные слайды 14, 16, 17, 20, 21 попали в верные разделы. +- Конспект: точные числа, аккуратные пометки ASR, нет «галлюцинированных» фактов в выборке. + +## Калибровка уверенности + +- Неверные высокоуверенные размещения (verified): 0 по разделу, 1 по локальному якорю (слайд 18). +- Неверные probable: 1 (слайд 22, margin отрицательный). +- Ложные unmentioned: 1 (слайд 9). +- Слабые высокоуверенные: слайд 8 (margin 1.03, probable, но верно), слайд 11 (verified при margin 2.62, верно). +- Уместные fallback: 13, 19 (верные галереи для слайда-таблицы и суммарного слайда), 26 (верно «не привязан», но не в том месте). +- Неуместные fallback: 2, 12, 23 (путь DP был верным, галерея выбрана в другой раздел). + +## Неопределённость и ограничения + +- Проверено: 26/26 слайдов (текст, для 8, 9, 22, 24 изображение), транскрипт прочитан по ключевым интервалам и целиком проверен глобальным поиском для каждого слайда. +- Не проверено: полный постраничный diff конспекта с транскриптом (выборка 8 интервалов: 00:00–06:30, 13:03–15:30, 28:43–32:41, 44:27–52:07, 55:38–59:28, 01:08:47–01:12:05, 01:12:05–01:15:10, 01:23:06–01:30:10); визуальное содержание слайдов 14, 16–18, 20, 21 оценено по нативному тексту и реплике, не по пиксельному разбору; какой из слайдов 16/17 содержит какую половину диаграммы Astromskis, не установлено (оба равноправны по тексту). +- Независимость: расположение картинок в конспекте было видно до завершения pass A, но метки pass A выставлены по транскрипту/слайдам и зафиксированы до открытия json. +- Спорные слайды: 12 (раздел 1 как обзорный контекст допустим слабо), 19 и 24 (диапазоны), 23 (смежный раздел). + +## Вердикт + +`usable_with_alignment_issues` + +Конспект по тексту хороший (faithful, полный по времени, структурный). Привязка слайдов в целом точная (20/25 обсуждённых в допустимом разделе, 0 неверных `verified` по разделу, 18/25 строго предпочтительных), но есть три существенных дефекта: потерянный в приложении обсуждённый слайд 9, слайд 2 в разделе про бюджет/инвесторов и слайд 22 со статусом `probable` в разделе про критический путь; в добавок 3 слайда (12, 23, 26) положены в неверные галереи, хотя путь DP указывал верный раздел (для 2, 12, 23). diff --git a/benchmarks/lecture-quality/2026-10-11-val-swe-04-09-v2.md b/benchmarks/lecture-quality/2026-10-11-val-swe-04-09-v2.md new file mode 100644 index 0000000..bc4bacc --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-val-swe-04-09-v2.md @@ -0,0 +1,225 @@ +# Независимая оценка качества конспекта: swe-2026-04-09, режим v2, validation + +- Судья: claude sonnet, effort medium +- Дата: 2026-10-11 +- task_id: 5cbfbec877d14fffb9bbf96812ea23bd +- Code: feat/slide-matcher-fixes, матчер = 5ec2da4 (стенд :18082 собран из рабочего дерева до коммита; SLIDE_MODE=v2) +- sha256 (добавлено родителем): slides.pdf 9bcfe5b4fea64377fa17081eaa13e33b8068bb56ecc953eed5bb90799876447d, transcript.srt 5a174e539b0bacb7093f7f9f6f9f2528a4fb1ac9a5d404dcbaae6cd8032374c2, конспект.md 0bf7a1bd0b4bf1c76d7d45e66932de3053f36df7f6b6106557303243e26232e8 +- Режим матчера: v2 + +## Scope and inventory + +- Inputs inspected: `result/output/` (конспект.md, transcript.srt, structure.json, slides/slide-01..18.png, audio/), `slides.pdf` (18 стр., нативный текст через pdftotext, изображения через pdftoppm), document-slide-alignment.json (только в pass B). +- Source hashes: slides.pdf sha256 `9bcfe5b4fea64377fa17081eaa13e33b8068bb56ecc953eed5bb90799876447d`; прочие хеши в результате не заданы. +- Sections / blocks / cues / slides: 7 глав, 30 подразделов (global_section_id 1..30 = нумерация подразделов по порядку), 2057 cue в transcript.srt (длительность 01:38:17), 18 слайдов, 15 блоков «tangent», 12 маркеров «[неясный фрагмент]», 3 «[возможная ошибка распознавания]». +- Missing artifacts: нет. Оригинального аудио нет (только нарезка mp3 в результате; не использовалась). + +## Sampling method + +- Слайды: все 18 просмотрены (нативный текст; изображения 7, 9, 11, 12, 13, 14, 16 просмотрены визуально). +- Транскрипт: прочитан целиком в минутной свёртке (0–98 мин) для поиска обсуждения каждого слайда. +- Конспект: выборочно прочитаны подразделы 1–5 (начало), 12 и 14 (середина), 17, 22, 29, 30 (конец/хвост); сквозной подсчёт служебных маркеров. +- Отступление от независимости (раскрытие): при построении оглавления конспекта я случайно увидел строки `![Слайд N]` и их номера строк в конспект.md (грепом, до pass A). Метки pass A выставлены по транскрипту и слайдам и зафиксированы ниже до открытия document-slide-alignment.json; влияние на метки считаю малым, но оно возможно. +- Pass-A метки завершены до открытия document-slide-alignment.json. + +## Pass-A ground truth + +Время даётся по транскрипту; раздел N = global_section_id (границы: 1: 0:00–3:21, 2: –4:48, 3: –7:49, 4: –10:37, 5: –11:38, 6: –13:53, 7: –16:01, 8: –20:19, 9: –24:13, 10: –27:38, 11: –34:34, 12: –42:23, 13: –47:59, 14: –54:46, 15: –56:55, 16: –58:44, 17: –1:04:01, 18: –1:06:08, 19: –1:09:31, 20: –1:11:49, 21: –1:15:06, 22: –1:19:18, 23: –1:21:44, 24: –1:22:57, 25: –1:25:32, 26: –1:28:08, 27: –1:30:21, 28: –1:32:56, 29: –1:35:11, 30: –1:38:17). + +| Слайд | Роль | Статус | Центральные понятия | Предпочтительный контекст | Допустимый диапазон | Свидетельство | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed (по роли) | «Лекция 5: Управление проектом» | раздел 1 (начало) | 1 | 0:00 «Сегодня у нас … пара про управление проектами» | +| 2 | agenda | discussed | задачи, люди, дефекты, коммиты, график/Гантт/крит. путь, правило 0-50-100 | раздел 1 | 1–5 | 0:00–11:38 последовательно по пунктам; «0, 50 или 100» на 2:00 и 11:00 | +| 3 | content/agenda метрик | discussed | зачем метрики, SMART, типовые категории метрик | раздел 6 (зачем/критерии) | 6–7 | 12:00 «метрики полезны, если по ним можно принимать решения», 13:00 «критерии смартной задачи», 14–17 перечень категорий | +| 4 | content | discussed | WIP, lead time, cycle time, очередь, batch, эффективность процесса | раздел 8 | 8–9 | 16:00–20:00 «время выполнения… время цикла… размер очереди… размер партии»; 20:00 эффективность | +| 5 | content | discussed | BAC, PV, EV, AC | раздел 10 | 10–11 | 24:13–29:00 «planed value… освоенный объём… фактическая стоимость» | +| 6 | content | discussed | CV, SV, CPI, SPI, пороги >0 / >1 | раздел 11 | 11 | 29:00–31:30 «cost variance… отклонение по срокам… cost performance index»; «больше единицы» | +| 7 | visual_example (S-кривые PV/AC/EV) | discussed | кривые PV, AC, EV, СV и SV на графике | раздел 11 (конец) | 11–12 | 32:00–36:00 «состояние проекта можно откладывать на графике… Как вы думаете, что с этим проектом?… СВ это разница»; разбор 36–38 | +| 8 | content | discussed | ETC, EAC, VAC, TCPI | раздел 12 | 12 | 36:40–38:20 «Estimate to complete… Прогноз по завершению… индекс производительности» | +| 9 | visual_example (прогнозный график) | discussed | EAC/BAC/ETC на кривых, status date | раздел 12 | 12 | 38:00–43:30 «прогноз по нашему проекту… BAC будет находиться на вертикальной линии…» | +| 10 | content | discussed | cost/benefit, plan vs actual value, ROI, NPV | раздел 13 | 13–15 | 44:20–50:00 соотношение затрат и выгод, запл./актуальная ценность; 49:00 ROI; 54:30–58:00 NPV и приведённость | +| 11 | content + visual (mood chart) | discussed | NPS, диаграмма настроения, мораль, текучка | раздел 16 | 16–17 | 56:55–58:44 NPS; 58:44–1:02:30 настроение, 3 вопроса морали, текучка | +| 12 | visual_example (комикс Dilbert) | discussed | «улучшил на 19%… как измерял?» | раздел 17 (конец) | 17–18 | 1:03:00–1:04:00 «проблема… изложена в комиксе… начальник сообщает, что увеличил на 19 процентов» | +| 13 | visual_example (scatter cost/schedule variance) | discussed | 4 проекта A–D, оси отклонения по срокам/бюджету | раздел 18 (конец) | 18–19 | 1:04:30–1:06:00 «самая полезная штука… график, на котором откладывается по одной оси… у этого проекта все хорошо, у этого плохо» | +| 14 | visual_example (рамки эскалации) | discussed | внутренняя/внешняя границы, senior/immediate threshold | раздел 19 | 19 | 1:06:08–1:09:30 «рамки эскалации… внутренняя рамка… внешняя граница… высшее руководство» | +| 15 | content (список) | discussed | Hawthorne, пустые метрики, недостижимые цели, неправильное использование, достигательство, confirmation bias, корреляция≠причинность | раздел 20 | 20–23 | 1:09:31–1:21:44 каждый пункт по порядку | +| 16 | visual_example | discussed | треугольник равновесия, «быстро/дёшево/качественно» | раздел 24 | 24–25 | 1:22:00–1:24:00 «треугольник равновесия… стоимость, фичи, сроки… качество… быстро, дёшево, качественно» | +| 17 | content (список) | discussed | пересмотр оценок, перераспределение, добавление людей, эксперты, аутсорсинг, сверхурочные, снижение качества | раздел 25 | 25–28 | 1:24:00–1:32:56 по пунктам | +| 18 | content (список) | discussed | изменение границ, дедлайн, опережение, incremental delivery, прототип, снижение прибыльности | раздел 29 | 29–30 | 1:32:56–1:37:30 по пунктам | + +Итог pass A: 18/18 discussed (слайд 1 — по роли title); unmentioned = 0; appendix/blank = 0. Слайд 3 и 11 охватывают два раздела, слайд 15/17/18 — несколько (композитное свидетельство). + +### Качество конспекта (выборка) + +- Faithfulness: выбранные разделы (1–5, 12, 14, 17, 22, 29, 30) соответствуют транскрипту; формулы (ETC = (BAC−EV)/CPI), числа (400 багов, 20x для Skype, окно запуска к Марсу) сохранены. Нет заметных выдумок. Мелкие ASR-огрехи не исправлены: «пишут небольшой комикс» вместо «коммит» (раздел 4, на слайдах/по смыслу — «коммит»), «during» вместо «doing» (раздел 4), «дистилляция с вашей учевочкой» (раздел 4). +- Структура: 7 глав / 30 подразделов, заголовки отражают содержание, порядок следует лекции. +- Язык: русский, термины EV/AC/ETC и т. п. выделены; ложных смен языка не найдено. +- Охват: хвост (разд. 29–30, до «Ну всё, вас уже давно пора отпускать») присутствует; временных провалов не замечено. +- Дефекты уровня warning: (1) раздел 17 «текучка кадров» (контент слайда 11) переведён в «Отступление от темы», хотя это содержательный пункт слайда; (2) блок «Вот, okay.» в разд. 12 — пустой tangent; (3) блоки-«tangent» местами содержат сырой ASR-текст (разд. 4, 12, 30); (4) внутритекстовые маркеры «[возможная ошибка распознавания: …]» (3) и «[неясный фрагмент]» (12) загрязняют текст; (5) раздел 12 начинается с середины рассуждения (хвост разбора графика из 11), без вводной фразы. + +## Scorecard + +| Dimension | Score | Confidence | Evidence summary | +| --- | ---: | --- | --- | +| Faithfulness | 85 | medium | Выборка 8 подразделов: формулы, числа, примеры совпадают с транскриптом; остались неисправленные ASR-ошибки («комикс» вместо «коммит», «during», «дистилляция с вашей учевочкой») | +| Content coverage | 90 | medium | Все 30 подразделов 0:00–1:38:17 есть, хвост присутствует; текучка кадров (контент слайда 11) ушла в tangent | +| Block quality | 78 | medium | Основной текст читаем; ~15 tangent-блоков, часть с сырым ASR или пустая («Вот, okay.»); 15 служебных маркеров ошибок распознавания в тексте | +| Document structure | 85 | medium | 7 глав / 30 подразделов, заголовки точны, порядок соответствует лекции; разд. 12 начинается с середины мысли | +| Language consistency | 90 | high | Русский текст, термины в оригинале уместны; ложных смен языка нет | +| Slide semantic relevance | 72 | medium | 14/18 допустимо (7 correct + 7 reasonable_range), 4 incorrect | +| Slide anchor precision | 55 | medium | 13 из 18 слайдов вынесены в галерею раздела (anchor_s = null или `no_safe_semantic_block`), только 5 inline; у inline 8/9 — небольшой регресс (график прогноза стоит до его разбора) | +| Confidence calibration | 60 | medium | `verified` (2) оба корректны; из 12 `probable` 3 неверны (слайды 1, 6, 13), у слайда 6 margin = −0.043 при `probable` | + +## Critical and major defects + +Критических дефектов нет (результат целый, 18/18 слайдов вставлено по одному разу). + +1. **major / incorrect_probable_placement — слайд 13 (scatter «Отслеживание затрат и времени»)**. + Текущее место: gid 10 (подраздел 11 «Фактическая стоимость и взаимосвязь времени и бюджета», 27:38–34:34), anchor_s 1760.4 (29:20), блок 613, `semantic_strong visual=0.195 margin=6.775`, `probable`, галерея в конце раздела. + Нативный текст слайда: «Отслеживание затрат и времени»; на картинке — 4 точки A–D по осям «Behind/Ahead of schedule», «Under/Over budget». Транскрипт 1:04:30–1:06:00 (подраздел 18, gid 17): «самая полезная штука для оценки ситуации в проекте это такой простой график, на котором откладывается по одной оси… У этого проекта все хорошо, он все еще тратит меньше денег, но при этом остается впереди исходного графика. У этого проекта все плохо…». + В подразделе 11 этот 4-точечный график не разбирается, совпал только заголовок («время/стоимость»). Лучше: подраздел 18 (gid 17), допустимо 19 (gid 18). Читатель ищет график порогов рядом со слайдом 14, а видит его на 1 час раньше. +2. **major / incorrect_title_placement — слайд 1 (титул)**. + Текущее место: gid 6 (подраздел 7 «Категории метрик…», 13:53–16:01), галерея после контента, `probable`, placement `fallback no_safe_semantic_block`, anchor_s 907.2 (блок 308, `lexical=7.116 margin=0.116`). + Титульный слайд «Лекция 5: Управление проектом, Юрий Литвинов, 09.04.2026» должен стоять в начале (gid 0). В конспекте он оказывается в середине подраздела 7 после «метрик удовлетворённости». Вводит в заблуждение. +3. **warning / incorrect_probable_placement — слайд 6 (производные метрики CV/SV/CPI/SPI)**. + Текущее место: gid 11 (подраздел 12, 34:34–42:23), блок 774 (37:11, фрагмент ETC/CPI), `probable`, `margin=-0.043`. Прямое объяснение формул: 29:00–31:30 («cost variance… отклонение по срокам… cost performance index… больше единицы»), подраздел 11 (gid 10), соседний. Слайды 6, 7, 8 делят один cue (774). +4. **warning / incorrect_fallback_gallery — слайд 12 (комикс Dilbert)**. + `unbound deck_order_conflict` (решение не привязывать — разумное), но галерея положена в gid 3 (подраздел 4 «Анализ коммитов», 7:49–10:37), блок 188. Блок 188 — это ASR-ошибка «пишут небольшой комикс» (на самом деле «коммит»); слайд с комиксом никак не связан. Комикс обсуждается в 1:03:00–1:04:00 (подраздел 17, gid 16): «проблема со всеми этими метриками кратенько изложена в комиксе… начальник сообщает, что он увеличил на 19 процентов». Причём в тексте подраздела 17 комикс упомянут явно («DILBERT.COM», «в комиксе»). +5. **warning / content_demotion** — «текучка кадров» (центральный пункт слайда 11) помещена в блок «Отступление от темы» подраздела 17. +6. **info / transcription_artifacts** — 12 «[неясный фрагмент]», 3 «[возможная ошибка распознавания]», пустой tangent «Вот, okay.» (подраздел 12). + +## Вердикты по слайдам + +Нумерация: gid = `global_section_id` (0-based), в скобках — № подраздела конспекта (gid+1; проверено по anchor_s и по расположению картинки в .md). `path_section` из reason_code — в той же нумерации. margin/reason_code справочно. + +| Слайд | Статус | Раздел матчера gid (№) | path_section gid (№) | Вердикт | Предпочтительный раздел gid (№) | Справочно | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | discussed (probable, placement fallback) | 6 (7) | — | incorrect | 0 (1) | lexical=7.1 margin=0.116 | +| 2 | discussed (probable) | 0 (1) | — | correct | 0 (1) | margin=−1.625, weak_evidence_only | +| 3 | discussed (probable, inline) | 6 (7) | — | reasonable_range | 5–6 (6–7) | margin=18.8 | +| 4 | **unbound** (unresolved, stronger_competitor) | 7 (8) | 8 (9) → reasonable_range | correct | 7 (8) | lexical=52.0, path_min_margin=−38.5 | +| 5 | discussed (probable) | 9 (10) | — | correct | 9 (10) | margin=11.4 | +| 6 | discussed (probable) | 11 (12) | — | incorrect | 10 (11) | margin=−0.043 | +| 7 | discussed (probable) | 11 (12) | — | reasonable_range | 10–11 (11–12) | margin=4.8, no_safe_semantic_block | +| 8 | discussed (probable, inline) | 11 (12) | — | correct | 11 (12) | margin=5.6 | +| 9 | discussed (verified, inline) | 11 (12) | — | correct | 11 (12) | margin=8.0 | +| 10 | **unbound** (stronger_competitor) | 14 (15) | 6 (7) → incorrect | reasonable_range | 12 (13), допустимо 12–14 (13–15) | path_min_margin=−15.1 | +| 11 | **unbound** (stronger_competitor) | 16 (17) | 15 (16) → correct | reasonable_range | 15–16 (16–17) | path_min_margin=−9.2 | +| 12 | **unbound** (deck_order_conflict) | 3 (4) | отсутствует в reason_code → unknown | incorrect | 16 (17) | lexical=3.8 | +| 13 | discussed (probable) | 10 (11) | — | incorrect | 17 (18), допустимо 18 (19) | visual=0.195, margin=6.8 | +| 14 | **unbound** (stronger_competitor) | 18 (19) | 17 (18) → reasonable_range (граница 18/19 на 1:06:08) | correct | 18 (19) | path_min_margin=−3.2 | +| 15 | discussed (verified, inline) | 21 (22) | — | reasonable_range | 19–22 (20–23) | margin=14.5 | +| 16 | discussed (probable, inline) | 23 (24) | — | correct | 23 (24), допустимо 24 (25) | margin=4.9 | +| 17 | **unbound** (stronger_competitor) | 25 (26) | 26 (27) → reasonable_range | reasonable_range | 24–27 (25–28) | path_min_margin=−10.0 | +| 18 | discussed (probable) | 29 (30) | — | reasonable_range | 28–29 (29–30) | margin=1.4, weak_evidence_only | + +Сводка вердиктов: correct 7 (2, 4, 5, 8, 9, 14, 16), reasonable_range 7 (3, 7, 10, 11, 15, 17, 18), incorrect 4 (1, 6, 12, 13), unknown 0. + +### Unbound-слайды (4, 10, 11, 12, 14, 17): отдельный разбор + +| Слайд | (а) отсутствие привязки | (б) галерея раздела (gid) | (в) path_section | +| ---: | --- | --- | --- | +| 4 | Неверно по существу: слайд явно обсуждался (16:00–20:19, «время выполнения… время цикла… размер очереди… размер партии»; эффективность — 20:19+). Вред малый: галерея стоит в правильном разделе | correct (7 → подраздел 8) | reasonable_range (8 → подраздел 9 «Эффективность процесса»: последний пункт слайда; не лучший, но допустим) | +| 10 | Частично оправдано: слайд композитный, охватывает три подраздела (13–15, соотношение выгод, ROI, NPV); одной ясной привязки нет, но слайд обсуждался | reasonable_range (14 → подраздел 15, NPV/приведённость) | incorrect (6 → подраздел 7: там лишь общая фраза «бизнес-метрики… сколько мы заработаем») | +| 11 | Частично оправдано: пункты разнесены по подразделам 16 (NPS) и 17 (настроение, мораль, текучка) | reasonable_range (16 → подраздел 17: настроение, мораль, текучка, и картинка слайда с mood chart) | correct (15 → подраздел 16, NPS) | +| 12 | Само решение «не привязывать» хотя бы честнее ошибочной привязки, но слайд обсуждался (1:03:00–1:04:00, подраздел 17) | incorrect (3 → подраздел 4; причиной стала ASR-ошибка «комикс»=«коммит»; верный раздел gid 16) | отсутствует (в reason_code нет path_section) — unknown | +| 14 | Неверно по существу: слайд обсуждался в 1:06:08–1:09:30 одним куском; привязка к разделу 19 была возможна | correct (18 → подраздел 19) | reasonable_range (17 → подраздел 18; рамки эскалации вводятся в ~1:06:00, на границе 18/19) | +| 17 | Частично оправдано: список из 7 пунктов, пункты разнесены по 25–28 | reasonable_range (25 → подраздел 26) | reasonable_range (26 → подраздел 27, в диапазоне) | + +Итог по unbound: все 6 слайдов были обсуждены (unbound не означает «не обсуждался»); галерея допустима в 5/6 (correct 2, reasonable 3, incorrect 1), path_section допустим в 4/5 (с path_section), неверен в 1/5 (слайд 10). Галерея (global_section_id) лучше или не хуже path_section в 4 из 5 случаев (слайды 4, 10, 14 — лучше). + +## Slide audit + +Предсказанный статус: discussed 12, unbound 6, unmentioned 0. Рендер: у всех слайдов ровно 1 маркер в .md в разделе матчера, в соответствии с placement. Evidence strength: direct / composite / broad_topic_only / unrelated. + +| Слайд | Предсказанный статус | Topic verdict | Anchor verdict | Evidence strength | Regret | Rendering | Confidence | Evidence | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | discussed | incorrect | incorrect | unrelated | major | ok (gid 6) | probable | титул в подразделе 7; верно: начало, gid 0 | +| 2 | discussed | correct | acceptable (галерея конца раздела) | composite | small | ok (gid 0) | probable | agenda; галерея в подразделе 1 | +| 3 | discussed | reasonable_range | acceptable | composite | none | ok, inline после абзаца «для управления проектами более интересны метрики…» | probable | перечень категорий 14–17 мин | +| 4 | unbound | correct | acceptable (галерея) | direct | none | ok (gid 7) | unresolved | 16–20 мин | +| 5 | discussed | correct | acceptable (галерея) | direct | small | ok (gid 9) | probable | 24–29 мин | +| 6 | discussed | incorrect | incorrect | broad_topic_only (CPI вскользь) | major | ok (gid 11) | probable | верно 29:00–31:30, gid 10 | +| 7 | discussed | reasonable_range | acceptable (галерея) | composite | small | ok (gid 11) | probable | разбор 32–38 мин | +| 8 | discussed | correct | acceptable | direct | small (стоит после ETC-абзаца, перед EAC/VAC/TCPI) | ok inline | probable | 36:40–38:20 | +| 9 | discussed | correct | acceptable | direct | small (график разбирается ниже, «вот прогноз по нашему проекту») | ok inline | verified | 38:00–43:30 | +| 10 | unbound | reasonable_range | acceptable (галерея) | composite | small | ok (gid 14) | unresolved | 44–58 мин | +| 11 | unbound | reasonable_range | acceptable (галерея) | composite | none | ok (gid 16) | unresolved | 56:55–1:02:30 | +| 12 | unbound | incorrect | incorrect | unrelated | major | ok (gid 3) | unresolved | верно gid 16, 1:03:00–1:04:00 | +| 13 | discussed | incorrect | incorrect | broad_topic_only (совпал заголовок) | major | ok (gid 10) | probable | верно gid 17/18 | +| 14 | unbound | correct | acceptable (галерея) | direct | none | ok (gid 18) | unresolved | 1:06:08–1:09:30 | +| 15 | discussed | reasonable_range | acceptable | composite | small (после последнего пункта «предвзятость», слайд охватывает 20–23) | ok inline | verified | список 1:09–1:21 | +| 16 | discussed | correct | acceptable | direct | none | ok inline после вводной «треугольник равновесия» | probable | 1:22–1:24 | +| 17 | unbound | reasonable_range | acceptable (галерея) | composite | none | ok (gid 25) | unresolved | 1:24–1:32 | +| 18 | discussed | reasonable_range | acceptable (галерея в конце лекции) | composite | none | ok (gid 29) | probable | 1:32–1:37:30 | + +## Slide metrics + +Все 18 слайдов имеют pass-A метку discussed, unknown исключений нет. + +| Metric | Value | Count | Unknown/excluded | +| --- | ---: | ---: | ---: | +| Discussed precision | 100% | 12/12 (все discussed-предсказания действительно обсуждались) | 0 | +| Discussed recall (unbound считать отрицательным) | 66.7% | 12/18 | 0 | +| Discussed recall (unbound считать «виден в галерее») | 100% | 18/18 | 0 | +| Unmentioned false-negative rate (по статусу `unmentioned`) | 0% | 0/18 (матчер не выставил ни одного unmentioned) | 0 | +| Unbound-as-miss rate (слабая форма) | 33.3% | 6/18 | 0 | +| Acceptable topic accuracy | 77.8% | 14/18 | 0 | +| Preferred topic accuracy (раздел = главный из pass A) | 38.9% | 7/18 | 0 | +| Wrong-topic rate | 22.2% | 4/18 | 0 | +| Best-context hit | 38.9% | 7/18 | 0 | +| Acceptable-context hit | 77.8% | 14/18 | 0 | +| Materially-better-context rate | 22.2% | 4/18 | 0 | +| Verified precision | 100% | 2/2 (слайды 9, 15) | 0 | +| High-confidence error rate (verified+probable) | 25.0% | 3/12 (слайды 1, 6, 13) | 0 | +| Unresolved precision (unbound действительно не обсуждались) | 0% | 0/6 | 0 | +| Collapsed-slide rate | 5.6% | 1/18 дефектных (слайд 6 делит cue 774 со слайдами 7 и 8; всего 3 слайда на одном cue) | 0 | +| Rendering correctness | 100% | 18/18 | 0 | + +Partially_discussed не использовалось (0). «Preferred» считан строго по одному главному разделу; для 7 слайдов pass A допускает диапазон (3, 7, 10, 11, 15, 17, 18), поэтому показатель занижает практическую пользу. + +Дополнительно: максимум слайдов на один cue = 3 (блок 774: слайды 6, 7, 8); максимум на раздел-галерею = 4 (подраздел 12: слайды 6, 7, 8, 9); appendix false positives = 0; дублирующих маркеров = 0; пропавших изображений = 0; assignment-correct, но rendering-wrong = 0. + +Role-aware: + +| Роль | Семантика (acceptable/всего) | Рендер | +| --- | --- | --- | +| title/agenda | 1/2 (титул неверно) | 2/2 | +| content (3, 4, 5, 6, 8, 10, 15, 17, 18) | 8/9 (неверен 6) | 9/9 | +| visual_example/chart (7, 9, 12, 13, 14, 16) | 4/6 (неверны 12, 13) | 6/6 | +| agenda-подобный 11 | 1/1 | 1/1 | +| appendix/blank | нет таких слайдов | н/п | + +Слабое место: слайды-картинки (график порогов/ошибок комикса/scatter), у которых нативный текст пустой или состоит из заголовка: 2 из 6 неверны. + +## Strong evidence-backed aspects + +- Слайды 5, 8, 9, 16 стоят в правильных подразделах с прямым подтверждением в транскрипте, например слайд 16: подраздел 24, абзац «Во-первых, можно выполнить балансировку проекта с помощью треугольника равновесия…» (транскрипт 1:22:00). +- Слайды-списки 15, 17, 18 корректно не прижаты к одному пункту, а лежат внутри допустимого диапазона. +- Слайд 14 (рамки эскалации) положен в подраздел 19, что точно соответствует 1:06:08–1:09:30, несмотря на unbound. +- Решение `deck_order_conflict` для слайда 12 не позволило присвоить высокий статус ложному совпадению. +- Конспект: ключевые определения EV/PV/AC/ETC/EAC/VAC/TCPI изложены верно и соответствуют транскрипту. + +## Confidence calibration + +- Неверные verified: 0 (оба `verified`, 9 и 15, корректны/допустимы). +- Неверные probable: 3 (слайды 1, 6, 13), из них у слайда 6 margin −0.043 и у слайда 13 высокий visual-вклад на совпавшем заголовке. 25.0% неверных среди verified+probable — выше нормы. +- `probable` у 5 слайдов с `weak_evidence_only`/`no_safe_semantic_block` (2, 5, 6, 7, 18) при размещении в галерее: ярлык `probable` завышен относительно фактического анкера (раздел, а не абзац). +- Ложно unmentioned: 0 (статус `unmentioned` не выставлялся). +- unbound/unresolved: 6, все были обсуждены → «unresolved» корректно сигнализирует о неуверенности, но слишком много слайдов (6/18) с реальным обсуждением остались без привязки при явных доказательствах (слайды 4, 14). +- Уместные fallback: слайд 12 (`deck_order_conflict`), слайды 10, 11, 17 (композитные). + +## Uncertainty and limitations + +- Проверено полностью: все 18 слайдов (текст и изображение), весь транскрипт (в минутной свёртке), метки pass A. +- Конспект проверен выборочно (подразделы 1–5, 12, 14, 17, 22, 29, 30 из 30); остальные разделы не читались построчно, оценки faithfulness/структуры — по выборке. +- Тот факт, что я видел расположение `![Слайд N]` в конспект.md до pass A (из-за построения оглавления), мог повлиять на метки; метки основаны на транскрипте. +- Неоднозначные слайды: 3, 7, 10, 11, 15, 17, 18 (composite/range), 14 path (граница 1:06:08), 12 path (нет поля). +- Аудио не прослушивалось; ASR-ошибки определялись по контексту. +- global_section_id 0-based: подтверждено сопоставлением anchor_s с таймкодами подразделов (слайд 2: anchor 40 с → gid 0 = подраздел 1; слайд 18: anchor 5737 с → gid 29 = подраздел 30). Если родитель считал нумерацию 1-based, все номера в колонках «gid» нужно читать на единицу меньше номера подраздела. + +## Verdict + +`usable_with_alignment_issues` + +Конспект сам по себе хороший: полный охват 1:38:17, верные формулы и числа, внятная структура. Но размещение слайдов материально вводит в заблуждение в 4 из 18 случаев (титул в середине, scatter-график за час до его обсуждения, комикс в разделе про коммиты, слайд производных метрик в соседнем разделе), 3 из 12 `probable` неверны, а 13/18 слайдов только в галереях разделов, без привязки к абзацам. diff --git a/benchmarks/lecture-quality/2026-10-11-val-swe-04-23-v2.md b/benchmarks/lecture-quality/2026-10-11-val-swe-04-23-v2.md new file mode 100644 index 0000000..b069525 --- /dev/null +++ b/benchmarks/lecture-quality/2026-10-11-val-swe-04-23-v2.md @@ -0,0 +1,230 @@ +# Независимая оценка качества конспекта: swe-2026-04-23, режим v2, validation + +- Судья: claude sonnet, effort medium +- Дата: 2026-10-11 +- task_id: 244fc235524545129330b9a85030e7cf +- Code: feat/slide-matcher-fixes, матчер = 5ec2da4 (стенд :18082 собран из рабочего дерева до коммита; SLIDE_MODE=v2) +- sha256 (добавлено родителем): slides.pdf beae5a815145e39fe876391677f42067507653f8e4d237ba3aea8d8ef4a7b7ac, transcript.srt 80bb0b546d9341823ac27ad6e48cc39d8c6088da2a294aab6047285a62c486e6, конспект.md 39cc6deb9a2288d5d8e0f842796385341658a1208636f4a5d1763010441df209 + +## Объём и инвентаризация + +- Входы: конспект `конспект.md`, `transcript.srt`, `structure.json` (в pass A использованы только заголовки и тайм-коды подразделов), `slides/` (28 png), колода `swe-2026-04-23/slides.pdf` (28 стр.), `document-slide-alignment.json` (открыт только в pass B). +- Хэши: slides.pdf sha256 `beae5a81...a7ac`; transcript.srt sha256 `80bb0b54...e6`. +- Структура: 7 разделов, 28 подразделов (gid 0..27 по порядку; ### внутри подразделов в нумерацию не входят), 2021 реплика транскрипта (около 97 мин), 28 слайдов. +- Отсутствующие артефакты: нет. + +## Метод выборки + +- Pass A: конспект прочитан целиком с фильтром строк `![Слайд` и без раздела «Непривязанные слайды». Транскрипт прочитан выборочно, но по всем интервалам, нужным для 28 слайдов; сверка нотации с транскриптом делалась по ключевым фрагментам (00:00-01:20, 03:43, 09:10, 14:35, 24:33, 27:00, 29:15, 31:00, 36:00, 43:39, 50:14, 53:42, 72:00-81:00, 83:27, 84:36, 88:27, 95:54-97:20), плюс глобальный grep по названиям с последних слайдов (TestRail, Jira, Kibana, жизненный цикл бага и т.д.). +- Текст каждого слайда взят `pdftotext`; слайды 4, 13, 26, 27 содержат в основном изображение (подпись и заголовок прочитаны, само изображение не рассматривалось отдельно). +- Подтверждаю: метки pass A поставлены до открытия `document-slide-alignment.json`. + +## Pass-A ground truth + +gid = 0-based номер подраздела конспекта (по порядку). + +| Слайд | Роль | Статус обсуждения | Центральные понятия | Предпочтительный контекст | Допустимый диапазон | Свидетельство | +| ---: | --- | --- | --- | --- | --- | --- | +| 1 | title | discussed | Лекция 6, тестирование и дефекты | gid 0 | gid 0 | начало лекции | +| 2 | content | discussed | любая программа содержит ошибки; аксиомы | gid 0 | gid 0 | 00:30-01:00 «шуточные аксиомы... любая программа содержит ошибки» | +| 3 | content | discussed | ошибка = несоответствие ожиданиям; субъективность | gid 0 | gid 0 | 01:09 «несоответствие ожиданиям пользователей», субъективность тестировщика | +| 4 | visual_example | discussed | первый баг (мотылёк) | gid 1 | gid 1 | 03:43-05:05 мотылёк в реле, дневник | +| 5 | content | discussed | цель: поиск ошибок, регрессионные, невозможность доказать, перебор, 20 строк/10^14 путей, формальная верификация | gid 2 | gid 2-3 | 05:05-10:00; 09:10 «20 строк кода и 100000000000000 путей»; 10:04 формальная верификация | +| 6 | content | discussed | классификация по объекту: функциональное, производительность (нагрузочное, стресс, стабильность, конфигурация), UI, удобство, безопасность, локализация, совместимость | gid 4 (введение) | gid 4-6 | перечисление разнесено по 4, 5, 6 | +| 7 | content | discussed | модульное/интеграционное/системное | gid 7 | gid 7 | 25:51-29:47 | +| 8 | content | discussed | smoke, регрессионное, альфа, бета, RC | gid 8 | gid 8 | 29:47-36:02 | +| 9 | content | discussed | чёрный/белый/серый ящик, исследовательское | gid 9 | gid 9 | 36:02-40:18 | +| 10 | content | discussed | тестирование требований: однозначность, атомарность, критерии приёмки, мотивация ролей, без реализации | gid 10 | gid 10 | 40:18-43:33 (стоп-слова, «гибкость», атомарность, роли) | +| 11 | content | discussed | критерии приёмки: чёткие, контекст-действие, добросовестные | gid 11 | gid 11 | 44:51 приёмосдаточные; «добросовестно», шаги контекст-действие-результат | +| 12 | summary | discussed | архитектура: DI, слои, микросервисы, простота, наблюдаемость, логирование (Elastic/Kibana), трассируемость, метрики | gid 12 | gid 12-14 | 48:48-58:46; Elastic Search/Kibana 53:42; «микросервисный монолит» не произносилось | +| 13 | visual_example | discussed | пирамида тестирования (Фаулер) | gid 15 | gid 15 | 58:46-63:00 | +| 14 | content | discussed | свойства тестового сценария | gid 15 | gid 15-16 | id, предусловия, шаги, итог, восстановление (15-16), конфигурация, тэги (16) | +| 15 | content | discussed | сьюты, проекты, прогоны, тест-планы | gid 16 | gid 16-17 | сьюты/проекты в 16, планы/прогоны в 17 | +| 16 | visual_example | discussed | пример сценария для adder | gid 18 | gid 18 | 69:08-72:00 smoke-сценарий «нажимаем 2, Enter, 3...» | +| 17 | content | discussed | выявленные проблемы (нет названия, нет инструкций, непонятно как выйти) | gid 18 | gid 18 | 70:32 «нет названия программы на экране»; далее приветствие, инструкция, выход | +| 18 | reference_or_table | discussed | позитивные тесты 99+99, -99+-99, нули, граничные | gid 19 | gid 19 | 73:03-73:50 99+99, -99+-99, нуль | +| 19 | reference_or_table | partially_discussed | негативные: 100+100, Enter+Enter, 123456, 1.2+5, A+b, Ctrl-A | gid 21 | gid 21 | 77:56 «100 + 100», 80:09-80:19 «A+b»; остальные строки не названы | +| 20 | content | discussed | byte-хранение, граничные символы '/' ':' | gid 21 | gid 21 | 78:54-80:48 | +| 21 | content | discussed | JUnit, SUT, матчеры, property-based, символьное исполнение | gid 23 | gid 23-24 | 83:27-88:42 | +| 22 | visual_example | discussed | Mockito, заглушка LinkedList, get(0)->first | gid 25 | gid 25 | 88:42-91:32 | +| 23 | content | discussed | Selenium, White, Postman, Swagger, фаззеры | gid 26 | gid 26-27 | UI в 26, API в 27 | +| 24 | content | unmentioned | системы управления тестированием (TestRail, TestY...) | нет | нет | grep по TestRail/Test IT/Xray/Kiwi/TestY пуст; упоминается только «системе управления тестированием» в связке 96:35 «почитайте самостоятельно» | +| 25 | content | partially_discussed (минимально) | атрибуты баг-репорта | gid 27 | gid 27 | 96:35-96:56 только «внятное описание дефектов, внятное описание контекста», остальные атрибуты не названы | +| 26 | visual_example | unmentioned | жизненный цикл бага (диаграмма) | нет | нет | 96:35 «жизненный цикл бага... самостоятельно почитать» | +| 27 | visual_example | unmentioned | ещё один пример жизненного цикла | нет | нет | то же | +| 28 | reference_or_table | unmentioned | Jira, GitHub Issues, Youtrack... | нет | нет | grep по Jira/Redmine/Bugzilla/YouTrack пуст | + +Итого pass A (28): discussed 22 (1-18, 20-23), partially_discussed 2 (19, 25), unmentioned 4 (24, 26, 27, 28), unknown 0. + +## Качество конспекта (pass A, предварительные наблюдения) + +- Фактология по сверенным фрагментам совпадает с транскриптом (мотылёк, RED, ELK, Correlation ID, Selenium/White, Mockito, символ слэш/двоеточие, пирамида, тест-план/прогон). +- Дефекты: (1) подраздел 19 «Факторизация...» заканчивается обрубком «Поэтому если вы думаете, что» (текст продолжен в gid 20); (2) в gid 22 перенесено ASR-«909 плюс 99» вместо 99+99; (3) gid 13 «ИИС по БГУ» не сверено с «UCITS по БГУ» в транскрипте (вероятно, искажение аббревиатуры); (4) в gid 23 «в .NET — Hamcrest» (по транскрипту NHamcrest); (5) gid 13/14: на стыке «В отличие от логирования, трассы [неясный фрагмент]» — явный шов между подразделами; (6) в конце gid 8, gid 25 встречаются фразы-швы «Далее лектор переходит к...» (мета-реплики вместо содержания). +- Покрытие: все основные темы, хвост лекции (96:30-97:20) отражён в отступлении gid 27. Содержательных временных провалов не найдено. +- Язык: русский, без смешения; английские термины (SUT, mock, smoke) уместны. + +(Pass A сохранён до открытия `document-slide-alignment.json`.) + +## Вердикты по слайдам (pass B) + +Условные обозначения: gid матчера = `global_section_id` из assignments (для unbound это раздел галереи); path_section взят из `reason_code`; «предп. gid» — предпочтительный раздел по pass A (в скобках допустимый диапазон). Вердикты вынесены по содержанию, margin/reason справочно. Статус: d = discussed, b = unbound, u = unmentioned; в скобках уверенность и вид вставки (inl = inline, gal = section_gallery). + +| Слайд | Статус матчера | gid | path_section | Вердикт по gid | Вердикт по path_section | Предп. gid | Справочно | +| ---: | --- | ---: | ---: | --- | --- | --- | --- | +| 1 | b (unresolved, gal) | 20 | нет | incorrect | n/a | 0 | deck_order_conflict; титульный слайд в галерее «Профессиональные качества» | +| 2 | d (verified, inl) | 0 | - | correct | - | 0 | margin 12.2 | +| 3 | d (verified, inl) | 0 | - | correct | - | 0 | margin 23.8 | +| 4 | d (verified, gal fallback) | 1 | - | correct | - | 1 | назначение верное, вставка деградирована (no_safe_semantic_block) | +| 5 | d (verified, inl) | 2 | - | correct | - | 2 (2-3) | margin 5.8 | +| 6 | b (unresolved, gal) | 6 | 5 | reasonable_range | reasonable_range | 4 (4-6) | stronger_competitor; слайд-классификация, охватывает 4-6 | +| 7 | b (unresolved, gal) | 7 | 6 | correct | incorrect | 7 | path 6 = UI/безопасность/локализация, модульные/интеграционные там не обсуждались | +| 8 | d (verified, inl) | 8 | - | correct | - | 8 | anchor 32:19 (альфа/бета), small regret | +| 9 | b (unresolved, gal) | 9 | 8 | correct | incorrect | 9 | path 8 = smoke/регрессия/релизы; граница подразделов в 6 с | +| 10 | b (unresolved, gal) | 10 | 11 | correct | reasonable_range | 10 | в gid 11 звучат «без реализации» и критерии приёмки, но ядро слайда в gid 10 | +| 11 | d (verified, inl) | 11 | - | correct | - | 11 | margin 15.9 | +| 12 | b (unresolved, gal) | 13 | 12 | reasonable_range | correct | 12 (12-14) | summary архитектуры+наблюдаемости | +| 13 | d (verified, inl) | 15 | - | correct | - | 15 | margin 3.1, но контекст точный (58:59) | +| 14 | d (verified, inl) | 15 | - | correct | - | 15 (15-16) | перечень свойств, anchor 62:19 | +| 15 | b (unresolved, gal) | 17 | 16 | reasonable_range | correct | 16 (16-17) | сьюты/проекты в 16, планы/прогоны в 17 | +| 16 | d (verified, inl) | 18 | - | correct | - | 18 | anchor 70:05, «знак вопроса, цифра 2» | +| 17 | d (verified, inl) | 18 | - | correct | - | 18 | anchor 70:34, «нет названия программы» | +| 18 | d (probable, gal) | 21 | - | incorrect | - | 19 | см. дефект №1: позитивные тесты разобраны в gid 19 (73:03-73:50), матчер взял 78:59 (отсылка «909+99 уже писали») | +| 19 | b (unresolved, gal) | 22 | 21 | incorrect | correct | 21 | gid 22 (временное измерение) не про негативные сценарии; path 21 верен | +| 20 | d (verified, inl) | 21 | - | correct | - | 21 | anchor 79:19, байт/слэш/двоеточие | +| 21 | d (verified, inl) | 23 | - | correct | - | 23 (23-24) | margin 9.6 | +| 22 | d (probable, gal) | 25 | - | correct | - | 25 | Mockito get(0)->first (90:20) | +| 23 | d (probable, gal) | 26 | - | correct | - | 26 (26-27) | margin 0.35, но Selenium/White в 26 верно; Postman/Swagger в 27 | +| 24 | b (unresolved, gal) | 15 | нет | reasonable_range (слабо) | n/a | нет (приложение/галерея 27) | слайд не обсуждался; gid 15 единственное место, где вскользь названа «система управления тестированием» | +| 25 | b (unresolved, gal) | 15 | 16 | incorrect | incorrect | 27 (или приложение) | атрибуты баг-репорта в gid 15/16 не обсуждались | +| 26 | d (probable, gal) | 27 | - | reasonable_range (но статус ложный) | - | нет (приложение; допустимо 27) | лектор в 96:35 велел читать самостоятельно; discussed установлен ложно | +| 27 | b (unresolved, gal) | 7 | нет | incorrect | n/a | нет (приложение; допустимо 27) | deck_order_conflict; диаграмма цикла бага в галерее «Масштабность тестирования» | +| 28 | u (appendix) | - | - | correct | - | приложение | no_candidates; в «Непривязанных слайдах» | + +### Отдельная оценка unbound-слайдов (11 штук: 1, 6, 7, 9, 10, 12, 15, 19, 24, 25, 27) + +(а) Корректность отсутствия привязки (по pass A): +- Верно (слайд не обсуждался): 24, 27. Слайд 25 фактически не обсуждался (только «описание дефектов и контекст», 96:49), отсутствие привязки допустимо. +- Допустимо как консервативный fallback для слайдов-обзоров, чьё содержание разнесено по нескольким подразделам: 6, 12, 15, 1 (титул). +- Промах (слайд явно обсуждался в одном определённом подразделе, inline-привязка была возможна): 7, 9, 10 (дискуссия точная и однозначная: 25:51-29:47, 36:02-40:18, 40:18-43:33) и частично 19 (разобрано только 100+100 и A+b). + +(б) Галерея раздела, куда положен слайд: correct 3 (7, 9, 10), reasonable_range 4 (6, 12, 15, 24 слабо), incorrect 4 (1, 19, 25, 27). + +(в) path_section (только где есть в reason_code: 6, 7, 9, 10, 12, 15, 19, 25; у 1, 24, 27 путь не указан, причина deck_order_conflict): correct 3 (12, 15, 19), reasonable_range 2 (6, 10), incorrect 3 (7, 9, 25). Наблюдение: для 7 и 9 DP-путь указывал на раздел, предшествующий верному (gid 6 вместо 7; gid 8 вместо 9), а итоговая галерея затем оказалась верной; для 19 путь был верен, но галерея после «понижения» сдвинулась на gid 22 (ухудшение); для 12 и 15 то же направление: путь точный, итоговая галерея лишь в диапазоне. + +## Шкала оценок + +| Измерение | Оценка | Уверенность | Основание | +| --- | ---: | --- | --- | +| Faithfulness | 82 | средняя | сверенные фрагменты совпадают с транскриптом; перенесены ASR-ошибки («909 плюс 99», «ИИС по БГУ» при «UCITS по БГУ», «Hamcrest» в .NET), в остальном выдумок не найдено; выборка ~25% лекции | +| Покрытие содержания | 88 | средняя | все темы и хвост лекции есть; фрагмент о факторизации оборван на полуслове, но продолжен в следующем подразделе | +| Качество блоков | 80 | средняя | развёрнутые, читаемые блоки; встречаются мета-швы («Далее лектор переходит к...», «[неясный фрагмент]») | +| Структура документа | 82 | средняя | 7 разделов, 28 подразделов, логичная последовательность; границы подразделов местами сдвинуты на реплику (gid 8/9, 13/14, 19/20) | +| Языковая согласованность | 92 | высокая | русский, термины латиницей уместны | +| Семантическая релевантность слайдов | 70 | средняя | 20/24 приемлемо по теме (83%), 4 неверных | +| Точность якоря слайдов | 62 | средняя | 11 inline, 16 галерей; inline-якоря точные, но вставки в основном деградировали до галерей | +| Калибровка уверенности | 68 | средняя | verified 12/12 верны; probable 1 ошибка + 1 ложный discussed; 8 из 22 обсуждённых слайдов получили unresolved | + +## Критические и существенные дефекты + +Критических нет. + +1. major, `wrong_topic_probable`: слайд 18 «Позитивный сценарий» (таблица 99+99, -99+-99, 0+0 ...) назначен в gid 21 «Негативные сценарии и проверка кода» (probable, anchor 78:59, галерея). Свидетельство: в 79:20-79:24 «Ну, этот тест мы уже, на самом деле, написали, когда писали положительный тест. 909 плюс 99» (ASR); подробный разбор позитивных значений в gid 19: 73:13 «99 плюс 99 и минус 99 плюс минус 99», 73:42 «0 обязательно проверить». Лучший контекст: gid 19. Читатель увидит позитивную таблицу посреди негативных сценариев. +2. major, `wrong_gallery_unbound`: слайд 1 (титульный) лежит в галерее gid 20 «Профессиональные качества тестировщика» вместо начала (gid 0). Слайд 27 (диаграмма жизненного цикла бага, не обсуждалась) лежит в галерее gid 7 «Масштабность тестирования». Слайд 25 (атрибуты баг-репорта) лежит в галерее gid 15 «Пирамида тестирования и структура тест-сценариев». Слайд 19 (негативные сценарии) лежит в галерее gid 22 вместо gid 21. +3. major, `discussed_false_positive`: слайд 26 (диаграмма жизненного цикла бага) помечен discussed/probable, anchor 96:37, хотя лектор прямо сказал читать самостоятельно (96:35 «жизненный цикл бага я предлагаю вам самостоятельно почитать»). Положение (конец лекции) безобидно, но статус завышен. +4. warning, `missed_binding`: слайды 7, 9, 10 с однозначным обсуждением оставлены unbound (в галерее верного раздела), а 6, 12, 15 как слайды-обзоры допустимо. Потеря inline-привязки у 3 однозначных слайдов. +5. warning, `render_downgrade`: слайд 4 (мотылёк) verified, но вставлен галереей (no_safe_semantic_block); слайды 22 и 23 probable, weak_evidence_only, галереи, хотя контексты точные. +6. info: у слайдов 1, 24, 27 (deck_order_conflict) в reason_code нет path_section; их score низкий (7.7-8.3), но раздел галереи всё равно назначен; назначение по этому пути фактически случайное (все три в неверных разделах, у 24 слабо допустимо). + +## Аудит слайдов + +Условные обозначения: тема = попадает ли gid в допустимый диапазон; якорь = лучший ли контекст; регрет none/small/major. + +| Слайд | Статус предсказан | Тема | Якорь | Сила свидетельства | Регрет | Рендер | Уверенность | Свидетельство | +| ---: | --- | --- | --- | --- | --- | --- | --- | --- | +| 1 | unbound | incorrect | incorrect | unrelated | major | gallery, gid 20 | unresolved | title должен быть в начале | +| 2 | discussed | correct | correct | direct | none | inline gid 0 | verified | 00:31 аксиомы | +| 3 | discussed | correct | correct | direct | none | inline gid 0 | verified | 01:09 ожидания | +| 4 | discussed | correct | correct | direct | none | gallery gid 1 | verified | мотылёк | +| 5 | discussed | correct | correct | composite | small | inline gid 2 | verified | anchor в начале подраздела, тема шире | +| 6 | unbound | reasonable_range | reasonable_range | composite | none | gallery gid 6 | unresolved | 4-6 | +| 7 | unbound | correct | correct | direct | none | gallery gid 7 | unresolved | 25:51-29:47 | +| 8 | discussed | correct | correct | composite | small | inline gid 8 | verified | 32:19 | +| 9 | unbound | correct | correct | direct | none | gallery gid 9 | unresolved | 36:02-40:18 | +| 10 | unbound | correct | correct | direct | none | gallery gid 10 | unresolved | 40:18-43:33 | +| 11 | discussed | correct | correct | composite | none | inline gid 11 | verified | критерии приёмки | +| 12 | unbound | reasonable_range | reasonable_range | composite | small | gallery gid 13 | unresolved | диапазон 12-14 | +| 13 | discussed | correct | correct | direct | none | inline gid 15 | verified | 58:56 пирамида | +| 14 | discussed | correct | correct | composite | none | inline gid 15 | verified | 62:19 | +| 15 | unbound | reasonable_range | reasonable_range | composite | small | gallery gid 17 | unresolved | 16-17 | +| 16 | discussed | correct | correct | direct | none | inline gid 18 | verified | 70:05 | +| 17 | discussed | correct | correct | direct | none | inline gid 18 | verified | 70:34 | +| 18 | discussed | incorrect | incorrect | broad_topic_only | major | gallery gid 21 | probable | лучше gid 19 | +| 19 | unbound | incorrect | incorrect | unrelated | small | gallery gid 22 | unresolved | лучше gid 21 | +| 20 | discussed | correct | correct | direct | none | inline gid 21 | verified | 79:19 | +| 21 | discussed | correct | correct | composite | none | inline gid 23 | verified | 83:23 | +| 22 | discussed | correct | correct | direct | none | gallery gid 25 | probable | 90:20 | +| 23 | discussed | correct | correct | composite | small | gallery gid 26 | probable | половина слайда (API) в gid 27 | +| 24 | unbound | reasonable_range (слабо) | n/a | broad_topic_only | small | gallery gid 15 | unresolved | правильнее приложение | +| 25 | unbound | incorrect | incorrect | unrelated | small | gallery gid 15 | unresolved | правильнее gid 27/приложение | +| 26 | discussed (ложно) | reasonable_range | n/a | broad_topic_only | small | gallery gid 27 | probable | read yourself | +| 27 | unbound | incorrect | incorrect | unrelated | small | gallery gid 7 | unresolved | правильнее приложение | +| 28 | unmentioned | correct | correct | n/a | none | appendix | unresolved | приложение | + +## Метрики слайдов + +Pass A: discussed 22, partially 2, unmentioned 4. Unknown исключённых: 0. + +| Метрика | Значение | Счёт | Unknown/исключено | +| --- | ---: | ---: | ---: | +| Discussed precision (предсказан discussed -> истинно discussed) | 93.8% | 15/16 | 0 (ложный: 26) | +| Discussed recall (discussed найдены как discussed) | 68.2% | 15/22 | 0 (7 осталось unbound: 1, 6, 7, 9, 10, 12, 15; partial 19, 25 вне знаменателя) | +| Unmentioned false-negative rate (discussed -> unmentioned) | 0% | 0/22 | 0 (единственный unmentioned 28 истинный) | +| Discussed, оставленные unbound (fallback) | 31.8% | 7/22 | 0 | +| Acceptable topic accuracy (24 слайда с discussed/partial) | 83.3% | 20/24 | 0 | +| Preferred topic accuracy | 70.8% | 17/24 | 0 | +| Wrong-topic rate | 16.7% | 4/24 (1, 18, 19, 25) | 0 | +| Best-context hit | 70.8% | 17/24 | 0 | +| Acceptable-context hit | 83.3% | 20/24 | 0 | +| Materially-better-context rate | 16.7% | 4/24 | 0 | +| Verified precision | 100% | 12/12 | 0 | +| High-confidence error rate (verified+probable ошибочны) | 6.3% (строго), 12.5% с учётом ложного discussed слайда 26 | 1/16 и 2/16 | 0 | +| Unresolved precision (unresolved, действительно не обсуждавшиеся) | 25.0% | 3/12 (24, 27, 28) | слайд 25 (минимально) не засчитан | +| Collapsed-slide rate (в неродственные разделы по fallback) | 10.7% | 3/28 (24, 25 в gid 15 рядом с 13, 14; 27 в gid 7) | 0 | +| Rendering correctness (разметка = назначение, ровно один маркер, файл есть) | 100% | 28/28 | 0 | + +Дополнительно: максимум слайдов на один раздел 4 (gid 15: 13, 14 inline; 24, 25 в галерее); максимум на один inline-блок 1; дубликатов маркеров 0, пропавших изображений 0 (28 `![Слайд` в конспекте, 28 png); appendix false positives 0 (слайд 28 верно в приложении); обсуждавшихся слайдов в приложении 0. Assignment-correct, rendering-weaker: слайд 4 (verified -> галерея). + +Разбивка по ролям (тема): +- title/divider/closing: 0/1 (слайд 1). +- обычный content: 13 correct, 2 reasonable_range (6, 15), 1 incorrect (25) из 16 (2, 3, 5, 6, 7, 8, 9, 10, 11, 14, 15, 17, 20, 21, 23, 25). +- summary: 12 reasonable_range (1/1 приемлемо). +- reference/table: 0/2 (18, 19 оба incorrect). +- visual example: 4/4 (4, 13, 16, 22). +- не обсуждавшиеся/приложение: 28 correct; 24, 26 reasonable_range; 27 incorrect. + +## Сильные стороны + +- Все 12 verified-назначений верны, включая точные якоря: слайды 16/17 на «знак вопроса, цифра 2» (70:05) и «нет названия программы на экране» (70:32); слайд 13 на «пирамида тестирования» (58:56); слайд 20 на «слэш перед нулём, двоеточие после девятки» (79:19). +- Слайд 28 верно оставлен в приложении; обсуждавшихся слайдов в приложение не попало. +- Галерея верна для unbound 7, 9, 10, хотя inline-привязка не удалась. +- Конспект детально и в целом верно передаёт примеры лектора (мотылёк, World of Tanks, Титаник, студпроект без фронтенда, adder). + +## Калибровка уверенности + +- Неверные high-confidence: 1 (слайд 18 probable) плюс 1 завышенный статус (26 probable). verified неверных: 0. +- False-negative unmentioned: 0. Слабые high-confidence: 23 (margin 0.35, но верно), 18 (margin 1.6, неверно), 17 (2.6, верно), 20 (2.6, верно), 13 (3.1, верно). Низкий margin не является надёжным предиктором ошибки в этом прогоне. +- Уместные fallback: 24, 27 (не обсуждались), 28, а также обзорные 6, 12, 15. Лишний fallback: 7, 9, 10 (однозначные). +- deck_order_conflict (1, 24, 27) дал 3 из 3 неверных или слабых галерей. + +## Неопределённость и ограничения + +- Транскрипт прочитан не целиком, а по интервалам, нужным для слайдов и для сверки примерно 25% конспекта; точные тайм-коды подразделов взяты из structure.json (подзаголовки и границы). +- Слайды 4, 13, 26, 27 содержат изображения; сами картинки отдельно не рассматривались (решения по подписи и заголовку). +- Различие между «статус слайда 25 partially_discussed (минимально)» и «unmentioned» спорное; метрики посчитаны так, что слайд 25 не влияет на unresolved precision и FN. +- Слайд 24: gid 15 — слабо допустимый (единственное упоминание «системы управления тестированием»). + +## Вердикт + +`usable_with_alignment_issues` + +Конспект сам по себе качественный (faithfulness, покрытие, язык), verified-слайды на 100% верны, но расстановка слайдов существенно вводит читателя в заблуждение: слайд 18 (probable) в чужом разделе, титул в середине документа, 3 слайда (25, 27, 1) в явно неверных галереях, 7 обсуждавшихся слайдов оставлены без inline-привязки (recall 68.2%). diff --git a/benchmarks/lecture-quality/README.md b/benchmarks/lecture-quality/README.md index e504b0f..e92799e 100644 --- a/benchmarks/lecture-quality/README.md +++ b/benchmarks/lecture-quality/README.md @@ -29,8 +29,15 @@ not read these baselines until they have completed both passes of their own audi | `2026-07-29-judge-i-proper-nouns.md` | 2026-02-12 | I (runs G and H were not judged) | | `2026-07-29-judge-j-02-26.md` | 2026-02-26 | J, same configuration as I | | `2026-07-29-judge-k-03-12.md` | 2026-03-12 | K, first validation lecture | +| `2026-10-11-baseline-db-v2.md` | db-2026-09-24 | stage 1 baseline, v2 | +| `2026-10-11-baseline-anf-v2.md` | compilers-anf | stage 1 baseline, v2 | +| `2026-10-11-baseline-anf-legacy.md` | compilers-anf | stage 1 baseline, legacy | +| `2026-10-11-val-swe-03-26-v2.md` | swe-2026-03-26 | stage 1 validation of `min_margin` −2.5, v2 | +| `2026-10-11-val-swe-04-09-v2.md` | swe-2026-04-09 | stage 1 validation of `min_margin` −2.5, v2 | +| `2026-10-11-val-swe-04-23-v2.md` | swe-2026-04-23 | stage 1 validation of `min_margin` −2.5, v2 | Run configurations and cross-run analysis live in -`docs/progress/2026-07-27-matcher-model-experiments.md`. Dataset splits and the release +`docs/progress/2026-07-27-matcher-model-experiments.md`; the stage 1 baseline summary is +`docs/progress/2026-10-11-stage1-baseline.md`. Dataset splits and the release gates live in `generalization-roadmap.md`. diff --git a/benchmarks/lecture-quality/generalization-roadmap.md b/benchmarks/lecture-quality/generalization-roadmap.md index d5e2010..add7f09 100644 --- a/benchmarks/lecture-quality/generalization-roadmap.md +++ b/benchmarks/lecture-quality/generalization-roadmap.md @@ -76,6 +76,46 @@ wrong-topic rate 11.9%, high-confidence error rate 13.0%, verified precision 100 (26/26). This is a snapshot, not a passed gate: no revision has been evaluated against unseen data since `2026-03-12` was retired. +### Split of the new lecturers (2026-10-11, fixed before any run) + +Two new lecturers were added: a databases course (video recording + PPTX deck) and a +compilers course (audio recording + PDF deck). Rule, chosen after download and before any +pipeline run, judging or listening: for each lecturer the earlier lecture goes to validation and the later +one to the hidden holdout, so each style is checked in both sets. + +| Lecture | Lecturer / modality | Split | Files under `test-data/` | +| --- | --- | --- | --- | +| `db-2026-09-24` | databases, video + PPTX | development (was validation) | `document-slide-alignment/db-2026-09-24/` | +| `compilers-anf` | compilers, audio + PDF | development (was validation) | `document-slide-alignment/compilers-anf/` | +| `db-2026-10-07` | databases, video + PPTX | holdout | `holdout/db-2026-10-07/` | +| `compilers-riscv` | compilers, audio + PDF | holdout | `holdout/compilers-riscv/` | +| `swe-2026-03-26` | software engineering (same lecturer as 02-12…05-07), audio + PDF | development (was validation) | `document-slide-alignment/swe-2026-03-26/` | +| `swe-2026-04-09` | same | development (was validation) | `document-slide-alignment/swe-2026-04-09/` | +| `swe-2026-04-23` | same | development (was validation) | `document-slide-alignment/swe-2026-04-23/` | + +- 2026-10-11: both validation lectures retired to development. Stage 1 (ticket 10) + calibrated `min_margin` on their slide-by-slide margins (`docs/progress/2026-10-11-stage1-after.md`), + so validation is empty again; the calibrated threshold is provisional until it is checked on + new validation lectures. +- 2026-10-11: validation refilled with the three lectures of the development lecturer that were + never processed (03-26, 04-09, 04-23; 02-12, 02-26, 03-12 and 05-07 were already seen). Same + lecturer, so they check the threshold against overfitting to db/anf, not across lecturers. +- 2026-10-11: the three swe lectures were judged once (`2026-10-11-val-swe-*-v2.md`) and + did not refute `min_margin` −2.5; no threshold separates right and wrong path choices, and the + owner kept −2.5 (`docs/progress/2026-10-11-stage1-after.md`). Their per-slide failures are now + read and feed the next tickets, so — as with 03-12 — they are retired to development. + Validation is empty again and must be refilled (preferably with a new lecturer) before the + next matcher revision is accepted; holdout is untouched. +- Video lectures keep both `lecture.mp4` (stages 2 and 3) and the extracted + `lecture.m4a` (document mode); `test-data/` is not tracked by git. +- Holdout lectures live in a separate directory and must not be processed, judged or + listened to before stage 4. Opening one retires it to development. +- Not taken from the source folder: a deck without a recording (`090parsing.pdf`) and + recordings without a deck (`Комп4.m4a`, `Комп5.m4a`). +- This supersedes the 2026-07-29 consequences above: validation is no longer empty + (2 lectures) and the holdout is assembled (2 lectures); both are still below the + targets in "Target dataset size". + ## Coverage matrix Select lectures by matcher behaviour, not only by academic subject. The benchmark should @@ -101,6 +141,21 @@ eventually contain at least 2–3 independent examples of each high-risk class: A lecture may cover several classes. A large collection of nearly identical sequential lectures does not substitute for this coverage. +### Coverage so far (2026-10-11) + +Behaviour classes are assigned from judge labels, never by guessing. Holdout lectures +stay unlabelled until stage 4. + +| Dimension | Covered by | Gap | +| --- | --- | --- | +| Lecturers | 3: the original single-lecturer series, databases, compilers | — | +| Recording | audio (all), video with a separate deck (`db-*`) | — | +| Deck format | PDF, PPTX (`db-*`) | — | +| Behaviour classes on new validation | not labelled yet | judge labels from the baseline runs (stage 1, ticket 04) | +| Mostly visual deck | none confirmed | still needed | +| Slide and speech languages differ | none | still needed | +| Irrelevant or wrong deck | none | still needed | + ## Target dataset size The first useful generalization benchmark should contain: diff --git a/docs/progress/2026-10-11-stage1-after.md b/docs/progress/2026-10-11-stage1-after.md new file mode 100644 index 0000000..c6de876 --- /dev/null +++ b/docs/progress/2026-10-11-stage1-after.md @@ -0,0 +1,169 @@ +# Этап 1 матчера слайдов: замер «после» и калибровка порога (11.10.2026) + +Замер «после» для `.scratch/slide-matcher-fixes` (тикет 10) против базовой линии +`2026-10-11-stage1-baseline.md`. Режим по умолчанию не меняется — legacy. + +## Что прогнано + +Замеров «после» два: + +1. **after** — `feat/slide-matcher-fixes` @`1f4ce6d` (тикеты 01, 02, 05–09 и исправления + code-review), до калибровки порога. По нему выбраны `min_margin` и `visual_weight`. +2. **after2** — финальный код этапа: калибровка (−2.5 / 2.25) и правки финальной охоты + на краевые случаи (стык подтем, сборки без колонтитулов, strong без доказательства, + галерея `stronger_competitor` мерой порога, повторный проход DP без отвергнутых). + Таблицы ниже — по нему. + +Стенд, override и модели те же, что у базовой линии; транскрипты взяты из кеша +(`audio_seconds: 0`), то есть вход матчера совпадает с «до». Legacy не перезапускался: +этап 1 его не менял, на `db-2026-09-24` он по-прежнему падает с 413 +(`.scratch/legacy-slide-payload`, подтверждено и на проде). + +| Лекция | Замер | Задача | Отчёт | +| --- | --- | --- | --- | +| db-2026-09-24 | after | `ae8c972e1f064480b91d488fc1a1e344` | `benchmarks/lecture-quality/2026-10-11-after-db-v2.md` | +| compilers-anf | after | `c3acc501949647a79d00c986bb9a84ea` | `benchmarks/lecture-quality/2026-10-11-after-anf-v2.md` | +| db-2026-09-24 | after2 | `56bf7989e5654694af9438793fa0aa4f` | `benchmarks/lecture-quality/2026-10-11-after2-db-v2.md` | +| compilers-anf | after2 | `a6622f96ca124c30920d071423ee2a07` | `benchmarks/lecture-quality/2026-10-11-after2-anf-v2.md` | + +Судьи — независимые сабагенты Claude (sonnet, effort medium, скилл +`skills/lecture-quality-judge/`), по одному на прогон, без доступа к прошлым отчётам. + +## «До» и «после» + +Новый статус `unbound` (галерея раздела без места речи) в базовой линии не существовал. +Судьи after2 считали метрики в двух вариантах: (а) `unbound` — обсуждённый слайд с +разделом галереи; (б) `unbound` — не обсуждённый, исключён из знаменателя. Вариант (а) +ближе к «до», где такие слайды уходили в `unmentioned`. + +| Метрика | db до | db после (а) | db после (б) | anf до | anf после (а) | anf после (б) | +| --- | ---: | ---: | ---: | ---: | ---: | ---: | +| Discussed precision | 100% (37/37) | 100% (41/41) | 100% (40/40) | 100% (13/13) | 100% (17/17) | 100% (10/10) | +| Discussed recall | 90.2% (37/41) | 100% (41/41) | 97.6% (40/41) | 68.4% (13/19) | 89.5% (17/19) | 83.3% (10/12) | +| Ложные `unmentioned` | 9.8% (4/41) | 0% (0/41) | 2.4% (1/41) | 31.6% (6/19) | 10.5% (2/19) | 16.7% (2/12) | +| Acceptable topic accuracy | 91.9% (34/37) | 97.6% (40/41) | 97.5% (39/40) | 84.6% (11/13) | 52.9% (9/17) | 60.0% (6/10) | +| Preferred topic accuracy | 89.2% (33/37) | 97.6% (40/41) | 97.5% (39/40) | 53.8% (7/13) | 35.3% (6/17) | 40.0% (4/10) | +| Wrong-topic rate | 8.1% (3/37) | 2.4% (1/41) | 2.5% (1/40) | 15.4% (2/13) | 47.1% (8/17) | 40.0% (4/10) | +| Best-context hit | 54.1% (20/37) | 82.5% (33/40) | | 23.1% (3/13) | 11.8% (2/17)¹ | | +| Acceptable-context hit | 91.9% (34/37) | 97.5% (39/40) | | 76.9% (10/13) | 52.9% (9/17) | | +| Verified precision | 100% (18/18) | 100% (20/20) | | 50% (1/2) | — (0 verified) | | +| High-confidence error rate | 8.1% (3/37) | 2.5% (1/40) | | 23.1% (3/13) | 40.0% (4/10) | | +| Collapsed-slide rate | 4.9% (2/41) | 12.2% (5/41) | | 10% (2/20) | 20% (4/20) | | +| Rendering correctness | 100% (41/41) | 95.1% (39/41) | | 100% (13/13) | 100% (20/20) | | +| Вердикт | `usable_with_alignment_issues` | `usable_with_minor_issues` | | `usable_with_alignment_issues` | `usable_with_alignment_issues` | | + +¹ Inline-якорей на anf два (слайды 2 и 4), оба в лучшем контексте; остальные 15 +размещённых слайдов лежат в галереях разделов. + +Метрики без варианта (best-context, уверенность, коллапс, рендер) судья считал один раз: +по слайдам с якорем (db) или по всем размещённым (anf). + +Различия меньше ~5 п.п. не интерпретируются: каждый прогон оценивал свой судья, а на +anf один слайд — это 5–6 п.п. Сюда же попадает рендер db (100% → 95.1%, два маркера) и +recall db в варианте (б). + +## Что видно + +1. **db: этап 1 сделал то, ради чего задумывался.** Ложные `unmentioned` ушли (4 → 0), + все три промаха базовой линии (14, 16, 34) встали верно, high-confidence error + 8.1% → 2.5%. Осталась одна ошибка — слайд 20 (определение СУБД) `probable` в разделе + 17 с margin +6.47: его текст повторяется на шагах сборки 34–37, и коллизия + доказательств увела его туда. Порог такую ошибку не ловит. Слайд 16 понижен в + галерею верного раздела, хотя место в речи было («как здесь указано на слайде», 21:24). +2. **anf: recall вырос, размещение просело.** Семь слайдов из 20 стали `unbound`, у четырёх + из них галерея в чужом разделе (1, 3, 6, 19; титул 1 и разделитель 3 ушли вслед за 8 и 9). Четыре + `probable` (8, 9, 17, 18) стоят в неверном разделе с положительным margin. Inline + осталось только у двух слайдов, верные 11, 12, 13, 15 ушли в галерею + (`weak_evidence_only`). Часть просадки — разброс LLM между прогонами: путь выбирает + другие разделы, чем в «до», при том же транскрипте. Отделить её от вклада кода на + одном прогоне нельзя. +3. **Визуальное описание почти не участвует.** На after визуальная оценка не превышала + 0.27, на after2 — 0.39 (обычно < 0.1), то есть при весе 2.25 добавляет не больше 0.9 + силы. Откалибровать `visual_weight` на этих данных нельзя. +4. **Дефекты отрисовки.** db: маркеры 37 и 38 стоят не у своего блока при верной + привязке; 12, 25, 39 лежат в конце галереи не по порядку речи. anf: в блоки `tangent` + раздела 3.6 протекла служебная строка «Закрывается каллмаут.» (×3, в транскрипте её + нет), ещё одна строка-вывод модели — в tangent раздела 1.2 + (`.scratch/stage1-followups/02`). +5. **Ложные `unmentioned` на anf**: слайд 5 обсуждается на 00:10:12, разделитель 14 + «Преобразование замыканий» — на 01:05–01:06; оба получили `no_candidates` + (`.scratch/stage1-followups/03`). + +## Калибровка `min_margin` и `visual_weight` + +Значения выбраны по замеру after (плюс базовая линия db, где margin чисто лексический): + +| | Margin | +| --- | --- | +| Путь верен | −1.0, −1.4, −2.0, −2.16, −2.45; исключения −5.8 (anf 6) и −6.7 (db 20) | +| Путь неверен | −2.77, −3.25, −4.33, −5.36, −5.41, −6.74, −8.5, −11.8, −17.3, −28.9 | + +При старом пороге −5 три неверных выбора (anf 8 и 9, db 14 в базе) оставались `probable` +в абзаце. Решения владельца: + +- `min_margin` = **−2.5**: на after понижал все десять неверных выборов ценой двух верных + (зазор 0.3). +- `visual_weight` = **2.25**: инвариант тикета 07 — вес описания больше бонуса strong (+2), + меньше explicit (+4) и строго меньше |`min_margin`| — при пороге −2.5 исключает 3.0. + Значение выведено из этих границ, а не из данных; на прогонах оно ничего не меняет. + +**Проверка на after2: зазор не держится.** + +| | Margin выбора пути | +| --- | --- | +| Путь верен, слайд оставлен | db 28 (−2.23), db 39 (−1.69), anf 11 (−0.61), anf 13 (−0.42) | +| Путь верен, порог понизил | anf 10 (−3.71, галерея верная), anf 6 (−4.18, галерея в чужом разделе) | +| Путь неверен, порог понизил | anf 16 (−3.18), anf 19 (−3.49), anf 7 (−7.99) | +| Путь неверен, margin положительный | db 20 (+6.47), anf 8 (+1.52), anf 9 (+2.33), anf 17 (+0.16), anf 18 (+0.07) | + +Верные и неверные выборы перемешаны на −3.2…−4.2, и ни один порог их не разделяет: и −3.5, и −5 +оставили бы в абзаце неверные 16 и 19, а −4.2 и ниже — ещё и 7. Пять из восьми +неверных выборов имеют положительный margin — их порог не ловит в принципе, это +коллизии доказательств и выбор пути. Решение владельца: **−2.5 остаётся +предварительным**, судьба порога решается на новых validation-лекциях +(`.scratch/stage1-followups/01`). + +Последствие: верный выбор с лексическим отрывом около −2.3 понижается от любой +добавки конкуренту, в том числе визуальной (тест +`test_visual_summary_of_text_rich_slide_does_not_create_stronger_competitor` поэтому +задаёт порог −5 явно). + +Обе лекции повлияли на значение параметра и по правилу роадмапа переведены в development; +validation пополняется тремя лекциями курса «Разработка ПО» (`swe-2026-03-26`, +`swe-2026-04-09`, `swe-2026-04-23`), ранее не открывавшимися. Лектор у них тот же, что у +development-лекций 02-12…05-07, поэтому проверка порога на них слабее, чем на новом лекторе. + +## Проверка порога на validation swe (stage1-followups/01) + +Три нетронутые лекции курса «Разработка ПО» (`swe-2026-03-26`, `-04-09`, `-04-23`) прогнаны +в v2 на коде этого этапа (стенд, тот же override моделей) и оценены независимыми судьями: +`benchmarks/lecture-quality/2026-10-11-val-swe-{03-26,04-09,04-23}-v2.md`. Все три — +`usable_with_alignment_issues`. Ниже — margin выбора пути против вердикта судьи: для +`unbound` (`stronger_competitor`) это `path_min_margin` и раздел пути (`path_section`), для +оставленных в абзаце — margin назначения. + +| | Margin выбора пути | +| --- | --- | +| Путь верен или допустим, порог понизил (13) | 03-26: 12 (−3.37), 2 (−4.48), 23 (−5.12), 19 (−11.29); 04-09: 14 (−3.21), 11 (−9.16), 17 (−10.01), 4 (−38.50); 04-23: 19 (−4.77), 6 (−8.34), 12 (−12.08), 15 (−17.60), 10 (−17.93) | +| Путь неверен, порог понизил (5) | 04-23: 25 (−2.80), 7 (−4.83), 9 (−21.13); 03-26: 13 (−8.53); 04-09: 10 (−15.12) | +| Путь верен, слайд оставлен (margin < 2) | 04-09: 2 (−1.63), 18 (+1.36); 04-23: 23 (+0.35); 03-26: 8 (+1.03) | +| Путь неверен, оставлен (`probable`) | 03-26: 22 (−0.96); 04-09: 6 (−0.04), 1 (+0.12), 13 (+6.78); 04-23: 18 (+1.60) | +| Необсуждённый слайд помечен `discussed` | 04-23: 26 (+1.63, `probable`) | +| `unbound` по `deck_order_conflict`, без margin пути | 04-09: 12 (галерея неверна); 04-23: 1, 27 (неверны), 24 (допустима слабо) | + +Выводы: + +- Разделителя нет и здесь: верные пути лежат вплоть до −38.5, неверные — от −2.8 до −21. + Кандидат −3.5 меняет только полосу (−3.5, −2.5]: 12 и 14 (верные) вернулись бы в абзац, + 25 (неверный — «Атрибуты отчёта об ошибке» к атрибутам тест-сценария) тоже. +2/−1 — + шум на трёх слайдах. +- Неверные выборы, оставленные в абзаце, имеют margin от −0.96 до +6.78 — как и на after2 + (db 20, +6.47), порог их не ловит в принципе: это коллизии доказательств (04-09 13 совпал с + разделом только заголовком, 04-23 18 — по реплике-воспоминанию о позитивном тесте). +- `deck_order_conflict` дал неверную или слабую галерею у всех четырёх своих слайдов. +- Галерея `unbound`-слайда (раздел конкурента) допустима в 13 из 18 случаев — столько же, + сколько путь, но на других слайдах: 03-26 2, 12, 23 ушли в чужие галереи при верном пути. + +Решение владельца (2026-10-11): **`min_margin` = −2.5 окончательно**. Дальнейшие улучшения — не через +порог, а через коллизии доказательств у оставленных неверных выборов, выбор галереи +`unbound` (в том числе при `deck_order_conflict`) и слайды без текста (`no_candidates`: 03-26 9). diff --git a/docs/progress/2026-10-11-stage1-baseline.md b/docs/progress/2026-10-11-stage1-baseline.md new file mode 100644 index 0000000..45f67df --- /dev/null +++ b/docs/progress/2026-10-11-stage1-baseline.md @@ -0,0 +1,80 @@ +# Этап 1 матчера слайдов: базовая линия «до» на validation (11.10.2026) + +Точка отсчёта для всех изменений этапа 1 (`.scratch/slide-matcher-fixes`, тикет 04). +Замер «после» (тикет 10) делается на той же конфигурации стенда и сравнивается с этой +таблицей. + +## Что прогнано + +Код — тег `stage1-baseline` (`1ad9384`): тикеты 01 (кеш транскриптов) и 02 (нарезка +подтем по границе реплики), без 05–09. Прогоны шли из отдельного worktree на этом теге, +строго последовательно, на изолированном стенде `lecturelog-matcher-v2` (порт 18082). + +Validation-лекции — по роадмапу `benchmarks/lecture-quality/generalization-roadmap.md`: +`db-2026-09-24` (базы данных, аудио из видео + PPTX, 41 слайд, ~59 мин) и +`compilers-anf` (компиляторы, аудио + PDF, 20 слайдов, ~82 мин). + +| Лекция | Режим | Задача | Отчёт | +| --- | --- | --- | --- | +| db-2026-09-24 | v2 | `7509c2afb0c14026a24d3ec37743d42b` | `benchmarks/lecture-quality/2026-10-11-baseline-db-v2.md` | +| db-2026-09-24 | legacy | `fb7ceeefca2a482eb94dfbba64c29a3e` | нет — задача упала, см. ниже | +| compilers-anf | v2 | `fbd3a7f99c1d4827aae1a8899685ecb9` | `benchmarks/lecture-quality/2026-10-11-baseline-anf-v2.md` | +| compilers-anf | legacy | `e5c813e0d0384b4a8d91586fbb237958` | `benchmarks/lecture-quality/2026-10-11-baseline-anf-legacy.md` | + +Результаты лежат в `test-data/document-slide-alignment/runs/2026-10-11-baseline-*` +(в git не входят, аудио-нарезки удалены ради места на диске). + +Конфигурация стенда: override вне git, `/root/.cache/lecturelog-orch/stage1/stand.override.yml`. +Режим задаётся `DOCUMENT_SLIDE_ALIGNMENT_MODE`, остальное общее для обоих режимов: +транскрипция `deepgram nova-3, ru`; `LLM_MAX_TOKENS=65536`; +`LLM_EFFORT_SPLIT/SUBSPLIT/RENDER=medium`, `LLM_EFFORT_SLIDE_MATCH=low`; +`LLM_MODELS_SLIDE_MATCH=google/gemini-3.6-flash,google/gemini-3.5-flash-lite` (без gemma, +см. опровергнутую гипотезу в `2026-07-27-matcher-model-experiments.md`); модели +split/subsplit/render — из `.env` стенда; вебхуки и публичный S3 выключены; +`MAX_CONCURRENT_TASKS=1`. Кеш транскриптов — в отдельном томе: Deepgram оплачен по разу +на лекцию, второй режим брал транскрипт из кеша (`audio_seconds: 0`). + +Судьи — независимые сабагенты Claude (sonnet, effort medium, скилл +`skills/lecture-quality-judge/`), по одному на прогон, без доступа к прошлым отчётам. + +## Сводная таблица «до» + +| Метрика | db v2 | anf v2 | anf legacy | +| --- | ---: | ---: | ---: | +| Discussed precision | 100% (37/37) | 100% (13/13) | 95.0% (19/20) | +| Discussed recall | 90.2% (37/41) | 68.4% (13/19) | 100% (19/19)¹ | +| Ложные `unmentioned` | 9.8% (4/41) | 31.6% (6/19) | 0%¹ | +| Acceptable topic accuracy | 91.9% (34/37) | 84.6% (11/13) | 52.6% (10/19) | +| Preferred topic accuracy | 89.2% (33/37) | 53.8% (7/13) | 42.1% (8/19) | +| Wrong-topic rate | 8.1% (3/37) | 15.4% (2/13) | 47.4% (9/19) | +| Best-context hit | 54.1% (20/37) | 23.1% (3/13) | 42.1% (8/19) | +| Acceptable-context hit | 91.9% (34/37) | 76.9% (10/13) | — | +| Verified precision | 100% (18/18)² | 50% (1/2) | n/a | +| High-confidence error rate | 8.1% (3/37) | 23.1% (3/13) | n/a | +| Collapsed-slide rate | 4.9% (2/41) | 10% (2/20) | 30% (6/20) | +| Rendering correctness | 100% (41/41) | 100% (13/13) | 100% (20/20) | +| Вердикт | `usable_with_alignment_issues` | `usable_with_alignment_issues` | `usable_with_alignment_issues` | + +¹ Вырожденно: legacy никогда не объявляет слайд необсуждённым, все слайды попадают в +какой-то раздел. ² 16/18 строго; два `reasonable_range` засчитаны как верные. + +Знаменатели разные, unknown нет ни в одном прогоне. Каждый прогон оценивал свой судья, +поэтому различия меньше ~5 п.п. не интерпретируются. + +## Что видно уже на базовой линии + +1. **Legacy падает на тяжёлой колоде.** На `db-2026-09-24` грубый матч legacy (шаг 3a) + отправляет все 41 PNG одним запросом: 23 080 080 байт при лимите Google AI Studio + 20 000 000. Ошибка 413 детерминирована, повтор её не снимет. Поэтому пары v2/legacy + на этой лекции нет. Это вероятный баг прода: там режим по умолчанию — legacy. +2. **На `compilers-anf` legacy уступает v2 по размещению с большим запасом**: wrong-topic + 47.4% против 15.4%, collapsed 30% против 10%. Legacy свалил слайды 11–20 в галерею + последнего раздела. +3. **Главная слабость v2 — ложные `unmentioned`.** 4 из 41 на db и 6 из 19 на anf ушли в + приложение с `no_supported_evidence`, хотя судья нашёл их обсуждение в транскрипте. + Это тот же класс, что на старых лекциях. +4. **Отрицательный margin снова не понижает уверенность.** db: все три неверных + `probable` (слайды 14, 16, 34) имеют margin < 0. Это предмет тикета 06. +5. **Неверный `verified` впервые с начала замеров.** anf, слайд 15 (вложенные функции и + продолжения): якорь стоит на 1:18:39 в разделе лямбда-лифтинга, а обсуждался слайд + около 1:05–1:08. До этого `verified` был безупречен (26/26 на трёх старых лекциях). diff --git a/lecturelog/domain/slides.py b/lecturelog/domain/slides.py index d7a7eb1..fc92c85 100644 --- a/lecturelog/domain/slides.py +++ b/lecturelog/domain/slides.py @@ -100,18 +100,53 @@ class SlideCandidate: semantic_tier: Literal["explicit", "strong", "weak", "none"] = "none" visual_score: float | None = None competition_margin: float | None = None + # Кандидаты других разделов, с которыми сравнивался выбор при расчёте + # competition_margin. В выбор пути не входят: нужны, чтобы непривязанный + # из-за более сильного конкурента слайд ушёл в галерею этого конкурента. + competitors: tuple[SlideCandidate, ...] = () + # Вердикт выдал судья-модель (а не лексический путь или восстановление после + # отказа судьи). Только такой кандидат может стать verified. + model_confirmed: bool = False + + +# Почему слайд не привязан к месту речи (см. GLOSSARY.md): +# - непривязанный (match_status="unbound") — кандидат с доказательством есть, но +# уверенности не хватает: `weak_evidence` — доказательство слабое, +# `deck_order_conflict` — путь по порядку колоды пропустил слайд, +# `stronger_competitor` — кандидат другого раздела совпадает с речью сильнее +# выбранного (margin ниже порога); +# - неупомянутый (match_status="unmentioned") — `no_candidates` — ни одного +# кандидата с доказательством, `service_role` — служебная пустая страница, +# `alignment_failed` — выравнивание упало и слайд не оценивался, +# `legacy_mode` — старый режим не привязал слайд; +# - колода-чужак (match_status="deck_mismatch") — `deck_mismatch`. +SlideStatusReason = Literal[ + "weak_evidence", + "deck_order_conflict", + "stronger_competitor", + "no_candidates", + "service_role", + "alignment_failed", + "legacy_mode", + "deck_mismatch", +] @dataclass(frozen=True) class SlideAssignment: slide_num: int - match_status: Literal["discussed", "unmentioned", "duplicate", "deck_mismatch"] + match_status: Literal["discussed", "unbound", "unmentioned", "duplicate", "deck_mismatch"] global_section_id: int | None evidence_block_ids: tuple[int, ...] anchor_s: float | None assignment_confidence: Literal["verified", "probable", "unresolved"] score: float reason_code: str + # Заполнено только у непривязанных и неупомянутых слайдов. + status_reason: SlideStatusReason | None = None + # Вклад описания картинки в силу доказательства (visual_score · visual_weight); + # None — у кандидата нет визуальной оценки или кандидата нет вовсе. + visual_contribution: float | None = None @dataclass(frozen=True) diff --git a/lecturelog/infrastructure/slides/alignment/anchoring.py b/lecturelog/infrastructure/slides/alignment/anchoring.py index 5c236cf..7dbc5e5 100644 --- a/lecturelog/infrastructure/slides/alignment/anchoring.py +++ b/lecturelog/infrastructure/slides/alignment/anchoring.py @@ -1,6 +1,7 @@ from __future__ import annotations import logging +import re from lecturelog.domain.slides import SlideAssignment, SlideCatalogEntry, SlidePlacement from lecturelog.infrastructure.slides.alignment.grounding import ( @@ -15,12 +16,44 @@ logger = logging.getLogger(__name__) +_WORD_RE = re.compile(r"[^\W\d_]{4,}", re.UNICODE) +# Конспект пересказывает речь не дословно: словоформы меняются, поэтому слова +# сравниваются по началу. Пяти букв хватает, чтобы «слоев»/«слоёв» не путались +# с «словами», и мало, чтобы «архитектуры» совпала с «архитектурой». +_STEM_LENGTH = 5 +# Одно общее слово («который», «можно») случайно; место речи подтверждают два. +_MIN_SHARED_STEMS = 2 + + +def _stems(text: str) -> set[str]: + return {word.casefold().replace("ё", "е")[:_STEM_LENGTH] for word in _WORD_RE.findall(text)} + def anchor_assignment( assignment: SlideAssignment, entry: SlideCatalogEntry | None, markdown: str, + evidence_text: str = "", ) -> tuple[str, SlidePlacement]: + """Поставить маркер слайда после абзаца, где он обсуждается. + + ``evidence_text`` — текст реплик-доказательств назначения. Слайд подтверждает, + что абзац о нём; реплика — какой из таких абзацев пересказывает момент показа. + Без неё лексика слайда тянет маркер к первому абзацу с его термином, даже если + слайд показан в конце раздела. + """ + if assignment.match_status == "unbound" and assignment.global_section_id is not None: + # Непривязанный слайд обсуждали, но место в речи не установлено надёжно: + # он стоит в галерее раздела с самым сильным доказательством, а не в + # приложении и не внутри абзаца. + return markdown, SlidePlacement( + assignment.slide_num, + "section_gallery", + assignment.global_section_id, + gallery_position="after_content", + anchor_confidence="fallback", + fallback_reason=f"unbound:{assignment.status_reason}", + ) if assignment.match_status != "discussed" or assignment.global_section_id is None: return markdown, SlidePlacement( assignment.slide_num, @@ -55,7 +88,15 @@ def anchor_assignment( anchor_confidence="fallback", fallback_reason="no_safe_semantic_block", ) - specificity, block_index = max(ranked) + specificity = max(ranked)[0] + evidence_stems = _stems(evidence_text) + # При равных совпадениях — более ранний абзац: слайд показывают, когда о нём + # заговорили впервые, а не на последнем упоминании. + shared_stems, _, negated_index = max( + (len(evidence_stems & _stems(blocks[index].text)), block_specificity, -index) + for block_specificity, index in ranked + ) + block_index = -negated_index if shared_stems >= _MIN_SHARED_STEMS else max(ranked)[1] verified = assignment.assignment_confidence == "verified" # Для неверифицированного назначения одного лишь пересечения слов мало: слайд # рядом со случайно похожим абзацем вводит в заблуждение сильнее, чем галерея. diff --git a/lecturelog/infrastructure/slides/alignment/catalog.py b/lecturelog/infrastructure/slides/alignment/catalog.py index c5412e1..f4cc5aa 100644 --- a/lecturelog/infrastructure/slides/alignment/catalog.py +++ b/lecturelog/infrastructure/slides/alignment/catalog.py @@ -19,7 +19,7 @@ def catalog_batches( assets: list[SlideAsset], max_batch: int = MAX_CATALOG_BATCH ) -> list[list[SlideAsset]]: if not 1 <= max_batch <= MAX_CATALOG_BATCH: - raise ValueError("catalog batch должен содержать 1..6 страниц") + raise ValueError(f"catalog batch должен содержать 1..{MAX_CATALOG_BATCH} страниц") return [assets[pos : pos + max_batch] for pos in range(0, len(assets), max_batch)] @@ -141,25 +141,54 @@ def detect_progressive_builds( This is deliberately conservative: progressive pages are *related*, not duplicates, and therefore must remain eligible for placement. + + Вложенность считается по содержанию страницы — без колонтитулов + (`detect_boilerplate_lines`): колонтитул есть на каждой странице, и две + страницы с коротким разным телом иначе выглядят как шаги одной сборки. + Исключение — предыдущая страница, у которой кроме колонтитулов ничего нет: + в маленькой колоде, целиком состоящей из одной сборки, строки первого шага + повторяются на всех страницах и сами попадают в колонтитулы; тело такой + страницы сравнивать не с чем, и вложенность считается по полному тексту. """ + boilerplate = detect_boilerplate_lines(assets) relations: list[SlideRelation] = [] + # Первый шаг сборки, к которой относится страница. Шаги 3→4→5 — одна + # страница в трёх видах, поэтому группа у всей цепочки общая (по первому + # шагу), а не «предыдущий шаг»: иначе 3 и 5 оказываются в разных группах и + # защита от коллизий доказательств понижает крайние шаги. + chain_root: dict[int, int] = {} for previous, current in zip(assets, assets[1:], strict=False): previous_tokens = _catalog_tokens(previous.extracted_text or "") current_tokens = _catalog_tokens(current.extracted_text or "") if len(previous_tokens) < 4 or len(current_tokens) <= len(previous_tokens): continue + previous_body = _catalog_tokens(_without_boilerplate(previous, boilerplate)) + if previous_body: + previous_tokens = previous_body + current_tokens = _catalog_tokens(_without_boilerplate(current, boilerplate)) containment = len(previous_tokens & current_tokens) / len(previous_tokens) if containment >= containment_threshold: + root = chain_root.get(previous.slide_num, previous.slide_num) + chain_root[current.slide_num] = root relations.append( SlideRelation( current.slide_num, "progressive_build", - f"progressive:{previous.slide_num}", + f"progressive:{root}", previous.slide_num, ) ) return tuple(relations) +def _without_boilerplate(asset: SlideAsset, boilerplate: frozenset[str]) -> str: + """Текст страницы без строк-колонтитулов колоды.""" + return "\n".join( + line + for line in (asset.extracted_text or "").splitlines() + if line.strip() not in boilerplate + ) + + def _catalog_tokens(text: str) -> set[str]: return {token.casefold() for token in text.replace("\n", " ").split() if len(token) >= 3} diff --git a/lecturelog/infrastructure/slides/alignment/confidence.py b/lecturelog/infrastructure/slides/alignment/confidence.py index 76367a2..f6f0d6b 100644 --- a/lecturelog/infrastructure/slides/alignment/confidence.py +++ b/lecturelog/infrastructure/slides/alignment/confidence.py @@ -1,10 +1,53 @@ from __future__ import annotations +from dataclasses import dataclass from typing import Literal +from lecturelog.domain.slides import SlideStatusReason + Confidence = Literal["verified", "probable", "unresolved"] +@dataclass(frozen=True) +class Calibration: + """Уровень уверенности привязки и, для `unresolved`, его причина. + + Причина заполнена ровно тогда, когда уверенность `unresolved`: такой слайд + становится непривязанным, и диагностика должна объяснить почему. + """ + + confidence: Confidence + unbound_reason: SlideStatusReason | None = None + + +def calibrate( + *, + semantic_tier: str, + margin: float, + has_grounded_evidence: bool, + has_competing_context: bool, + visual_score: float | None = None, + min_margin: float, + model_confirmed: bool = False, +) -> Calibration: + # Margin ниже порога значит, что другой раздел совпадает с речью сильнее + # выбранного: такой выбор не закрепляется ни на каком уровне, даже если + # судья подтвердил его цитатой. + if margin < min_margin: + return Calibration("unresolved", "stronger_competitor") + confidence = confidence_from_margin( + semantic_tier=semantic_tier, + margin=margin, + has_grounded_evidence=has_grounded_evidence, + has_competing_context=has_competing_context, + visual_score=visual_score, + model_confirmed=model_confirmed, + ) + if confidence == "unresolved": + return Calibration(confidence, "weak_evidence") + return Calibration(confidence) + + def confidence_from_margin( *, semantic_tier: str, @@ -12,6 +55,7 @@ def confidence_from_margin( has_grounded_evidence: bool, has_competing_context: bool, visual_score: float | None = None, + model_confirmed: bool = False, ) -> Confidence: if ( semantic_tier == "explicit" @@ -20,8 +64,14 @@ def confidence_from_margin( and margin >= 1.5 ): return "verified" + # Визуальная оценка — совпадение описания картинки с речью, а не вердикт: + # она усиливает подтверждение модели, но не заменяет его. Без вердикта + # судьи (лексический путь, восстановление после weak/none) — не выше probable. if ( - visual_score is not None + model_confirmed + and semantic_tier in {"explicit", "strong"} + and has_grounded_evidence + and visual_score is not None and visual_score >= 0.85 and has_competing_context and margin >= 1.0 diff --git a/lecturelog/infrastructure/slides/alignment/grounding.py b/lecturelog/infrastructure/slides/alignment/grounding.py index 15b4a50..e46a5d1 100644 --- a/lecturelog/infrastructure/slides/alignment/grounding.py +++ b/lecturelog/infrastructure/slides/alignment/grounding.py @@ -6,6 +6,76 @@ _TOKEN_RE = re.compile(r"[\w+-]{3,}", re.UNICODE) _SPACE_RE = re.compile(r"\s+") +# Слова, которыми описывают любую картинку, а не её содержание («на слайде +# изображена схема»). Они звучат и в речи, и в конспекте где угодно, поэтому ни +# поиск кандидатов, ни grounding не засчитывают их как совпадение с описанием. +# +# Длинные основы (от пяти букв) сравниваются по началу слова — так покрываются +# словоформы. Короткие («фон», «цвет», «текст») по началу не сравниваются: +# «фон» поймал бы «фонд» и «фонарь». Для них заданы целые слова: основа плюс +# перечень окончаний, чтобы «фоне» и «фоновый» считались описателями, а «фонд» нет. +_VISUAL_FILLER_PREFIXES: tuple[str, ...] = ( + "слайд", + "диаграм", + "изображ", + "рисун", + "картин", + "иллюстр", + "фотограф", + "страниц", + "показ", + "представл", + "расположен", + "содерж", + "элемент", + "надпис", + "заголов", + "slide", + "diagram", + "image", + "picture", + "figure", +) +_ADJECTIVE_ENDINGS = "(?:ый|ая|ое|ые|ого|ой|ом|ым|ых|ую)" +_NOUN_ENDINGS = "(?:а|у|ом|е|ы|ов|ам|ами|ах)" +_VISUAL_FILLER_WORDS = re.compile( + "|".join( + ( + rf"фон{_NOUN_ENDINGS}?", + rf"фонов{_ADJECTIVE_ENDINGS}", + rf"цвет{_NOUN_ENDINGS}?", + rf"цвет(?:ов|н){_ADJECTIVE_ENDINGS}", + rf"текст{_NOUN_ENDINGS}?", + rf"текстов{_ADJECTIVE_ENDINGS}", + r"схем(?:а|ы|е|у|ой|ам|ами|ах|атичн\w*)?", + r"виден|видн[аоы]", + r"shows?|shown|showing", + ) + ) +) + + +def is_visual_filler(token: str) -> bool: + """Слово описания картинки, не говорящее о её содержании.""" + folded = token.casefold() + return folded.startswith(_VISUAL_FILLER_PREFIXES) or bool( + _VISUAL_FILLER_WORDS.fullmatch(folded) + ) + + +def visual_claims(entry: SlideCatalogEntry) -> tuple[str, ...]: + """Предложения описания картинки без слов-описателей. + + Описание — проза, поэтому делится ещё и по концу предложения. Слова вроде + «слайд» и «схема» выброшены: два таких слова совпадают с любым абзацем. + """ + claims = [] + for part in re.split(r"[\n•;.!?]+", entry.visual_summary): + words = [word for word in part.split() if not is_visual_filler(word.strip(",:()«»\"'"))] + claim = " ".join(words).strip() + if claim: + claims.append(claim) + return tuple(claims) def evidence_matches_entry(evidence: str, entry: SlideCatalogEntry) -> bool: @@ -58,6 +128,8 @@ def _claims(entry: SlideCatalogEntry) -> tuple[str, ...]: visible_claims = tuple( part.strip() for part in re.split(r"[\n•;]+", entry.visible_text) if part.strip() ) + # Описание картинки — утверждение о странице наравне с видимым текстом: у + # схемы без текста оно единственное, что можно подтвердить цитатой из речи. return tuple( value for value in ( @@ -66,6 +138,7 @@ def _claims(entry: SlideCatalogEntry) -> tuple[str, ...]: *entry.transcript_language_terms, *entry.formulas, *visible_claims, + *visual_claims(entry), ) if value.strip() ) diff --git a/lecturelog/infrastructure/slides/alignment/retrieval.py b/lecturelog/infrastructure/slides/alignment/retrieval.py index 3868b58..1af4b40 100644 --- a/lecturelog/infrastructure/slides/alignment/retrieval.py +++ b/lecturelog/infrastructure/slides/alignment/retrieval.py @@ -3,14 +3,38 @@ import math import re from collections import Counter +from dataclasses import dataclass from lecturelog.domain.slides import SectionRef, SlideCandidate, SlideCatalogEntry, TranscriptBlock +from lecturelog.infrastructure.slides.alignment.grounding import is_visual_filler +from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights from lecturelog.infrastructure.slides.alignment.transcript import blocks_for_section _TOKEN_RE = re.compile(r"[\w+-]+", re.UNICODE) _BM25_K1 = 1.2 _BM25_B = 0.75 _MAX_EVIDENCE_BLOCKS = 6 +# Визуальное описание — связная проза, а не список терминов: служебные слова +# короче четырёх букв отбрасываются, а словоформы сводятся к основе по первым +# пяти буквам («серверу» и «сервер» — одна основа). +_VISUAL_MIN_TOKEN = 4 +_VISUAL_STEM = 5 +# Сколько разных различающих основ описания (звучащих не больше чем в половине +# разделов) должно встретиться в речи раздела, чтобы визуальная оценка была +# полной: одно общее слово — ещё не описание схемы, а слова, звучащие почти +# везде, раздел не выделяют. +_VISUAL_SATURATION_TERMS = 3 + + +@dataclass(frozen=True) +class _VisualProfile: + """Описание картинки слайда: различающие основы и их доля в содержании страницы.""" + + stems: frozenset[str] + share: float + + +_NO_VISUAL = _VisualProfile(frozenset(), 0.0) def normalize_tokens(text: str) -> tuple[str, ...]: @@ -29,7 +53,19 @@ def generate_candidates( *, limit: int = 5, neighbor_radius: int = 1, + weights: AlignmentWeights | None = None, ) -> tuple[SlideCandidate, ...]: + """Кандидаты разделов для слайда: лексическая и визуальная оценки. + + `lexical_score` — совпадение видимого текста и терминов страницы с речью + раздела. `visual_score` — совпадение описания картинки (`visual_summary`): + только основ, которых нет в тексте страницы, иначе одно и то же слово + считалось бы дважды. Ранжирование разделов идёт по + `lexical_score + visual_score * visual_weight` — той же силе доказательства, + что и в выборе пути (`AlignmentWeights.visual_weight`). Без `weights` + визуальная оценка считается, но на ранжирование не влияет. + """ + visual_weight = weights.visual_weight if weights is not None else 0.0 query_parts = tuple( filter( None, @@ -47,6 +83,21 @@ def generate_candidates( ) ) query_tokens = set(normalize_tokens(" ".join(query_parts))) + textual_stems = _stems(" ".join(query_parts)) + visual_stems = frozenset( + { + stem + for stem in _stems(entry.visual_summary, drop_filler=True) + if stem not in textual_stems + } + ) + # Доля описания в содержании страницы: у схемы без текста описание — + # единственное доказательство, у страницы с богатым текстом — добавка, + # которая не должна перебивать текст и рождать ложных конкурентов. + visual = _VisualProfile( + visual_stems, + len(visual_stems) / max(len(visual_stems) + len(textual_stems), 1), + ) section_documents = [(section, blocks_for_section(blocks, section)) for section in sections] section_counters = [ Counter(normalize_tokens(" ".join(block.text for block in evidence))) @@ -61,8 +112,25 @@ def generate_candidates( token: math.log(1.0 + (document_count - frequency + 0.5) / (frequency + 0.5)) for token, frequency in document_frequency.items() } - scored: list[tuple[float, SectionRef, tuple[TranscriptBlock, ...]]] = [] - for (section, evidence), doc_tokens in zip(section_documents, section_counters, strict=True): + section_stems = [ + _stems(" ".join(block.text for block in evidence)) for _, evidence in section_documents + ] + visual_frequency = { + stem: frequency + for stem in visual_stems + if (frequency := sum(stem in stems for stems in section_stems)) + } + visual_idf = { + stem: math.log(1.0 + (document_count - frequency + 0.5) / (frequency + 0.5)) + for stem, frequency in visual_frequency.items() + } + distinctive_stems = { + stem for stem, frequency in visual_frequency.items() if frequency * 2 <= document_count + } + scored: list[tuple[float, float, float | None, SectionRef, tuple[TranscriptBlock, ...]]] = [] + for (section, evidence), doc_tokens, doc_stems in zip( + section_documents, section_counters, section_stems, strict=True + ): text = " ".join(block.text for block in evidence) lexical = _bm25_score( doc_tokens, @@ -75,16 +143,22 @@ def generate_candidates( default=0.0, ) score = lexical + char_score * 2.0 - scored.append((score, section, evidence)) - ranked = sorted(scored, key=lambda item: (item[0], -item[1].global_section_id), reverse=True) - top_ids = {section.global_section_id for _, section, _ in ranked[:limit]} + visual_score = ( + _visual_score(visual_idf, distinctive_stems, doc_stems) * visual.share + if visual.stems + else None + ) + strength = score + (visual_score or 0.0) * visual_weight + scored.append((strength, score, visual_score, section, evidence)) + ranked = sorted(scored, key=lambda item: (item[0], -item[3].global_section_id), reverse=True) + top_ids = {section.global_section_id for _, _, _, section, _ in ranked[:limit]} expanded = { section.global_section_id for section in sections if any(abs(section.global_section_id - top) <= neighbor_radius for top in top_ids) } result = [] - for score, section, evidence in ranked: + for _, score, visual_score, section, evidence in ranked: if section.global_section_id not in expanded: continue selected_evidence = _best_evidence_blocks( @@ -93,6 +167,7 @@ def generate_candidates( query_parts, idf, average_length, + visual, ) ids = tuple(block.block_id for block in selected_evidence) result.append( @@ -106,11 +181,41 @@ def generate_candidates( ), anchor_end_s=(selected_evidence[-1].end_s if selected_evidence else section.end_s), lexical_score=score, + visual_score=visual_score, ) ) return tuple(result[: limit + 2 * neighbor_radius]) +def _stems(text: str, *, drop_filler: bool = False) -> set[str]: + return { + token[:_VISUAL_STEM] + for token in normalize_tokens(text) + if len(token) >= _VISUAL_MIN_TOKEN and not (drop_filler and is_visual_filler(token)) + } + + +def _visual_score( + visual_idf: dict[str, float], distinctive_stems: set[str], document_stems: set[str] +) -> float: + """Насколько речь раздела покрывает описание картинки, 0..1. + + Покрытие взвешено по idf среди основ, которые звучат хоть в одном разделе: + слова описания, которых лектор не произносит нигде («изображение», + «стрелка»), ни один раздел не различают и в знаменатель не входят. + Полная оценка требует не меньше `_VISUAL_SATURATION_TERMS` общих + различающих основ: слова, звучащие в большинстве разделов, покрытие дают, + но насыщения — нет, иначе описание из них получило бы 1.0 везде. + """ + total = sum(visual_idf[stem] for stem in sorted(visual_idf)) + if not total: + return 0.0 + shared = sorted(stem for stem in visual_idf if stem in document_stems) + coverage = sum(visual_idf[stem] for stem in shared) / total + distinctive = sum(stem in distinctive_stems for stem in shared) + return coverage * min(1.0, distinctive / _VISUAL_SATURATION_TERMS) + + def _bm25_score( document: Counter[str], query_tokens: set[str], @@ -139,6 +244,7 @@ def _best_evidence_blocks( query_parts: tuple[str, ...], idf: dict[str, float], average_length: float, + visual: _VisualProfile = _NO_VISUAL, ) -> tuple[TranscriptBlock, ...]: ranked = sorted( evidence, @@ -152,6 +258,11 @@ def _best_evidence_blocks( + max( (_ngram_overlap(part, block.text) for part in query_parts), default=0.0, + ) + + ( + len(visual.stems & _stems(block.text)) / len(visual.stems) * visual.share + if visual.stems + else 0.0 ), -block.start_s, ), diff --git a/lecturelog/infrastructure/slides/alignment/schemas.py b/lecturelog/infrastructure/slides/alignment/schemas.py index 2d6224f..6226f40 100644 --- a/lecturelog/infrastructure/slides/alignment/schemas.py +++ b/lecturelog/infrastructure/slides/alignment/schemas.py @@ -73,11 +73,3 @@ def explicit_requires_evidence(self) -> SemanticMatchResponse: ): raise ValueError("explicit match требует evidence IDs и цитату") return self - - -class AnchorResponse(BaseModel): - model_config = ConfigDict(extra="forbid") - - slide_num: int = Field(ge=1) - block_index: int = Field(ge=0) - side: Literal["before", "after"] diff --git a/lecturelog/infrastructure/slides/alignment/semantic.py b/lecturelog/infrastructure/slides/alignment/semantic.py index 0670406..323e878 100644 --- a/lecturelog/infrastructure/slides/alignment/semantic.py +++ b/lecturelog/infrastructure/slides/alignment/semantic.py @@ -67,4 +67,5 @@ def validate_semantic_response( lexical_score=candidate.lexical_score, semantic_tier=response.semantic_tier, visual_score=candidate.visual_score, + model_confirmed=True, ) diff --git a/lecturelog/infrastructure/slides/alignment/sequence.py b/lecturelog/infrastructure/slides/alignment/sequence.py index d9432fe..be739e6 100644 --- a/lecturelog/infrastructure/slides/alignment/sequence.py +++ b/lecturelog/infrastructure/slides/alignment/sequence.py @@ -2,8 +2,13 @@ from dataclasses import dataclass -from lecturelog.domain.slides import SlideAssignment, SlideCandidate, SlideRelation -from lecturelog.infrastructure.slides.alignment.confidence import confidence_from_margin +from lecturelog.domain.slides import ( + SlideAssignment, + SlideCandidate, + SlideRelation, + SlideStatusReason, +) +from lecturelog.infrastructure.slides.alignment.confidence import calibrate @dataclass(frozen=True) @@ -14,8 +19,21 @@ class AlignmentWeights: explicit_bonus: float = 4.0 strong_bonus: float = 2.0 lexical_weight: float = 1.0 - visual_weight: float = 3.0 + # Вес визуальной оценки (0..1, совпадение описания картинки с речью раздела). + # Полное совпадение даёт +2.25: больше подтверждения strong (+2) — описание + # покрыто речью целиком, — но меньше explicit (+4): цитату судьи оно не + # заменяет. И строго меньше |min_margin|: одно описание не может само + # перевести слайд в `stronger_competitor`. На validation этапа 1 визуальная + # оценка не превышала 0.27, поэтому вес выведен из этих границ, а не из данных. + visual_weight: float = 2.25 progressive_same_section_bonus: float = 0.75 + # Порог margin выбора: ниже него слайд непривязанный с причиной + # `stronger_competitor` на любом уровне уверенности. Margin выбора пути + # неотрицателен, поэтому срабатывает только отрицательный competition_margin — + # конкурент из другого раздела сильнее. Калибровка на validation этапа 1 + # (docs/progress/2026-10-11-stage1-after.md): неверные выборы пути лежат на + # −2.77 и ниже, верные — на −2.45 и выше, кроме двух около −6. + min_margin: float = -2.5 def align_sequence( @@ -34,6 +52,47 @@ def align_sequence( for relation in relations if relation.kind == "progressive_build" } + # Слайд, отвергнутый калибровкой из-за более сильного конкурента, остаётся + # непривязанным, но в пути он был якорем: уводил путь в свой раздел и мог + # вытолкнуть верного соседа в `deck_order_conflict`. Поэтому путь + # пересчитывается без отвергнутых, а их назначение берётся из прохода, где + # их отвергли (галерея по конкуренту, диагностика с выбором пути и margin). + # + # Одного повторного прохода мало: освободившееся место может занять слайд, + # который раньше путь пропускал, и его тоже отвергнут. Повторяем до + # неподвижной точки. Множество отвергнутых только растёт, поэтому проходов + # не больше числа слайдов плюс один; на практике — два. Каждый проход стоит + # одного `_solve` на путь и по одному на каждый выбранный слайд (path_margin). + rejected: dict[int, SlideAssignment] = {} + pool = candidates + for _ in range(len(slide_nums) + 1): + assignments, newly_rejected = _assign_path( + slide_nums, pool, duplicate_of, progressive_of, weights + ) + if not newly_rejected: + break + rejected.update( + (item.slide_num, item) for item in assignments if item.slide_num in newly_rejected + ) + pool = { + slide_num: () if slide_num in rejected else options + for slide_num, options in candidates.items() + } + return tuple(rejected.get(item.slide_num, item) for item in assignments) + + +def _assign_path( + slide_nums: list[int], + candidates: dict[int, tuple[SlideCandidate, ...]], + duplicate_of: dict[int, int], + progressive_of: dict[int, int], + weights: AlignmentWeights, +) -> tuple[list[SlideAssignment], set[int]]: + """Один проход: путь DP и назначения по нему. + + Второй элемент — слайды, которые путь выбрал, а калибровка отвергла из-за + более сильного конкурента (`stronger_competitor`): они были якорями пути. + """ best_total, best_path = _solve( slide_nums, candidates, @@ -42,6 +101,7 @@ def align_sequence( weights, ) assignments: list[SlideAssignment] = [] + rejected: set[int] = set() for index, (slide_num, chosen) in enumerate(zip(slide_nums, best_path, strict=True)): if slide_num in duplicate_of: assignments.append( @@ -58,16 +118,21 @@ def align_sequence( ) continue if chosen is None: + # Путь пропустил слайд. Если у него всё же есть кандидат с + # доказательством, пропуск — цена порядка колоды, а не признак того, + # что лектор слайд не обсуждал. + pool = candidates.get(slide_num, ()) + weak = [ + c + for c in pool + if c.competition_margin is not None and c.competition_margin < weights.min_margin + ] + # Конкурент сильнее выбора судьи — более информативная причина, чем + # конфликт порядка, и его раздел должен участвовать в выборе галереи. + reason: SlideStatusReason = "stronger_competitor" if weak else "deck_order_conflict" assignments.append( - SlideAssignment( - slide_num, - "unmentioned", - None, - (), - None, - "unresolved", - 0.0, - "no_supported_evidence", + _unbound_or_unmentioned( + slide_num, _gallery_pool(pool, weak), None, reason, None, weights ) ) continue @@ -85,35 +150,194 @@ def align_sequence( if chosen.competition_margin is not None else path_margin ) - best_score = _candidate_score(chosen, weights) - confidence = confidence_from_margin( + best_score = candidate_score(chosen, weights) + calibration = calibrate( semantic_tier=chosen.semantic_tier, margin=margin, has_grounded_evidence=bool(chosen.evidence_block_ids and chosen.evidence_quote), has_competing_context=chosen.competition_margin is not None, visual_score=chosen.visual_score, + min_margin=weights.min_margin, + model_confirmed=chosen.model_confirmed, ) - status = "discussed" if confidence != "unresolved" else "unmentioned" + if calibration.unbound_reason is None: + assignments.append( + SlideAssignment( + slide_num=slide_num, + match_status="discussed", + global_section_id=chosen.global_section_id, + evidence_block_ids=chosen.evidence_block_ids, + anchor_s=(chosen.anchor_start_s + chosen.anchor_end_s) / 2, + assignment_confidence=calibration.confidence, + score=best_score, + reason_code=_reason_code(chosen, margin), + visual_contribution=_visual_contribution(chosen, weights), + ) + ) + continue + pool = candidates.get(slide_num, ()) + if calibration.unbound_reason == "stronger_competitor": + pool = _gallery_pool(pool, [chosen]) + rejected.add(slide_num) assignments.append( - SlideAssignment( - slide_num=slide_num, - match_status=status, - global_section_id=chosen.global_section_id if status == "discussed" else None, - evidence_block_ids=chosen.evidence_block_ids if status == "discussed" else (), - anchor_s=(chosen.anchor_start_s + chosen.anchor_end_s) / 2 - if status == "discussed" - else None, - assignment_confidence=confidence, - score=best_score, - reason_code=( - f"semantic_{chosen.semantic_tier}" - f":lexical={chosen.lexical_score:.3f}" - f":visual={(chosen.visual_score or 0.0):.3f}" - f":margin={margin:.3f}" - ), + _unbound_or_unmentioned( + slide_num, + pool, + chosen, + calibration.unbound_reason, + margin, + weights, ) ) - return tuple(assignments) + return assignments, rejected + + +def _gallery_pool( + pool: tuple[SlideCandidate, ...], losing: list[SlideCandidate] +) -> tuple[SlideCandidate, ...]: + """Пул для выбора галереи: кандидаты слайда плюс конкуренты тех, кто им уступил. + + Конкуренты в выбор пути не входят, но галерея должна достаться разделу с + самым сильным доказательством — возможно, конкуренту. + """ + return (*pool, *(rival for candidate in losing for rival in candidate.competitors)) + + +def strongest_candidate( + pool: tuple[SlideCandidate, ...], + weights: AlignmentWeights, + *, + preferred: SlideCandidate | None = None, + with_verdict: bool = True, +) -> SlideCandidate | None: + """Кандидат с самым сильным доказательством — его раздел получает непривязанный слайд. + + Сила доказательства — та же оценка `candidate_score`, что и в выборе пути: + `lexical_score * lexical_weight + бонус semantic_tier + visual_score * visual_weight`. + Без `with_verdict` бонус вердикта в сравнение не входит — это мера + `competition_margin`, по которой слайд и признан уступившим конкуренту. + Порядок колоды в неё не входит: он подсказка для пути, а не свойство + доказательства. Доказательством считается только кандидат, который сам по + себе сильнее пропуска слайда (`unmatched_score`) и опирается на речь + (`_has_evidence`). При равной силе выигрывает `preferred` (выбор пути), + затем более ранний раздел. + """ + evidence = [ + candidate + for candidate in pool + if _has_evidence(candidate) + and candidate_score(candidate, weights) > weights.unmatched_score + ] + if not evidence: + return None + return max( + evidence, + key=lambda candidate: ( + candidate_score(candidate, weights, with_verdict=with_verdict), + candidate is preferred, + -candidate.global_section_id, + ), + ) + + +def _has_evidence(candidate: SlideCandidate) -> bool: + """У кандидата есть доказательство из речи, а не только вердикт судьи. + + Реплика, цитата, совпадение текста или описания картинки с речью — любое + из них. Вердикт `strong` без единого блока, без цитаты и с нулевой оценкой + ничего в речи не показывает: такой слайд по глоссарию неупомянутый, а не + непривязанный, и в галерею раздела идти не должен. + """ + return bool( + candidate.evidence_block_ids + or candidate.evidence_quote + or candidate.lexical_score > 0 + or (candidate.visual_score or 0.0) > 0 + ) + + +def _unbound_or_unmentioned( + slide_num: int, + pool: tuple[SlideCandidate, ...], + chosen: SlideCandidate | None, + unbound_reason: SlideStatusReason, + margin: float | None, + weights: AlignmentWeights, +) -> SlideAssignment: + """Слайд без уверенной привязки: галерея раздела с сильнейшим доказательством или приложение. + + Для `stronger_competitor` раздел галереи выбирается той же мерой, что и + порог (`competition_margin`, без бонуса вердикта): порог уже признал + конкурента сильнее, и бонус судьи за выбор пути не должен возвращать слайд + в раздел, которому он уступил. Для остальных причин конкурентов в пуле нет, + и сравниваются кандидаты пути с их вердиктами, как в выборе пути. + """ + strongest = strongest_candidate( + pool, + weights, + preferred=chosen, + with_verdict=unbound_reason != "stronger_competitor", + ) + if strongest is None: + return SlideAssignment( + slide_num, + "unmentioned", + None, + (), + None, + "unresolved", + 0.0, + "no_candidates", + status_reason="no_candidates", + ) + return SlideAssignment( + slide_num, + "unbound", + strongest.global_section_id, + strongest.evidence_block_ids, + # Галерея не привязана к месту речи — якоря нет. + None, + "unresolved", + candidate_score(strongest, weights), + _unbound_reason_code(strongest, chosen, margin), + status_reason=unbound_reason, + visual_contribution=_visual_contribution(strongest, weights), + ) + + +def _unbound_reason_code( + strongest: SlideCandidate, chosen: SlideCandidate | None, margin: float | None +) -> str: + """reason_code описывает сильнейшего кандидата, куда ушёл слайд. + + Margin (min из path- и competition-margin) посчитан для выбора пути, поэтому + у сильнейшего он указан, только + если это и есть выбор; иначе выбор пути и его margin записаны отдельно. + """ + if chosen is None or strongest is chosen: + return _reason_code(strongest, margin) + return ( + f"{_reason_code(strongest, None)}" + f":path_section={chosen.global_section_id}" + f":path_min_margin={'none' if margin is None else f'{margin:.3f}'}" + ) + + +def _visual_contribution(candidate: SlideCandidate, weights: AlignmentWeights) -> float | None: + """Вклад описания картинки в силу доказательства — для диагностики.""" + if candidate.visual_score is None: + return None + return candidate.visual_score * weights.visual_weight + + +def _reason_code(candidate: SlideCandidate, margin: float | None) -> str: + # margin=none — путь пропустил слайд, и margin выбора для него не считался. + return ( + f"semantic_{candidate.semantic_tier}" + f":lexical={candidate.lexical_score:.3f}" + f":visual={(candidate.visual_score or 0.0):.3f}" + f":margin={'none' if margin is None else f'{margin:.3f}'}" + ) def _solve( @@ -143,7 +367,7 @@ def _solve( for previous_section, (base_score, path) in states.items(): for option in options: section = option.global_section_id if option else previous_section - score = base_score + _candidate_score(option, weights) + score = base_score + candidate_score(option, weights) if option is not None and previous_section is not None: delta = option.global_section_id - previous_section if delta < 0: @@ -159,17 +383,29 @@ def _solve( return max(states.values(), key=lambda state: state[0]) -def _candidate_score(candidate: SlideCandidate | None, weights: AlignmentWeights) -> float: +def candidate_score( + candidate: SlideCandidate | None, + weights: AlignmentWeights, + *, + with_verdict: bool = True, +) -> float: + """Сила доказательства кандидата — единая формула пути DP и competition_margin. + + `lexical_score * lexical_weight + visual_score * visual_weight` плюс, при + `with_verdict`, бонус `semantic_tier`. Без бонуса сравниваются кандидаты, у + которых судьи не было (конкуренты из retrieval). + """ if candidate is None: return weights.unmatched_score - bonus = { - "explicit": weights.explicit_bonus, - "strong": weights.strong_bonus, - "weak": 0.0, - "none": -1.0, - }[candidate.semantic_tier] - return ( + score = ( candidate.lexical_score * weights.lexical_weight - + bonus + (candidate.visual_score or 0.0) * weights.visual_weight ) + if with_verdict: + score += { + "explicit": weights.explicit_bonus, + "strong": weights.strong_bonus, + "weak": 0.0, + "none": -1.0, + }[candidate.semantic_tier] + return score diff --git a/lecturelog/infrastructure/slides/alignment/service.py b/lecturelog/infrastructure/slides/alignment/service.py index 383fe6c..f06c336 100644 --- a/lecturelog/infrastructure/slides/alignment/service.py +++ b/lecturelog/infrastructure/slides/alignment/service.py @@ -35,7 +35,11 @@ parse_semantic_match, validate_semantic_response, ) -from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights, align_sequence +from lecturelog.infrastructure.slides.alignment.sequence import ( + AlignmentWeights, + align_sequence, + candidate_score, +) from lecturelog.infrastructure.srt import parse_srt_blocks, parse_srt_time logger = logging.getLogger(__name__) @@ -158,6 +162,7 @@ async def align( blocks, limit=self._tuning.candidate_limit, neighbor_radius=self._tuning.neighbor_radius, + weights=self._tuning.weights, ) candidates[asset.slide_num] = await self._verify( entry, @@ -203,6 +208,7 @@ async def align( "unresolved", item.score, "deck_guard_insufficient_grounded_coverage", + status_reason="deck_mismatch", ) for item in assignments ), @@ -269,7 +275,7 @@ async def _verify( if not candidates: return () if self._llm is None or not self._models or not catalog_verified: - grounded = self._lexical_ground(entry, candidates, blocks) + grounded = self._lexical_ground(entry, candidates, blocks, self._tuning.weights) return (grounded,) if grounded else () payload = { "slide": { @@ -279,6 +285,9 @@ async def _verify( "source_concepts": entry.source_concepts, "transcript_language_terms": entry.transcript_language_terms, "formulas": entry.formulas, + # Описание картинки уже оплачено каталогом: для схемы без текста + # это единственное содержание страницы, которое видит судья. + "visual_summary": entry.visual_summary, }, "candidates": [ { @@ -342,9 +351,9 @@ async def _verify( and second.global_section_id == first_verdict.global_section_id and _tier_at_least(second.semantic_tier, "strong") ): - return (self._with_competition(second, candidates),) + return (self._with_competition(second, candidates, self._tuning.weights),) return self._global_recovery(entry, sections, blocks) - return (self._with_competition(first, candidates),) + return (self._with_competition(first, candidates, self._tuning.weights),) except Exception as error: logger.warning( "semantic verification failed closed for slide %d: %s", @@ -354,12 +363,18 @@ async def _verify( return self._global_recovery(entry, sections, blocks) @staticmethod - def _lexical_ground(entry, candidates, blocks) -> SlideCandidate | None: - # Backwards-compatible, deterministic path for tests/offline operation. + def _lexical_ground( + entry, candidates, blocks, weights: AlignmentWeights + ) -> SlideCandidate | None: + """Детерминированная привязка без судьи: для офлайн-режима и тестов. + + Берёт блок раздела, текст которого подтверждает страницу, и ставит + потолок `strong`: модель совпадение не подтверждала. + """ by_id = {block.block_id: block for block in blocks} matches = [] for candidate in candidates: - if candidate.lexical_score <= 1.0: + if candidate_score(candidate, weights, with_verdict=False) <= 1.0: continue for block_id in candidate.evidence_block_ids: block = by_id[block_id] @@ -390,18 +405,23 @@ def _lexical_ground(entry, candidates, blocks) -> SlideCandidate | None: "strong", candidate.visual_score, ) - return DocumentAlignmentService._with_competition(grounded, candidates) + return DocumentAlignmentService._with_competition(grounded, candidates, weights) return None @staticmethod - def _with_competition(candidate, candidates): - alternatives = [ - item.lexical_score - for item in candidates - if item.global_section_id != candidate.global_section_id - ] - margin = candidate.lexical_score - max(alternatives) if alternatives else None - return replace(candidate, competition_margin=margin) + def _with_competition(candidate, candidates, weights: AlignmentWeights): + competitors = tuple( + item for item in candidates if item.global_section_id != candidate.global_section_id + ) + # Отрыв считается по силе совпадения с речью — лексика плюс описание + # картинки, — без бонуса вердикта: у конкурентов судьи не было. + margin = ( + candidate_score(candidate, weights, with_verdict=False) + - max(candidate_score(item, weights, with_verdict=False) for item in competitors) + if competitors + else None + ) + return replace(candidate, competition_margin=margin, competitors=competitors) def _global_recovery(self, entry, sections, blocks): recovered_pool = generate_candidates( @@ -410,8 +430,9 @@ def _global_recovery(self, entry, sections, blocks): blocks, limit=len(sections), neighbor_radius=0, + weights=self._tuning.weights, ) - recovered = self._lexical_ground(entry, recovered_pool, blocks) + recovered = self._lexical_ground(entry, recovered_pool, blocks, self._tuning.weights) if recovered is None: return () # Тот же потолок, что и у `_lexical_ground`: без участия модели вердикт @@ -435,6 +456,7 @@ def _decorate_roles(assignments, entries): "unresolved", item.score, f"service_role:{entry.role}", + status_reason="service_role", ) ) else: @@ -449,8 +471,9 @@ def _downgrade_evidence_collisions(assignments, relations): # # Связь попарная, поэтому и считается по парам: связь с одной страницей # не оправдывает коллизию с любой другой. Внутри group_id связь замкнута - # (три одинаковых страницы попадают в одну группу дублей), поэтому - # участники группы связаны друг с другом все со всеми. + # (три одинаковых страницы попадают в одну группу дублей, все шаги одной + # сборки — в группу её первого шага), поэтому участники группы связаны + # друг с другом все со всеми. groups: dict[str, set[int]] = {} for relation in relations: groups.setdefault(relation.group_id, set()).update( diff --git a/lecturelog/infrastructure/slides/alignment/transcript.py b/lecturelog/infrastructure/slides/alignment/transcript.py index 64a7449..c352057 100644 --- a/lecturelog/infrastructure/slides/alignment/transcript.py +++ b/lecturelog/infrastructure/slides/alignment/transcript.py @@ -22,8 +22,18 @@ def build_section_refs(topics: list[Topic]) -> tuple[SectionRef, ...]: def blocks_for_section( blocks: list[TranscriptBlock], section: SectionRef ) -> tuple[TranscriptBlock, ...]: + """Реплики раздела — ровно те, что получает его рендер. + + Реплика принадлежит разделу, в который попадает её середина, по полуоткрытому + интервалу [начало, конец). Так реплика никогда не достаётся двум разделам: + после `snap_sections_to_cues` границы смежные (конец подтемы = начало первой + реплики следующей), и пересечение «включительно» отдавало реплику стыка обоим + соседям — в доказательства и в запрос судье под двумя разделами. Середина + повторяет правило самой нарезки: реплика, которую граница режет, уходит к той + стороне, где её большая часть, а при равенстве — к следующей подтеме. + """ return tuple( block for block in blocks - if block.end_s >= section.start_s and block.start_s <= section.end_s + if section.start_s <= (block.start_s + block.end_s) / 2 < section.end_s ) diff --git a/lecturelog/infrastructure/srt.py b/lecturelog/infrastructure/srt.py index f4f2da3..2515d66 100644 --- a/lecturelog/infrastructure/srt.py +++ b/lecturelog/infrastructure/srt.py @@ -1,9 +1,14 @@ from __future__ import annotations +import logging import re +from bisect import bisect_left +from typing import Any from lecturelog.domain.slides import TranscriptBlock +logger = logging.getLogger(__name__) + _TIMELINE_RE = re.compile( r"(?P\d{1,2}:\d{2}:\d{2}[.,]\d{3})\s*-->\s*" r"(?P\d{1,2}:\d{2}:\d{2}[.,]\d{3})" @@ -83,9 +88,129 @@ def extract_srt_fragment(srt: str, start: str, end: str) -> str: return "\n\n".join(result) +def extract_srt_cue_range(srt: str, first: int, last: int) -> str: + """Вырезает реплики с позициями first..last включительно (с 1, в порядке начала). + + Позиция — номер в списке реплик, отсортированном по времени начала (стабильно), + как его видит нарезка подтем; номера из файла и порядок записи не важны. + В отличие от extract_srt_fragment не зависит от таймкодов: соседние реплики + с совпадающими границами не попадают сразу в два фрагмента. + """ + blocks = sorted(parse_srt_blocks(srt), key=lambda block: block.start_s) + return "\n\n".join( + f"{block.block_id}\n" + f"{format_srt_seconds(block.start_s)} --> {format_srt_seconds(block.end_s)}\n" + f"{block.text}" + for position, block in enumerate(blocks, start=1) + if first <= position <= last + ) + + def format_srt_seconds(value: float) -> str: milliseconds = round(value * 1000) hours, rest = divmod(milliseconds, 3_600_000) minutes, rest = divmod(rest, 60_000) seconds, millis = divmod(rest, 1000) return f"{hours:02d}:{minutes:02d}:{seconds:02d},{millis:03d}" + + +def snap_sections_to_cues( + topics_sections: list[list[dict[str, Any]]], srt_content: str +) -> list[tuple[int, int]] | None: + """Сдвигает начала подтем к границам реплик, чтобы реплика была ровно в одной подтеме. + + Модель режет по таймкодам и нередко попадает посреди реплики: фрагмент по + перекрытию тогда достаётся обеим соседним подтемам, и на стыке текст повторяется. + Начало каждой подтемы переносится к ближайшей границе реплики (начало реплики + или её конец = начало следующей). Реплики между двумя началами принадлежат + предыдущей подтеме, поэтому зазоры между подтемами тоже не теряются. + + Подтема, в которой после сдвига не осталось ни одной реплики (две границы + упали на одну, подтема короче реплики), удаляется вместе с заголовком: её + нечем наполнить, а рендер по пустому фрагменту выдумывает текст. Реплики + остаются у тех подтем, которым достались. + + Меняет topics_sections на месте (start/end у выживших, удаляет схлопнувшиеся) + и возвращает для каждой оставшейся подтемы в плоском порядке диапазон + номеров реплик (первая, последняя) для рендера. Без реплик в транскрипте + или если не осталось ни одной подтемы с репликами — ничего не меняет и + возвращает None (работаем по таймкодам, как раньше). + """ + + # Модель может вернуть подтемы не по порядку времени: упорядочиваем внутри темы, + # иначе монотонизация границ схлопнет подтемы и потеряет их реплики. + # Работаем с копией порядка: при возврате None исходный порядок не трогаем. + ordered = [ + sorted(sections, key=lambda section: parse_srt_time(str(section["start"]))) + for sections in topics_sections + ] + flat = [section for sections in ordered for section in sections] + blocks = sorted(parse_srt_blocks(srt_content), key=lambda block: block.start_s) + if not flat or not blocks: + return None + + starts = [block.start_s for block in blocks] + + def boundary(seconds: float) -> int: + # Индекс первой реплики подтемы: все реплики левее принадлежат предыдущей. + k = bisect_left(starts, seconds) + # Граница посреди реплики — к ближайшему краю, при равенстве вправо. + if ( + k > 0 + and blocks[k - 1].end_s > seconds + and seconds - starts[k - 1] < blocks[k - 1].end_s - seconds + ): + return k - 1 + return k + + firsts: list[int] = [] + for section in flat: + index = boundary(parse_srt_time(str(section["start"]))) + # Первая подтема забирает всё с начала транскрипта: реплика не может + # остаться вне подтем только потому, что модель начала не с неё. + firsts.append(max(index, firsts[-1]) if firsts else 0) + # Хвост после конца последней подтемы достаётся ей же, симметрично началу. + # Если подтемы целиком лежат до первой реплики, их разметка не относится к + # транскрипту — оставляем таймкоды как есть. + if bisect_left(starts, parse_srt_time(str(flat[-1]["end"]))) == 0: + return None + stop = len(blocks) + edges = [*firsts[1:], stop] + + kept = [i for i, (first, edge) in enumerate(zip(firsts, edges, strict=True)) if first < edge] + if not kept: + return None + + for sections, original in zip(ordered, topics_sections, strict=True): + original[:] = sections + + ranges: list[tuple[int, int]] = [] + kept_set = set(kept) + previous_end = 0.0 + for position, i in enumerate(kept): + section = flat[i] + covered = blocks[firsts[i] : edges[i]] + start_s = covered[0].start_s + if position + 1 < len(kept): + # Интервалы для медиа-нарезки смежные: конец = начало следующей подтемы, + # без пауз вне клипов. Текст при этом режется по репликам (cue_range). + end_s = blocks[firsts[kept[position + 1]]].start_s + else: + end_s = max(block.end_s for block in covered) + # Секции режут медиа по ЧЧ:ММ:СС: после усечения до секунд конец обязан быть + # строго позже начала (иначе пустой клип; только для подтем короче секунды + # конец заходит на соседа), а концы строго возрастают (требование v2). + end_s = max(end_s, float(int(start_s) + 1), previous_end + 0.001) + previous_end = end_s + section["start"] = format_srt_seconds(start_s) + section["end"] = format_srt_seconds(end_s) + ranges.append((firsts[i] + 1, edges[i])) + if len(kept) < len(flat): + logger.warning( + "после сдвига к границам реплик удалено подтем без реплик: %d", + len(flat) - len(kept), + ) + dropped = {id(flat[i]) for i in range(len(flat)) if i not in kept_set} + for sections in topics_sections: + sections[:] = [section for section in sections if id(section) not in dropped] + return ranges diff --git a/lecturelog/infrastructure/structurize/gemini_structurizer.py b/lecturelog/infrastructure/structurize/gemini_structurizer.py index 657d19c..b094b0c 100644 --- a/lecturelog/infrastructure/structurize/gemini_structurizer.py +++ b/lecturelog/infrastructure/structurize/gemini_structurizer.py @@ -19,18 +19,23 @@ ) from lecturelog.infrastructure.llm.llm_client import LlmClient from lecturelog.infrastructure.slides.alignment.anchoring import anchor_assignment -from lecturelog.infrastructure.slides.alignment.catalog import native_text_fallback +from lecturelog.infrastructure.slides.alignment.catalog import ( + detect_boilerplate_lines, + native_text_fallback, +) from lecturelog.infrastructure.slides.alignment.diagnostics import write_diagnostic from lecturelog.infrastructure.slides.alignment.service import ( AlignmentTuning, DocumentAlignmentService, ) from lecturelog.infrastructure.srt import ( + extract_srt_cue_range, extract_srt_fragment, format_srt_seconds, format_time, parse_srt_blocks, parse_srt_time, + snap_sections_to_cues, ) from lecturelog.infrastructure.structurize.slide_backfill import backfill_missing_slides from lecturelog.infrastructure.structurize.slide_mapping import normalize_slide_mapping @@ -115,6 +120,31 @@ def _slide_context_block(entries: list[SlideCatalogEntry]) -> str: ) +def _section_spelling_slides( + assignments: tuple[SlideAssignment, ...], + catalog: dict[int, SlideCatalogEntry], +) -> dict[int, list[int]]: + """Номера страниц колоды для справочника написаний каждого раздела. + + Справочник со всей колоды подставлял в раздел имена с чужих слайдов + («Уолли» вместо Alice, «JetBrains» вместо ЯДРО). Поэтому раздел получает + только слайды, привязанные к нему по выравниванию (и inline, и галерея + раздела — у обоих задан раздел), плюс соседние по номеру страницы (±1): + слайд с искажённым ASR термином часто не привязывается сам, но лектор + обычно показывает его рядом с привязанным. Раздел без привязанных слайдов + получает пустой справочник. + """ + bound: dict[int, set[int]] = {} + for assignment in assignments: + if assignment.global_section_id is None: + continue + pages = bound.setdefault(assignment.global_section_id, set()) + for num in (assignment.slide_num - 1, assignment.slide_num, assignment.slide_num + 1): + if num in catalog: + pages.add(num) + return {section_id: sorted(pages) for section_id, pages in bound.items()} + + async def _emit_progress(on_progress: ProgressCallback | None, value: int) -> None: if on_progress is None: return @@ -278,16 +308,22 @@ async def _render_section( semaphore: asyncio.Semaphore, slide_context: str = "", on_usage: UsageCallback | None = None, + cue_range: tuple[int, int] | None = None, ) -> tuple[int, Section]: title = str(section_data["title"]) start = str(section_data["start"]) end = str(section_data["end"]) - fragment = extract_srt_fragment(srt_content, start, end) + if cue_range is not None: + fragment = extract_srt_cue_range(srt_content, *cue_range) + else: + fragment = extract_srt_fragment(srt_content, start, end) prompt = section_prompt_template.format(title=title, start=start, end=end) + prompt = f"{prompt}\n{fragment}" + # Справочник идёт после SRT: шаблон кончается заголовком транскрипта, и + # блок между ним и репликами модель прочла бы как речь лектора. if slide_context: prompt = f"{prompt}\n{slide_context}" - prompt = f"{prompt}\n{fragment}" related_images = [ slide_bytes[idx - 1] for idx in slide_indices if 1 <= idx <= len(slide_bytes) @@ -381,6 +417,7 @@ async def structurize( topics_sections: list[list[dict[str, Any]]] = [sections for _, sections in subsplit_results] _repair_section_timeline(topics_sections, srt_content) + cue_ranges = snap_sections_to_cues(topics_sections, srt_content) v2_assignments: tuple[SlideAssignment, ...] = () v2_catalog: dict[int, SlideCatalogEntry] = {} @@ -411,6 +448,7 @@ async def structurize( "unresolved", 0.0, "alignment_error", + status_reason="alignment_failed", ) for asset in slide_assets ) @@ -486,10 +524,7 @@ async def structurize( section_prompt_template = self._read_prompt("section_v1.md") render_sem = asyncio.Semaphore(self._concurrency_render) - # Написания берём со всей колоды, а не только с привязанных слайдов: - # слайд теряется как раз тогда, когда ASR исказил его термин, и без него - # подсказка не дойдёт именно туда, где нужна (ENIAC → «Мониак»). - slide_context = _slide_context_block([v2_catalog[num] for num in sorted(v2_catalog)]) + section_spelling_slides = _section_spelling_slides(v2_assignments, v2_catalog) render_tasks = [] global_idx = 0 @@ -510,9 +545,15 @@ async def structurize( slide_bytes=slide_bytes if self._document_alignment_mode != "v2" else [], - slide_context=slide_context, + slide_context=_slide_context_block( + [ + v2_catalog[num] + for num in section_spelling_slides.get(global_idx, ()) + ] + ), semaphore=render_sem, on_usage=on_usage, + cue_range=cue_ranges[global_idx] if cue_ranges else None, ) ) ) @@ -539,6 +580,10 @@ async def structurize( topic_sections.append(section) topic_slide_idxs.extend(section.slide_indices) + if not topic_sections: + # Все подтемы схлопнулись при сдвиге к границам реплик. + continue + seen: set[int] = set() unique_slides: list[int] = [] for s in topic_slide_idxs: @@ -566,7 +611,12 @@ async def structurize( if self._document_alignment_mode == "v2": placements: list[SlidePlacement] = [] assets_by_num = {asset.slide_num: asset for asset in slide_assets} + # Колонтитулы колоды не различают слайды — как и в каталоге выравнивания. + boilerplate = detect_boilerplate_lines(slide_assets) flat_sections = [section for topic in result for section in topic.sections] + # Реплики-доказательства указывают, какой абзац раздела пересказывает + # момент показа слайда; номера — те же, что дал выравниванию parse_srt_blocks. + cue_text = {block.block_id: block.text for block in parse_srt_blocks(srt_content)} for assignment in v2_assignments: if assignment.match_status == "duplicate": placements.append( @@ -579,7 +629,9 @@ async def structurize( ) ) continue - entry_result = native_text_fallback(assets_by_num[assignment.slide_num]) + entry_result = native_text_fallback( + assets_by_num[assignment.slide_num], boilerplate=boilerplate + ) if assignment.global_section_id is not None and assignment.global_section_id < len( flat_sections ): @@ -588,6 +640,9 @@ async def structurize( assignment, entry_result.entry, section.content, + evidence_text=" ".join( + cue_text.get(block_id, "") for block_id in assignment.evidence_block_ids + ), ) else: placement = SlidePlacement( @@ -643,6 +698,7 @@ async def structurize( "unresolved", 0.0, "legacy_unassigned", + status_reason="legacy_mode", ) ) placements.append( diff --git a/prompts/document_slide_anchor_v1.md b/prompts/document_slide_anchor_v1.md deleted file mode 100644 index 9780aa4..0000000 --- a/prompts/document_slide_anchor_v1.md +++ /dev/null @@ -1,6 +0,0 @@ -Выбери безопасную границу Markdown-блоков для слайда по evidence. - -Не выбирай позицию внутри fenced code, списка или callout. Верни только JSON: -`{"slide_num": N, "block_index": I, "side": "before|after"}`. Если точного -семантического блока нет, не выдумывай anchor. - diff --git a/prompts/section_v1.md b/prompts/section_v1.md index 2b1065b..83c23f7 100644 --- a/prompts/section_v1.md +++ b/prompts/section_v1.md @@ -19,11 +19,16 @@ 5. Диалоги со студентами: если вопрос/ответ содержит важную информацию — включи как обычный текст 6. Болтовню, оффтопик и отступления от темы НЕ пропускай, а оборачивай -в Obsidian callout. Формат строго: +в Obsidian callout. Первая строка callout — ровно `> [!tangent]- Отступление от темы`, +каждая следующая строка callout начинается с `> `, после callout — пустая строка. +Пример (только содержимое отступления, никаких пояснений к разметке): > [!tangent]- Отступление от темы -> Текст болтовни/оффтопа здесь. -> Каждая строка начинается с "> ". +> <пересказ отступления> + +Внутри callout — только пересказ того, что сказано в аудитории. Не пиши служебных +пометок о разметке («Каждая строка начинается с…», «Закрывается callout», «Конец +отступления») и собственных выводов, которых не было в речи. Примеры того, что считается отступлением: - Лектор рассказывает личную историю, не связанную с темой @@ -74,6 +79,13 @@ - Если сомневаешься — [возможная ошибка распознавания: ...] - НЕ меняй авторские обороты и сленг лектора - При наличии слайдов — сверяй термины с текстом на слайдах +- Имя или название из справочника написаний подставляй вместо распознанного + слова только при фонетическом сходстве: распознанное звучит почти так же + («Мониак» → ENIAC, «Диэкстра» → Дейкстра). Если по звучанию не похоже — + оставь распознанное слово как есть, даже если имя из справочника подходит + по смыслу: справочник подсказывает написание, а не то, о ком или о чём + говорил лектор. Если сходство сомнительное — оставь распознанное и пометь + [возможная ошибка распознавания: ...] ## Формат выхода diff --git a/tests/unit/slides/test_alignment_service.py b/tests/unit/slides/test_alignment_service.py index 39f93fc..27afe65 100644 --- a/tests/unit/slides/test_alignment_service.py +++ b/tests/unit/slides/test_alignment_service.py @@ -111,6 +111,7 @@ async def test_deck_guard_marks_unrelated_deck(tmp_path): ).assignments assert result[0].match_status == "deck_mismatch" assert result[0].reason_code.startswith("deck_guard") + assert result[0].status_reason == "deck_mismatch" @pytest.mark.asyncio diff --git a/tests/unit/slides/test_alignment_stage1_final_edge_cases.py b/tests/unit/slides/test_alignment_stage1_final_edge_cases.py new file mode 100644 index 0000000..330d338 --- /dev/null +++ b/tests/unit/slides/test_alignment_stage1_final_edge_cases.py @@ -0,0 +1,852 @@ +# ruff: noqa: E501, F811 — длинные имена тестов +"""Финальная охота на краевые случаи этапа 1 (после калибровки min_margin=-2.5, visual_weight=2.25). + +Здесь только тихие отказы: слайд встаёт в правдоподобное, но неверное место, +уверенность завышена или причина статуса не совпадает с тем, что произошло. +Порядок: (1) стыки стадий (подтемы <-> доказательства, связи страниц <-> коллизии), +(2) порог и калибровка, (3) маршрут непривязанного, (4) контракты глоссария, +(5) данные и отказы. +""" + +import json +import random +import re +from pathlib import Path +from typing import get_args, get_type_hints + +import pytest + +from lecturelog.domain.slides import ( + SectionRef, + SlideAsset, + SlideAssignment, + SlideCandidate, + SlideCatalogEntry, + SlideRelation, + SlideStatusReason, +) +from lecturelog.infrastructure.slides.alignment.anchoring import anchor_assignment +from lecturelog.infrastructure.slides.alignment.catalog import ( + detect_boilerplate_lines, + detect_progressive_builds, +) +from lecturelog.infrastructure.slides.alignment.confidence import calibrate +from lecturelog.infrastructure.slides.alignment.retrieval import generate_candidates +from lecturelog.infrastructure.slides.alignment.sequence import ( + AlignmentWeights, + align_sequence, +) +from lecturelog.infrastructure.slides.alignment.service import ( + AlignmentTuning, + DocumentAlignmentService, +) +from lecturelog.infrastructure.slides.alignment.transcript import blocks_for_section +from lecturelog.infrastructure.srt import parse_srt_blocks, snap_sections_to_cues +from tests.unit.slides.test_unbound_slides import ( + ScriptedLlm, + _assets, + _catalog_response, + _prompts, + _semantic, +) + +W = AlignmentWeights() +_GLOSSARY = Path(__file__).resolve().parents[3] / "GLOSSARY.md" + + +# ── общие помощники ────────────────────────────────────────────────── + + +def _cue_srt(*texts: str, step: int = 10) -> str: + """Реплики подряд без пауз: конец каждой равен началу следующей.""" + return "".join( + f"{i}\n00:{(i - 1) * step // 60:02d}:{(i - 1) * step % 60:02d},000 --> " + f"00:{i * step // 60:02d}:{i * step % 60:02d},000\n{text}\n\n" + for i, text in enumerate(texts, start=1) + ) + + +def _snapped(srt: str, *sections: tuple[str, str, str]): + """Раскладка подтем так, как её отдаёт структуризатор алайнменту: после сдвига к репликам.""" + layout = [[{"title": t, "start": s, "end": e} for t, s, e in sections]] + ranges = snap_sections_to_cues(layout, srt) + return layout, ranges + + +def _text_asset(tmp_path: Path, num: int, text: str) -> SlideAsset: + image = tmp_path / f"text-slide{num}.png" + image.write_bytes(b"\x89PNG\r\n\x1a\n" + f"text-{num}".encode()) + return SlideAsset(num, image, "document", extracted_text=text, native_text_quality="good") + + +def _cand( + slide: int, + section: int, + lexical: float, + tier: str = "explicit", + *, + cm: float | None = None, + comps: tuple[SlideCandidate, ...] = (), + visual: float | None = None, + quote: str | None = "цитата", + confirmed: bool = True, +) -> SlideCandidate: + return SlideCandidate( + slide, + section, + (section + 1,), + quote, + section * 10.0, + section * 10.0 + 5, + lexical, + tier, # type: ignore[arg-type] + visual_score=visual, + competition_margin=cm, + competitors=comps, + model_confirmed=confirmed, + ) + + +def _rival(slide: int, section: int, lexical: float, visual: float | None = None) -> SlideCandidate: + return _cand(slide, section, lexical, "none", visual=visual, quote=None, confirmed=False) + + +def _margin_of(reason_code: str) -> float | None: + match = re.search(r":margin=(-?\d+\.\d+|none)", reason_code) + assert match, reason_code + return None if match.group(1) == "none" else float(match.group(1)) + + +# ═════════════════════════════════════════════════════════════════════ +# 1. Стыки стадий +# ═════════════════════════════════════════════════════════════════════ + +# Пара «нарезка подтем» <-> «доказательства слайда». Нарезка (srt.snap_sections_to_cues) +# делает границы подтем смежными: конец подтемы = начало следующей, и каждая реплика +# принадлежит ровно одной подтеме — рендер получает текст по номерам реплик +# (extract_srt_cue_range). Поиск кандидатов берёт реплики раздела по включительному +# пересечению времени, и реплики у границы попадают в обе подтемы. + +_BOUNDARY_TEXTS = ( + "Сегодня говорим про организацию курса.", + "Пауза пауза пауза пауза пауза пауза пауза пауза пауза.", + "Бинарное дерево поиска хранит ключи упорядоченно.", + "Дальше разбор сортировки пузырьком и вставками, сравниваем соседние элементы массива " + "и меняем их местами при необходимости. Ещё долго рассказываем про сортировки.", +) +_BOUNDARY_SECTIONS = (("A", "0:00", "0:19"), ("B", "0:21", "0:40")) + + +def test_доказательства_раздела_это_ровно_те_реплики_которые_рендер_получает_для_этого_раздела_потому_что_граница_подтем_принадлежит_одной_стороне(): + """Реплика у стыка подтем попадает в доказательства обоих соседей. + + Что тихо ломается: слайд про реплику из подтемы B получает кандидата-конкурента A с тем же + доказательством (A короче, BM25 даёт ей больше), margin выбора уходит в минус и верный + verified падает до probable, а при длинных запросах — ниже -2.5 и слайд теряет абзац. + Судья видит одну и ту же реплику под двумя разделами; якорь `discussed` в A не находит + своей реплики в отрендеренном тексте A и падает в галерею. + """ + srt = _cue_srt(*_BOUNDARY_TEXTS) + layout, ranges = _snapped(srt, *_BOUNDARY_SECTIONS) + blocks = parse_srt_blocks(srt) + refs = DocumentAlignmentService._section_refs(layout, blocks) + + assert ranges is not None + for ref, (first, last) in zip(refs, ranges, strict=True): + evidence_ids = {block.block_id for block in blocks_for_section(blocks, ref)} + rendered_ids = set(range(first, last + 1)) + assert evidence_ids == rendered_ids, ( + f"раздел {ref.global_section_id}: доказательства {sorted(evidence_ids)}, " + f"рендер получает реплики {sorted(rendered_ids)}" + ) + + +def test_реплики_двух_разных_подтем_без_стыка_не_пересекаются_в_доказательствах_контроль(): + """Контроль: при паузе между подтемами пересечения нет — тест выше красный именно из-за стыка.""" + srt = "1\n00:00:00,000 --> 00:00:04,000\nпервая\n\n2\n00:00:10,000 --> 00:00:14,000\nвторая\n" + blocks = parse_srt_blocks(srt) + first = SectionRef(0, 0, 0, 0.0, 5.0) + second = SectionRef(1, 0, 1, 9.0, 15.0) + assert [b.block_id for b in blocks_for_section(blocks, first)] == [1] + assert [b.block_id for b in blocks_for_section(blocks, second)] == [2] + + +@pytest.mark.asyncio +async def test_судья_видит_реплику_стыка_под_одним_разделом_а_не_под_двумя_потому_что_иначе_соседний_раздел_становится_конкурентом_с_тем_же_доказательством( + tmp_path, +): + srt = _cue_srt(*_BOUNDARY_TEXTS) + layout, _ = _snapped(srt, *_BOUNDARY_SECTIONS) + organisation = { + "slide_num": 1, + "title": "Организация курса", + "visible_text": "Сегодня говорим про организацию курса", + } + tree = { + "slide_num": 2, + "title": "Бинарное дерево поиска", + "visible_text": "Бинарное дерево поиска\nключи упорядочены", + "source_concepts": ["бинарное дерево поиска"], + } + llm = ScriptedLlm( + [ + _catalog_response(organisation, tree), + _semantic(1, 0, [1], "Сегодня говорим про организацию курса.", "explicit"), + _semantic(2, 1, [3], "Бинарное дерево поиска хранит ключи упорядоченно.", "explicit"), + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=layout, srt_content=srt + ) + + payload = json.loads(llm.calls[-1]["prompt"].split("\n", 1)[1]) + owners: dict[int, list[int]] = {} + for candidate in payload["candidates"]: + for block in candidate["evidence_blocks"]: + owners.setdefault(block["block_id"], []).append(candidate["global_section_id"]) + shared = {block_id: sections for block_id, sections in owners.items() if len(sections) > 1} + assert not shared, f"реплики под несколькими разделами в запросе судье: {shared}" + margin = _margin_of(result.assignments[1].reason_code) + assert margin is not None and margin > 0, result.assignments[1].reason_code + + +@pytest.mark.asyncio +async def test_слайд_про_первую_реплику_подтемы_привязывается_к_этой_подтеме_а_не_к_предыдущей_потому_что_реплика_стыка_принадлежит_следующей( + tmp_path, +): + """Без модели (лексический путь): стык подтем не должен отдавать реплику предыдущему разделу. + + Что тихо ломается: слайд «Сортировка пузырьком» встаёт в галерею/абзац раздела про организацию + курса — правдоподобно по виду (probable, inline не находит блока), а на деле чужой раздел. + """ + srt = _cue_srt( + "Сегодня говорим про организацию курса и расписание занятий.", + "Сортировка пузырьком сравнивает соседние элементы массива.", + "Дальше меняем элементы местами при необходимости и повторяем проход.", + ) + layout, _ = _snapped(srt, ("A", "0:00", "0:09"), ("B", "0:10", "0:29")) + assets = [ + _text_asset(tmp_path, 1, "Организация курса\nСегодня говорим про организацию курса"), + _text_asset(tmp_path, 2, "Сортировка пузырьком\nсравнивает соседние элементы массива"), + ] + result = await DocumentAlignmentService().align( + assets=assets, section_layout=layout, srt_content=srt + ) + sorting = result.assignments[1] + assert (sorting.match_status, sorting.global_section_id) == ("discussed", 1) + assert sorting.evidence_block_ids == (2,) + + +# Пара «обнаружение связей страниц» <-> «защита от коллизий доказательств». + + +def test_цепочка_из_трёх_шагов_сборки_на_одной_реплике_остаётся_verified_у_всех_потому_что_это_одна_страница_в_трёх_видах( + tmp_path, +): + """Группа связи у progressive build — «предыдущий шаг», поэтому цепочка 3->4->5 не замкнута. + + Что тихо ломается: у шагов сборки на одной реплике крайние слайды (3 и 5) понижаются до + probable, средний (4) остаётся verified; anchoring потом ставит средний inline без проверки + специфичности, а крайние уходят в галерею. Одна и та же страница разъезжается по разным местам. + """ + assets = [ + _text_asset( + tmp_path, 3, "Бинарное дерево поиска\nключи слева меньше корня\nключи справа больше" + ), + _text_asset( + tmp_path, + 4, + "Бинарное дерево поиска\nключи слева меньше корня\nключи справа больше\nобход дерева", + ), + _text_asset( + tmp_path, + 5, + "Бинарное дерево поиска\nключи слева меньше корня\nключи справа больше\nобход дерева\nбалансировка", + ), + ] + relations = detect_progressive_builds(assets) + assert {r.slide_num for r in relations} == {4, 5}, "предпосылка: обе пары распознаны как сборка" + assignments = tuple( + SlideAssignment(n, "discussed", 1, (7,), 10.0, "verified", 9.0, "semantic_explicit") + for n in (3, 4, 5) + ) + + result = DocumentAlignmentService._downgrade_evidence_collisions(assignments, relations) + + assert {item.slide_num: item.assignment_confidence for item in result} == { + 3: "verified", + 4: "verified", + 5: "verified", + } + + +def test_страницы_у_которых_общий_только_колонтитул_не_считаются_шагами_сборки_потому_что_иначе_коллизия_доказательств_между_ними_прощается( + tmp_path, +): + """Колонтитул курса на каждой странице + короткое разное тело: containment по сырым токенам ≥ 0.72. + + Что тихо ломается: два слайда про РАЗНЫЕ темы, попавшие на одну реплику, считаются «одной + страницей в двух видах» — защита от коллизий их не понижает, оба остаются verified, и в конспект + встают inline две картинки на один абзац, одна из которых точно не про него. + """ + footer = "Алгоритмы и структуры данных 2026 кафедра информатики" + assets = [ + _text_asset(tmp_path, 1, f"Деревья\n{footer}"), + _text_asset(tmp_path, 2, f"Графы обход\n{footer}"), + _text_asset(tmp_path, 3, f"Сортировки быстрые медленные\n{footer}"), + ] + assert detect_boilerplate_lines(assets) == {footer}, "предпосылка: колонтитул распознан" + relations = detect_progressive_builds(assets) + assignments = tuple( + SlideAssignment(n, "discussed", 1, (7,), 10.0, "verified", 9.0, "semantic_explicit") + for n in (1, 2) + ) + + result = DocumentAlignmentService._downgrade_evidence_collisions(assignments, relations) + + assert [item.assignment_confidence for item in result] == ["probable", "probable"] + + +# ═════════════════════════════════════════════════════════════════════ +# 2. Порог −2.5 × путь × конкуренты × визуальная оценка +# ═════════════════════════════════════════════════════════════════════ + + +def _skip_scenario(cm: float): + """Слайд 2 пропущен путём (возврат на три раздела дороже его выгоды), margin конкурента — cm.""" + return align_sequence( + [1, 2], + { + 1: (_cand(1, 5, 9.0, cm=3.0),), + 2: (_cand(2, 0, 0.0, "strong", cm=cm, comps=(_rival(2, 3, 3.0 - cm),)),), + }, + )[1] + + +def test_пропущенный_путём_слайд_на_пороге_margin_остаётся_конфликтом_порядка_потому_что_сравнение_строгое_и_в_ветке_пропуска(): + """Ветка пропуска сравнивает порог отдельно от calibrate: `<=` там превратил бы -2.5 в -2.49 без следа.""" + item = _skip_scenario(W.min_margin) + assert (item.match_status, item.status_reason) == ("unbound", "deck_order_conflict") + + +def test_пропущенный_путём_слайд_чуть_ниже_порога_получает_причину_конкурента(): + item = _skip_scenario(W.min_margin - 0.001) + assert (item.match_status, item.status_reason) == ("unbound", "stronger_competitor") + + +def test_малая_выгода_пути_не_даёт_verified_даже_при_сильном_отрыве_от_конкурента_потому_что_margin_это_минимум_из_двух(): + """Слайд 2 explicit без лексики, возврат на 2 раздела стоит 3.0: выгода пути 1.0 < 1.5.""" + result = align_sequence( + [1, 2], + { + 1: (_cand(1, 2, 9.0, cm=3.0),), + 2: (_cand(2, 0, 0.0, "explicit", cm=5.0, comps=(_rival(2, 4, 0.0),)),), + }, + ) + assert result[1].match_status == "discussed" + assert result[1].assignment_confidence == "probable" + assert _margin_of(result[1].reason_code) == pytest.approx(1.0) + + +def test_visual_один_и_margin_ниже_порога_не_спасают_verified_потому_что_порог_проверяется_раньше_визуальной_ветки(): + item = align_sequence( + [1], + {1: (_cand(1, 1, 3.0, "strong", cm=-2.6, visual=1.0, comps=(_rival(1, 2, 5.6),)),)}, + )[0] + assert (item.match_status, item.status_reason) == ("unbound", "stronger_competitor") + assert item.assignment_confidence == "unresolved" + + +@pytest.mark.parametrize( + ("visual", "margin", "expected"), + [ + (0.85, 1.0, "verified"), + (0.8499, 1.0, "probable"), + (0.85, 0.9999, "probable"), + (None, 5.0, "probable"), + (0.0, 5.0, "probable"), + (1.0, 1.0, "verified"), + ], +) +def test_визуальная_ветка_verified_включительна_по_обеим_границам_и_none_не_равно_полной_оценке( + visual, margin, expected +): + """strong + подтверждение судьи: verified только при visual ≥ 0.85 и margin ≥ 1.0.""" + result = calibrate( + semantic_tier="strong", + margin=margin, + has_grounded_evidence=True, + has_competing_context=True, + visual_score=visual, + min_margin=W.min_margin, + model_confirmed=True, + ) + assert result.confidence == expected + + +def test_visual_score_ноль_и_none_дают_одинаковую_силу_но_разный_вклад_в_диагностике(): + """None — «описания нет», 0.0 — «описание есть, в речи не нашлось»: диагностика должна их различать.""" + without = align_sequence([1], {1: (_cand(1, 1, 3.0, visual=None),)})[0] + zero = align_sequence([1], {1: (_cand(1, 1, 3.0, visual=0.0),)})[0] + assert without.score == zero.score + assert without.visual_contribution is None + assert zero.visual_contribution == 0.0 + + +def test_визуальная_добавка_конкурента_одна_не_переводит_в_stronger_competitor_при_нулевой_лексике(): + """Инвариант владельца: visual_weight < |min_margin|. Слайд-схема без текста, конкурент с полным визуальным совпадением.""" + own = _cand(1, 1, 0.0, cm=-W.visual_weight, visual=0.0, comps=(_rival(1, 2, 0.0, visual=1.0),)) + item = align_sequence([1], {1: (own,)})[0] + assert item.match_status == "discussed" + + +def test_конкурент_без_доказательства_не_меняет_уверенность_выбора_с_положительным_margin(): + """Конкурент со слабой силой — не повод понижать: margin остаётся положительным и verified сохраняется.""" + own = _cand(1, 1, 3.0, cm=3.0 - 0.2, comps=(_rival(1, 4, 0.2),)) + item = align_sequence([1], {1: (own,)})[0] + assert (item.match_status, item.assignment_confidence) == ("discussed", "verified") + + +def test_прогрессивная_сборка_с_выбором_в_том_же_разделе_получает_бонус_но_не_обходит_порог(): + """Бонус сборки двигает путь, но margin слайда с конкурентом ниже порога остаётся решающим.""" + relation = SlideRelation(2, "progressive_build", "g", 1) + result = align_sequence( + [1, 2], + { + 1: (_cand(1, 1, 3.0, cm=3.0),), + 2: (_cand(2, 1, 3.0, cm=-2.51, comps=(_rival(2, 4, 5.51),)),), + }, + (relation,), + ) + assert result[0].match_status == "discussed" + assert result[1].status_reason == "stronger_competitor" + + +# ═════════════════════════════════════════════════════════════════════ +# 3. Маршрут непривязанного: что видит потребитель +# ═════════════════════════════════════════════════════════════════════ + + +@pytest.mark.parametrize( + "scenario", + ["weak_evidence", "deck_order_conflict", "stronger_competitor"], +) +def test_каждая_причина_непривязанного_ведёт_в_галерею_раздела_с_той_же_причиной_в_размещении( + scenario, +): + """Потребитель (anchoring) получает причину только через fallback_reason: расхождение с status_reason слепит диагностику.""" + if scenario == "weak_evidence": + item = align_sequence([1], {1: (_cand(1, 1, 3.0, "strong", quote=None, cm=-0.5),)})[0] + elif scenario == "deck_order_conflict": + item = _skip_scenario(-1.0) + else: + item = align_sequence([1], {1: (_cand(1, 1, 3.0, cm=-9.0, comps=(_rival(1, 4, 12.0),)),)})[ + 0 + ] + assert item.status_reason == scenario + markdown = "Абзац один.\n\nАбзац два." + new_markdown, placement = anchor_assignment(item, None, markdown) + assert new_markdown == markdown + assert (placement.output_kind, placement.global_section_id) == ( + "section_gallery", + item.global_section_id, + ) + assert placement.fallback_reason == f"unbound:{scenario}" + + +def test_unbound_из_ветки_конкурента_несёт_доказательство_того_раздела_куда_ушёл(): + """evidence_block_ids и global_section_id одного кандидата: иначе диагностика указывает на реплику чужого раздела.""" + item = align_sequence([1], {1: (_cand(1, 1, 2.0, cm=-18.0, comps=(_rival(1, 4, 20.0),)),)})[0] + assert (item.global_section_id, item.evidence_block_ids) == (4, (5,)) + + +# ═════════════════════════════════════════════════════════════════════ +# 4. Контракты: глоссарий <-> код +# ═════════════════════════════════════════════════════════════════════ + + +def _glossary_reasons() -> dict[str, str]: + text = _GLOSSARY.read_text(encoding="utf-8") + block = text.split("**Причина статуса**", 1)[1].split("\n\n**", 1)[0] + return dict(re.findall(r"^- `(\w+)` \(`(\w+)`\)", block, flags=re.MULTILINE)) + + +def test_причины_статуса_в_глоссарии_и_в_коде_совпадают_как_множества_и_по_статусу(): + """Глоссарий — единственное описание причин для человека, читающего диагностику.""" + reasons = _glossary_reasons() + assert set(reasons) == set(get_args(SlideStatusReason)) + statuses = set(get_args(get_type_hints(SlideAssignment)["match_status"])) + assert set(reasons.values()) <= statuses + + +def test_инварианты_исходов_на_случайных_входах_со_связями_и_конкурентами_согласованы_с_глоссарием(): + """Статус, причина, уверенность, раздел, якорь и reason_code не противоречат друг другу.""" + glossary = _glossary_reasons() + rng = random.Random(2026) + for _ in range(500): + n = rng.randint(1, 7) + candidates: dict[int, tuple[SlideCandidate, ...]] = {} + for slide in range(1, n + 1): + rivals = tuple( + _rival( + slide, + rng.randint(0, 7), + rng.choice([0.0, 1.0, 4.0, 9.0, 20.0]), + visual=rng.choice([None, 0.0, 0.5, 1.0]), + ) + for _ in range(rng.randint(0, 3)) + ) + candidates[slide] = tuple( + _cand( + slide, + rng.randint(0, 7), + rng.choice([0.0, 1.0, 3.0, 8.0]), + rng.choice(["explicit", "strong", "weak"]), + cm=rng.choice([None, 4.0, 1.4, 1.5, 0.0, -2.0, -2.5, -2.51, -9.0]), + comps=rivals, + visual=rng.choice([None, 0.0, 0.9, 1.0]), + quote=rng.choice([None, "q"]), + confirmed=rng.choice([True, False]), + ) + for _ in range(rng.randint(0, 2)) + ) + relations = tuple( + SlideRelation( + s, + rng.choice(["exact_duplicate", "progressive_build"]), + f"g{s}", + s - 1, + ) + for s in range(2, n + 1) + if rng.random() < 0.3 + ) + for item in align_sequence(list(range(1, n + 1)), candidates, relations): + if item.match_status == "discussed": + assert item.status_reason is None + assert item.assignment_confidence in {"probable", "verified"} + assert item.global_section_id is not None and item.anchor_s is not None + margin = _margin_of(item.reason_code) + assert margin is None or margin >= W.min_margin + if item.assignment_confidence == "verified": + assert margin is not None and margin >= 1.0 + elif item.match_status == "unbound": + assert glossary[item.status_reason or ""] == "unbound" + assert item.assignment_confidence == "unresolved" + assert item.global_section_id is not None and item.anchor_s is None + assert item.reason_code.startswith("semantic_") + elif item.match_status == "unmentioned": + assert glossary[item.status_reason or ""] == "unmentioned" + assert item.reason_code == item.status_reason + assert item.global_section_id is None and item.evidence_block_ids == () + else: + assert item.match_status == "duplicate" + assert item.status_reason is None and item.global_section_id is None + assert item.reason_code.startswith("duplicate_of:") + + +# ═════════════════════════════════════════════════════════════════════ +# 5. Данные и отказы +# ═════════════════════════════════════════════════════════════════════ + + +def test_эмодзи_rtl_и_длинное_описание_не_роняют_поиск_кандидатов_и_дают_конечные_оценки(): + sections = (SectionRef(0, 0, 0, 0.0, 10.0), SectionRef(1, 0, 1, 10.0, 20.0)) + blocks = parse_srt_blocks( + "1\n00:00:00,000 --> 00:00:09,000\nсервер 🙂 клиент базу данных запрос\n\n" + "2\n00:00:10,000 --> 00:00:19,000\nשלום עולם сортировка массива\n" + ) + entry = SlideCatalogEntry( + 1, + "content", + "🙂🙂🙂 שלום", + "ключ" * 2500, + visual_summary="клиент отправляет запрос серверу " * 300 + "שלום 🙂", + ) + candidates = generate_candidates(entry, sections, blocks, weights=W) + assert candidates + for candidate in candidates: + assert candidate.lexical_score == candidate.lexical_score # не NaN + assert candidate.visual_score is not None and 0.0 <= candidate.visual_score <= 1.0 + + +@pytest.mark.asyncio +async def test_отказ_судьи_на_одном_слайде_не_меняет_результат_соседнего_потому_что_пакет_падает_по_элементам( + tmp_path, +): + srt = _cue_srt( + "Сегодня говорим про организацию курса.", + "Пауза.", + "Бинарное дерево поиска хранит ключи упорядоченно.", + "Пауза.", + ) + layout = [ + [ + {"title": "A", "start": "00:00:00,000", "end": "00:00:19,000"}, + {"title": "B", "start": "00:00:20,000", "end": "00:00:40,000"}, + ] + ] + organisation = { + "slide_num": 1, + "title": "Организация курса", + "visible_text": "Сегодня говорим про организацию курса", + } + tree = { + "slide_num": 2, + "title": "Бинарное дерево поиска", + "visible_text": "Бинарное дерево поиска", + "source_concepts": ["бинарное дерево поиска"], + } + + class FailingJudge(ScriptedLlm): + async def call(self, **kwargs): + self.calls.append(kwargs) + if len(self.calls) == 3: + raise TimeoutError("судья не ответил") + return self.responses.pop(0) + + verdict = _semantic(1, 0, [1], "Сегодня говорим про организацию курса.", "explicit") + tree_verdict = _semantic( + 2, 1, [3], "Бинарное дерево поиска хранит ключи упорядоченно.", "explicit" + ) + prompts = _prompts(tmp_path) + baseline = await DocumentAlignmentService( + llm=ScriptedLlm([_catalog_response(organisation, tree), verdict, tree_verdict]), + models=["m"], + prompts_dir=prompts, + ).align(assets=_assets(tmp_path, 2), section_layout=layout, srt_content=srt) + failing = await DocumentAlignmentService( + llm=FailingJudge([_catalog_response(organisation, tree), verdict]), + models=["m"], + prompts_dir=prompts, + ).align(assets=_assets(tmp_path, 2), section_layout=layout, srt_content=srt) + + assert failing.assignments[0] == baseline.assignments[0] + assert failing.assignments[1].match_status in {"discussed", "unbound", "unmentioned"} + assert failing.assignments[1].assignment_confidence != "verified" + + +@pytest.mark.asyncio +async def test_повторный_прогон_с_теми_же_ответами_модели_даёт_тот_же_результат_до_бита(tmp_path): + srt = _cue_srt("Сегодня говорим про организацию курса.", "Бинарное дерево поиска и ключи.") + layout = [[{"title": "A", "start": "00:00:00,000", "end": "00:00:20,000"}]] + slide = { + "slide_num": 1, + "title": "Организация курса", + "visible_text": "Сегодня говорим про организацию курса", + } + outcomes = [] + prompts = _prompts(tmp_path) + for _ in range(2): + llm = ScriptedLlm( + [ + _catalog_response(slide), + _semantic(1, 0, [1], "Сегодня говорим про организацию курса.", "explicit"), + ] + ) + service = DocumentAlignmentService( + llm=llm, models=["m"], prompts_dir=prompts, tuning=AlignmentTuning() + ) + result = await service.align( + assets=_assets(tmp_path, 1), section_layout=layout, srt_content=srt + ) + outcomes.append(result.assignments) + assert outcomes[0] == outcomes[1] + + +# ═════════════════════════════════════════════════════════════════════ +# 6. Судья: вердикт без доказательств, порядок id, контракт вызова +# ═════════════════════════════════════════════════════════════════════ + +_JUDGE_SRT = ( + "1\n00:00:00,000 --> 00:00:10,000\nСегодня говорим про организацию курса.\n\n" + "2\n00:00:10,000 --> 00:00:20,000\nРазбираем сортировку пузырьком.\n" +) +_JUDGE_LAYOUT = [ + [ + {"title": "A", "start": "00:00:00,000", "end": "00:00:10,000"}, + {"title": "B", "start": "00:00:11,000", "end": "00:00:20,000"}, + ] +] +_ORGANISATION = { + "slide_num": 1, + "title": "Организация курса", + "visible_text": "Сегодня говорим про организацию курса", +} +_ORGANISATION_VERDICT = _semantic(1, 0, [1], "Сегодня говорим про организацию курса.", "explicit") + + +@pytest.mark.asyncio +async def test_дважды_повторённый_strong_без_цитат_и_без_лексики_не_кладёт_слайд_в_галерею_раздела_потому_что_непривязанный_это_слайд_с_доказательством( + tmp_path, +): + """Слайд про квантовую запутанность в лекции про сортировку: судья дважды ответил strong без блоков. + + GLOSSARY: непривязанный — «слайд с кандидатом и доказательством». Здесь доказательств ноль: + evidence_block_ids пуст, цитаты нет, lexical_score 0.000; единственное, что держит слайд, — + бонус самого вердикта (+2). Что тихо ломается: недискутировавшийся слайд встаёт в галерею + раздела вместо приложения; deck guard и диагностика видят «weak_evidence», а не галлюцинацию. + Вторая «независимая» проверка при temperature=0 на том же промпте возвращает тот же ответ. + """ + foreign = { + "slide_num": 2, + "title": "Zyxwv quantum", + "visible_text": "Zyxwv quantum entanglement", + } + strong_without_evidence = _semantic(2, 1, [], "", "strong") + llm = ScriptedLlm( + [ + _catalog_response(_ORGANISATION, foreign), + _ORGANISATION_VERDICT, + strong_without_evidence, + strong_without_evidence, + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_JUDGE_LAYOUT, srt_content=_JUDGE_SRT + ) + + item = result.assignments[1] + assert item.match_status != "unbound" or item.evidence_block_ids, ( + f"слайд без единой цитаты и без лексики оказался в галерее раздела {item.global_section_id}: " + f"{item.reason_code}" + ) + + +@pytest.mark.asyncio +async def test_якорь_диагностики_лежит_внутри_интервала_доказательств_даже_если_судья_назвал_блоки_не_по_порядку( + tmp_path, +): + srt = _cue_srt( + "Сегодня говорим про организацию курса.", + "Бинарное дерево поиска хранит ключи.", + "Дерево поиска обходят в глубину и в ширину.", + ) + layout = [[{"title": "A", "start": "00:00:00,000", "end": "00:00:30,000"}]] + tree = { + "slide_num": 2, + "title": "Бинарное дерево поиска", + "visible_text": "Бинарное дерево поиска", + "source_concepts": ["бинарное дерево поиска"], + } + unsorted = json.dumps( + { + "slide_num": 2, + "global_section_id": 0, + "evidence_block_ids": [3, 2], + "evidence_quote": "Бинарное дерево поиска хранит ключи.", + "semantic_tier": "explicit", + } + ) + llm = ScriptedLlm([_catalog_response(_ORGANISATION, tree), _ORGANISATION_VERDICT, unsorted]) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=layout, srt_content=srt + ) + + item = result.assignments[1] + assert item.match_status == "discussed" + assert 10.0 <= item.anchor_s <= 30.0 + + +@pytest.mark.asyncio +async def test_все_вызовы_модели_используют_только_параметры_которые_принимает_llm_client(tmp_path): + """ScriptedLlm принимает любые kwargs, поэтому опечатка в имени параметра в тестах не видна; боевой клиент упадёт.""" + import inspect + + from lecturelog.infrastructure.llm.llm_client import LlmClient + + allowed = set(inspect.signature(LlmClient.call).parameters) - {"self"} + tree = {"slide_num": 2, "title": "Сортировка", "visible_text": "Сортировка пузырьком"} + strong = _semantic(2, 1, [2], "Разбираем сортировку пузырьком.", "strong") + llm = ScriptedLlm( + [_catalog_response(_ORGANISATION, tree), _ORGANISATION_VERDICT, strong, strong] + ) + service = DocumentAlignmentService( + llm=llm, models=["m"], prompts_dir=_prompts(tmp_path), effort="low" + ) + await service.align( + assets=_assets(tmp_path, 2), section_layout=_JUDGE_LAYOUT, srt_content=_JUDGE_SRT + ) + assert len(llm.calls) == 4, "каталог, судья, судья, перепроверка strong" + for call in llm.calls: + assert set(call) <= allowed, set(call) - allowed + + +def test_слайд_после_отвергнутого_системой_слайда_остаётся_в_своём_разделе_хотя_бы_галереей(): + """Слайд 2 с конкурентом -20 отвергнут (unbound), но его раздел 9 остаётся в пути и выталкивает слайд 3. + + Всё, что гарантируется при любом исходе развилки «пересчитывать ли путь без отвергнутых»: + слайд 3 не уходит в приложение и не теряет свой раздел. + """ + result = align_sequence( + [1, 2, 3], + { + 1: (_cand(1, 2, 6.0, cm=3.0),), + 2: (_cand(2, 9, 3.0, cm=-20.0, comps=(_rival(2, 2, 23.0),)),), + 3: (_cand(3, 3, 4.0, "strong", cm=3.0),), + }, + ) + assert result[1].status_reason == "stronger_competitor" + assert result[2].match_status in {"discussed", "unbound"} + assert result[2].global_section_id == 3 + + +# ═════════════════════════════════════════════════════════════════════ +# 7. Пары (статус, причина) сквозь сервис и границы пула +# ═════════════════════════════════════════════════════════════════════ + + +@pytest.mark.asyncio +async def test_пары_статус_причина_которые_выдаёт_сервис_совпадают_с_глоссарием(tmp_path): + """Неупомянутый без кандидатов, служебная пустая страница и колода-чужак — каждая пара из глоссария.""" + glossary = _glossary_reasons() + prompts = _prompts(tmp_path) + blank = {"slide_num": 3, "role": "blank", "visible_text": ""} + foreign = { + "slide_num": 2, + "title": "Zyxwv quantum", + "visible_text": "Zyxwv quantum entanglement", + } + llm = ScriptedLlm( + [ + _catalog_response(_ORGANISATION, foreign), + _catalog_response(blank), + _ORGANISATION_VERDICT, + _semantic(2, 1, [], "", "none"), + ] + ) + result = await DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=prompts).align( + assets=_assets(tmp_path, 3), section_layout=_JUDGE_LAYOUT, srt_content=_JUDGE_SRT + ) + pairs = {(item.match_status, item.status_reason) for item in result.assignments} + assert ("discussed", None) in pairs + for status, reason in pairs - {("discussed", None)}: + assert glossary[reason or ""] == status, (status, reason) + assert ("unmentioned", "no_candidates") in pairs + assert ("unmentioned", "service_role") in pairs + + +@pytest.mark.asyncio +async def test_колода_с_числом_разделов_меньше_лимита_кандидатов_даёт_конкурентов_из_всех_разделов( + tmp_path, +): + """Граница лимита: разделов (2) меньше candidate_limit (5) — пул целиком, margin конечный.""" + tree = { + "slide_num": 2, + "title": "Разбираем сортировку", + "visible_text": "Разбираем сортировку пузырьком", + } + llm = ScriptedLlm( + [ + _catalog_response(_ORGANISATION, tree), + _ORGANISATION_VERDICT, + _semantic(2, 1, [2], "Разбираем сортировку пузырьком.", "explicit"), + ] + ) + result = await DocumentAlignmentService( + llm=llm, models=["m"], prompts_dir=_prompts(tmp_path), tuning=AlignmentTuning() + ).align(assets=_assets(tmp_path, 2), section_layout=_JUDGE_LAYOUT, srt_content=_JUDGE_SRT) + margin = _margin_of(result.assignments[1].reason_code) + assert margin is not None and margin > 0 diff --git a/tests/unit/slides/test_anchoring.py b/tests/unit/slides/test_anchoring.py index ff31c5a..73914af 100644 --- a/tests/unit/slides/test_anchoring.py +++ b/tests/unit/slides/test_anchoring.py @@ -136,3 +136,46 @@ def test_gallery_is_placed_after_section_content() -> None: assert placement.output_kind == "section_gallery" assert placement.gallery_position == "after_content" + + +def test_marker_follows_block_with_evidence_speech_not_strongest_lexical_match() -> None: + """Слайд 38 db-2026-09-24: лексика слайда сильнее в первом абзаце («СУБД»), + но реплика-доказательство пересказана в последнем — маркер встаёт там.""" + assignment = SlideAssignment(38, "discussed", 17, (1239,), 3243.9, "verified", 55.5, "matched") + entry = SlideCatalogEntry( + 38, "content", "Функции СУБД", "СУБД\nслой бизнес-логики\nслой хранения данных" + ) + markdown = ( + "Что такое **СУБД**? Это система, реализующая постоянное хранение данных.\n\n" + "> [!tangent]- Отступление от темы\n> Этот слайд мы уже видели.\n\n" + "В качестве примера проникновения слоев архитектуры между программными " + "компонентами здесь представлены интерфейс пользователя, слой бизнес-логики " + "и слой хранения данных." + ) + + anchored, placement = anchoring.anchor_assignment( + assignment, + entry, + markdown, + evidence_text="Пример проникновения слоев архитектуры между программными компонентами", + ) + + assert placement.output_kind == "inline" + assert placement.block_index == 2 + assert anchored.endswith("слой хранения данных.\n\n") + + +def test_equal_evidence_match_prefers_earlier_paragraph() -> None: + """Реплика пересказана в двух абзацах одинаково — слайд встаёт у первого.""" + assignment = SlideAssignment(1, "discussed", 0, (1,), 1.0, "verified", 10.0, "matched") + entry = SlideCatalogEntry(1, "content", "Бинарное дерево", "бинарное дерево поиска") + paragraph = "Бинарное дерево поиска хранит ключи упорядоченно." + + _, placement = anchoring.anchor_assignment( + assignment, + entry, + f"Введение.\n\n{paragraph}\n\n{paragraph}", + evidence_text="бинарное дерево поиска хранит ключи", + ) + + assert placement.block_index == 1 diff --git a/tests/unit/slides/test_catalog.py b/tests/unit/slides/test_catalog.py index 5153965..cf37ac6 100644 --- a/tests/unit/slides/test_catalog.py +++ b/tests/unit/slides/test_catalog.py @@ -5,6 +5,7 @@ from lecturelog.domain.slides import SlideAsset from lecturelog.infrastructure.slides.alignment.catalog import ( + MAX_CATALOG_BATCH, catalog_batches, detect_boilerplate_lines, native_text_fallback, @@ -28,6 +29,11 @@ def test_catalog_batches_are_bounded_and_ordered() -> None: assert [item.slide_num for batch in batches for item in batch] == list(range(1, 15)) +def test_catalog_batch_error_names_actual_maximum() -> None: + with pytest.raises(ValueError, match=rf"1\.\.{MAX_CATALOG_BATCH} страниц"): + catalog_batches([_asset(1)], max_batch=MAX_CATALOG_BATCH + 1) + + def test_catalog_rejects_shuffled_or_extra_response() -> None: raw = json.dumps( { diff --git a/tests/unit/slides/test_evidence_strength.py b/tests/unit/slides/test_evidence_strength.py new file mode 100644 index 0000000..3077c9f --- /dev/null +++ b/tests/unit/slides/test_evidence_strength.py @@ -0,0 +1,40 @@ +"""Одна формула силы доказательства для пути DP и для competition_margin.""" + +from __future__ import annotations + +import pytest + +from lecturelog.domain.slides import SlideCandidate +from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights, align_sequence +from lecturelog.infrastructure.slides.alignment.service import DocumentAlignmentService + + +def _cand(section: int, lexical: float, tier: str, visual: float | None = None) -> SlideCandidate: + return SlideCandidate( + 1, section, (section + 1,), "цитата", 0.0, 1.0, lexical, tier, visual_score=visual + ) + + +@pytest.mark.parametrize( + ("tier", "bonus"), [("explicit", 4.0), ("strong", 2.0), ("weak", 0.0), ("none", -1.0)] +) +def test_score_пути_это_лексика_плюс_бонус_вердикта_плюс_визуал(tier, bonus): + """Фиксируем текущее поведение DP: score слайда = lexical·w + бонус tier + visual·w_visual.""" + weights = AlignmentWeights() + item = align_sequence([1], {1: (_cand(1, 6.0, tier, visual=0.5),)}, (), weights)[0] + assert item.score == pytest.approx(6.0 + bonus + 0.5 * weights.visual_weight) + + +def test_score_пути_учитывает_lexical_weight(): + weights = AlignmentWeights(lexical_weight=2.0) + item = align_sequence([1], {1: (_cand(1, 6.0, "explicit"),)}, (), weights)[0] + assert item.score == pytest.approx(6.0 * 2.0 + weights.explicit_bonus) + + +def test_competition_margin_считается_той_же_формулой_без_бонуса_вердикта(): + weights = AlignmentWeights(lexical_weight=2.0) + mine = _cand(1, 5.0, "strong", visual=0.5) + rival = _cand(2, 4.0, "none", visual=1.0) + out = DocumentAlignmentService._with_competition(mine, (mine, rival), weights) + expected = (5.0 * 2.0 + 0.5 * weights.visual_weight) - (4.0 * 2.0 + 1.0 * weights.visual_weight) + assert out.competition_margin == pytest.approx(expected) diff --git a/tests/unit/slides/test_negative_margin_edge_cases.py b/tests/unit/slides/test_negative_margin_edge_cases.py new file mode 100644 index 0000000..b26783b --- /dev/null +++ b/tests/unit/slides/test_negative_margin_edge_cases.py @@ -0,0 +1,629 @@ +# ruff: noqa: E501, F811 — длинные имена тестов +"""Краевые случаи тикета 06: отрицательный margin делает слайд непривязанным. + +Тесты описывают тихие отказы: слайд выглядит привязанным (или уходит в галерею) +правдоподобно, а на деле порог, конкурент или причина посчитаны неверно. +""" + +import dataclasses +import itertools +import json +import random +import tempfile +from pathlib import Path + +import pytest + +from lecturelog.domain.slides import SlideAssignment, SlideCandidate, SlideRelation +from lecturelog.infrastructure.slides.alignment.anchoring import anchor_assignment +from lecturelog.infrastructure.slides.alignment.confidence import calibrate +from lecturelog.infrastructure.slides.alignment.diagnostics import write_diagnostic +from lecturelog.infrastructure.slides.alignment.sequence import ( + AlignmentWeights, + align_sequence, + strongest_candidate, +) +from lecturelog.infrastructure.slides.alignment.service import ( + AlignmentTuning, + DocumentAlignmentService, +) +from tests.unit.slides.test_unbound_slides import ( + _COURSE_SLIDE, + _COURSE_VERDICT, + ScriptedLlm, + _assets, + _catalog_response, + _prompts, + _semantic, + _srt, +) + +W = AlignmentWeights() + + +def _c(slide, section, lexical, tier="explicit", cm=None, comps=(), visual=None, quote="цитата"): + return SlideCandidate( + slide, + section, + (section + 1,), + quote, + section * 10.0, + section * 10.0 + 5, + lexical, + tier, + visual_score=visual, + competition_margin=cm, + competitors=tuple(comps), + ) + + +def _rival(slide, section, lexical, tier="none", visual=None): + """Конкурент из retrieval: судья его не подтверждал, tier none, цитаты нет.""" + return _c(slide, section, lexical, tier=tier, visual=visual, quote=None) + + +def _one(chosen, weights=W, relations=()): + return align_sequence([1], {1: (chosen,)}, relations, weights)[0] + + +# ── порог: ровно на границе и рядом ───────────────────────────────── + + +def test_margin_ровно_на_пороге_не_делает_слайд_непривязанным_потому_что_сравнение_строгое(): + """Сравнение «<», а не «<=»: слайд на пороге остаётся привязанным; иначе порог −2.5 молча превращается в −2.49.""" + item = _one(_c(1, 1, 3.0, cm=-2.5, comps=(_rival(1, 2, 5.5),))) + assert item.match_status == "discussed" + + +def test_margin_чуть_ниже_порога_делает_слайд_непривязанным_с_причиной_конкурента(): + item = _one(_c(1, 1, 3.0, cm=-2.5001, comps=(_rival(1, 2, 5.5001),))) + assert (item.match_status, item.status_reason) == ("unbound", "stronger_competitor") + + +@pytest.mark.parametrize("cm", [-0.4, -1.0, -2.499]) +def test_шумовой_отрицательный_margin_в_допуске_не_роняет_верный_выбор_в_непривязанные(cm): + """Верный выбор получает до −0.4 из-за шума лексики: ложный unbound убирает слайд из текста без следа.""" + item = _one(_c(1, 1, 3.0, cm=cm, comps=(_rival(1, 2, 3.0 - cm),))) + assert item.match_status == "discussed" + assert item.assignment_confidence != "unresolved" + + +def test_нулевой_порог_нулевой_margin_остаётся_привязанным(): + """Ничья с конкурентом — не «конкурент сильнее».""" + item = _one(_c(1, 1, 3.0, cm=0.0, comps=(_rival(1, 2, 3.0),)), AlignmentWeights(min_margin=0.0)) + assert item.match_status == "discussed" + + +def test_нулевой_порог_минус_эпсилон_уже_непривязанный(): + item = _one( + _c(1, 1, 3.0, cm=-0.001, comps=(_rival(1, 2, 3.001),)), AlignmentWeights(min_margin=0.0) + ) + assert item.status_reason == "stronger_competitor" + + +def test_порог_ниже_любого_margin_отключает_правило_и_слайд_остаётся_привязанным(): + item = _one( + _c(1, 1, 3.0, cm=-22.0, comps=(_rival(1, 2, 25.0),)), + AlignmentWeights(min_margin=-float("inf")), + ) + assert item.match_status == "discussed" + + +@pytest.mark.parametrize("tier", ["explicit", "strong", "weak"]) +def test_отрицательный_margin_ниже_порога_действует_на_каждом_уровне_уверенности(tier): + item = _one(_c(1, 1, 3.0, tier=tier, cm=-18.0, comps=(_rival(1, 2, 21.0),))) + assert (item.match_status, item.assignment_confidence) == ("unbound", "unresolved") + + +def test_calibrate_требует_min_margin_явно_без_дефолта(): + """Порог берётся из AlignmentWeights; молчаливый дефолт 0.0 расходился бы с ним.""" + with pytest.raises(TypeError): + calibrate( # type: ignore[call-arg] + semantic_tier="explicit", + margin=0.0, + has_grounded_evidence=True, + has_competing_context=True, + ) + + +def test_calibrate_не_падает_на_nan_margin_и_не_объявляет_конкурента(): + """NaN не «меньше порога»: если он дойдёт до калибровки, это не повод выдумывать конкурента.""" + result = calibrate( + semantic_tier="explicit", + margin=float("nan"), + has_grounded_evidence=True, + has_competing_context=True, + min_margin=-5.0, + ) + assert result.unbound_reason != "stronger_competitor" + + +def test_margin_берётся_минимумом_из_пути_и_конкурента_и_положительный_путь_не_маскирует_отрицательный_конкурент(): + item = align_sequence( + [1, 2], + { + 1: (_c(1, 0, 9.0, cm=2.0),), + 2: (_c(2, 1, 3.0, cm=-9.0, comps=(_rival(2, 3, 12.0),)),), + }, + )[1] + assert item.status_reason == "stronger_competitor" + + +# ── куда уходит слайд ─────────────────────────────────────────────── + + +def test_слайд_уходит_в_галерею_конкурента_с_его_доказательством_а_не_выбора_судьи(): + """Иначе evidence_block_ids указывают на блок чужого раздела, и диагностика врёт, почему слайд тут.""" + item = _one(_c(1, 1, 2.0, cm=-18.0, comps=(_rival(1, 4, 20.0),))) + assert (item.match_status, item.global_section_id) == ("unbound", 4) + assert item.evidence_block_ids == (5,) + assert item.anchor_s is None + + +def test_при_нескольких_конкурентах_выигрывает_самый_сильный_а_не_первый_в_списке(): + rivals = (_rival(1, 2, 9.0), _rival(1, 3, 20.0), _rival(1, 4, 11.0)) + item = _one(_c(1, 1, 2.0, cm=-18.0, comps=rivals)) + assert item.global_section_id == 3 + + +def test_ничья_конкурентов_решается_ранним_разделом_при_любом_порядке_конкурентов(): + """Порядок пула retrieval — случайность; раздел галереи от него зависеть не должен.""" + rivals = [_rival(1, 5, 20.0), _rival(1, 2, 20.0), _rival(1, 7, 20.0)] + for perm in itertools.permutations(rivals): + item = _one(_c(1, 1, 2.0, cm=-18.0, comps=perm)) + assert item.global_section_id == 2 + + +def test_ничья_с_бонусом_вердикта_не_оставляет_слайд_в_разделе_выбора_при_stronger_competitor(): + """Порог −4: конкурент отстоит на −5. С бонусами (explicit +4, tier none −1) силы равны, но мера + галереи для stronger_competitor — та же, что у порога, без бонуса вердикта: слайд у конкурента.""" + item = _one( + _c(1, 1, 2.0, cm=-5.0, comps=(_rival(1, 4, 7.0),)), AlignmentWeights(min_margin=-4.0) + ) + assert item.status_reason == "stronger_competitor" + assert item.global_section_id == 4 + + +def test_конкурент_слабее_с_бонусом_вердикта_но_сильнее_мерой_порога_забирает_галерею(): + """Решение владельца: с бонусами выбор сильнее (tier none −1 против explicit +4 и описания), но + раздел галереи stronger_competitor выбирается мерой порога — без бонуса вердикта, где конкурент + сильнее на 6. Слайд уходит к конкуренту.""" + item = _one(_c(1, 1, 2.0, cm=-6.0, visual=1.0, comps=(_rival(1, 4, 8.0),))) + assert (item.match_status, item.global_section_id) == ("unbound", 4) + assert item.status_reason == "stronger_competitor" + + +def test_галерея_stronger_competitor_выбирается_той_же_мерой_что_и_порог_поэтому_отрыв_между_порогом_и_бонусом_вердикта_уводит_к_конкуренту(): + """Решение владельца: конкурент сильнее на 3.5 (порог −2.5) — слайд уходит к нему. + + Бонус explicit (+4) в мере галереи перевешивал отрыв 2.5..5, и слайд оставался в галерее + раздела выбора, хотя порог только что признал конкурента сильнее. + """ + item = _one(_c(1, 1, 3.0, cm=-3.5, comps=(_rival(1, 4, 6.5),))) + assert item.status_reason == "stronger_competitor" + assert (item.match_status, item.global_section_id) == ("unbound", 4) + assert item.evidence_block_ids == (5,) + + +def test_пропущенный_путём_слайд_со_stronger_competitor_уходит_к_конкуренту_той_же_мерой(): + """Ветка пропуска: выбор судьи explicit (+4) с лексикой 1.0 против конкурента 4.0 — отрыв −3.""" + result = align_sequence( + [1, 2], + { + 1: (_c(1, 5, 9.0, cm=3.0),), + 2: (_c(2, 0, 1.0, cm=-3.0, comps=(_rival(2, 3, 4.0),)),), + }, + ) + assert (result[1].status_reason, result[1].global_section_id) == ("stronger_competitor", 3) + + +def test_deck_order_conflict_выбирает_галерею_по_силе_с_бонусом_вердикта_как_раньше(): + """Мера без бонуса вердикта — только для stronger_competitor; пропуск по порядку колоды её не меняет.""" + result = align_sequence( + [1, 2], + { + 1: (_c(1, 5, 9.0, cm=3.0),), + 2: (_c(2, 0, 1.0, cm=2.0), _c(2, 1, 3.0, tier="weak", cm=2.0)), + }, + ) + assert (result[1].status_reason, result[1].global_section_id) == ("deck_order_conflict", 0) + + +def test_визуальный_бонус_конкурента_входит_в_силу_и_переносит_галерею(): + item = _one(_c(1, 1, 2.0, cm=-6.0, comps=(_rival(1, 4, 8.0, visual=0.5),))) + assert item.global_section_id == 4 + + +def test_конкуренты_без_доказательства_не_утаскивают_слайд_в_приложение(): + """Выбор с доказательством не должен превращаться в unmentioned оттого, что конкуренты слабы.""" + item = _one(_c(1, 1, 3.0, cm=-6.0, comps=(_rival(1, 4, 0.2),))) + assert item.match_status == "unbound" + assert item.global_section_id == 1 + + +def test_конкурент_не_попадает_в_пул_при_weak_evidence(): + """Конкурент нужен только при stronger_competitor; при слабом доказательстве слайд остаётся у своего раздела.""" + item = _one(_c(1, 1, 3.0, tier="strong", quote=None, cm=-1.0, comps=(_rival(1, 4, 4.0),))) + assert (item.status_reason, item.global_section_id) == ("weak_evidence", 1) + + +def test_конкуренты_не_смешиваются_с_пулом_для_следующего_слайда(): + """Конкуренты слайда 1 не должны всплыть в галерее слайда 2.""" + result = align_sequence( + [1, 2], + { + 1: (_c(1, 1, 2.0, cm=-18.0, comps=(_rival(1, 4, 20.0),)),), + 2: (_c(2, 2, 3.0, tier="strong", quote=None),), + }, + ) + assert result[1].global_section_id == 2 + + +def test_пропущенный_путём_слайд_с_сильно_отрицательным_margin_уходит_в_раздел_конкурента(): + """Слайд пропущен путём (deck_order_conflict), но у выбора судьи margin −20: по спеке «отрицательный margin + уводит в галерею раздела конкурента». Сейчас пул пропущенного слайда — только выбор судьи, конкурент + теряется, и слайд тихо оседает в слабом разделе.""" + result = align_sequence( + [1, 2], + { + 1: (_c(1, 5, 9.0, cm=3.0),), + 2: (_c(2, 0, 3.0, tier="strong", cm=-20.0, comps=(_rival(2, 3, 23.0),)),), + }, + ) + assert result[1].match_status == "unbound" + assert result[1].global_section_id == 3 + + +# ── дубли, прогрессивные сборки ────────────────────────────────────── + + +def test_дубль_остаётся_дублем_даже_если_его_кандидат_с_конкурентом_ниже_порога(): + rel = SlideRelation(2, "exact_duplicate", "g", 1) + result = align_sequence( + [1, 2], + { + 1: (_c(1, 1, 3.0),), + 2: (_c(2, 1, 3.0, cm=-18.0, comps=(_rival(2, 4, 21.0),)),), + }, + (rel,), + ) + assert result[1].match_status == "duplicate" + assert result[1].global_section_id is None + + +def test_progressive_build_с_конкурентом_ниже_порога_не_остаётся_discussed(): + """Бонус прогрессивной сборки двигает путь, но не отменяет отрицательный margin.""" + rel = SlideRelation(2, "progressive_build", "g", 1) + result = align_sequence( + [1, 2], + { + 1: (_c(1, 1, 3.0),), + 2: (_c(2, 1, 3.0, cm=-18.0, comps=(_rival(2, 4, 21.0),)),), + }, + (rel,), + ) + assert result[1].status_reason == "stronger_competitor" + + +# ── стабильность пути, детерминизм ────────────────────────────────── + + +def test_конкуренты_не_влияют_на_путь_и_соседей(): + """Если конкуренты просочатся в DP, соседние слайды поменяют раздел при тех же кандидатах.""" + base = { + 1: (_c(1, 0, 6.0, cm=2.0),), + 2: (_c(2, 1, 3.0, cm=-18.0),), + 3: (_c(3, 2, 6.0, cm=2.0),), + } + with_rivals = dict(base) + with_rivals[2] = (_c(2, 1, 3.0, cm=-18.0, comps=(_rival(2, 7, 21.0),)),) + a = align_sequence([1, 2, 3], base) + b = align_sequence([1, 2, 3], with_rivals) + assert a[0] == b[0] and a[2] == b[2] + assert (a[1].match_status, a[1].status_reason) == ("unbound", "stronger_competitor") + assert a[1].global_section_id == 1 + + +def test_непривязанный_по_конкуренту_слайд_не_меняет_уверенность_соседей(): + near = {1: (_c(1, 0, 6.0, cm=2.0),), 2: (_c(2, 1, 3.0, cm=-18.0),), 3: (_c(3, 1, 6.0, cm=2.0),)} + ok = {**near, 2: (_c(2, 1, 3.0, cm=2.0),)} + a = align_sequence([1, 2, 3], near) + b = align_sequence([1, 2, 3], ok) + assert (a[0], a[2]) == (b[0], b[2]) + + +def test_отвергнутый_по_конкуренту_слайд_не_якорит_путь_и_не_выталкивает_верного_соседа_в_конфликт_порядка(): + """Решение владельца: путь пересчитывается без отвергнутых слайдов. + + Слайд 2 уводит путь в раздел 9 и отвергнут (конкурент сильнее на 20). Если он остаётся якорем, + возврат слайда 3 в раздел 3 стоит 9 > 6, и верный сосед уходит в deck_order_conflict. + """ + result = align_sequence( + [1, 2, 3], + { + 1: (_c(1, 2, 6.0, cm=3.0),), + 2: (_c(2, 9, 3.0, cm=-20.0, comps=(_rival(2, 2, 23.0),)),), + 3: (_c(3, 3, 4.0, tier="strong", cm=3.0),), + }, + ) + assert (result[1].match_status, result[1].status_reason) == ("unbound", "stronger_competitor") + assert result[1].global_section_id == 2 + # Диагностика отвергнутого описывает выбор пути, при котором его отвергли. + assert "path_section=9" in result[1].reason_code + assert (result[2].match_status, result[2].global_section_id) == ("discussed", 3) + assert result[2].evidence_block_ids == (4,) + + +def test_margin_соседа_считается_во_втором_проходе_без_отвергнутого_слайда(): + """Без отвергнутого слайда 2 путь меняется так же, как если бы его не было вовсе.""" + rejected = _c(2, 9, 3.0, cm=-20.0, comps=(_rival(2, 2, 23.0),)) + neighbours = {1: (_c(1, 2, 6.0, cm=3.0),), 3: (_c(3, 3, 4.0, tier="strong", cm=3.0),)} + with_rejected = align_sequence([1, 2, 3], {**neighbours, 2: (rejected,)}) + without = align_sequence([1, 2, 3], {**neighbours, 2: ()}) + assert (with_rejected[0], with_rejected[2]) == (without[0], without[2]) + + +def test_второй_проход_доводит_до_неподвижной_точки_если_освободившееся_место_занял_ещё_один_отвергнутый(): + """Слайд 3 в первом проходе пропущен, во втором выбран — и тоже отвергнут: якорем он не остаётся. + + Проход 1: 1@2, 2@9 (отвергнут), 3 и 4 пропущены — возврат из 9 дороже их силы. + Проход 2 без 2: 1@2 и 3@6 (10.16) выгоднее 1@2 и 4@3 (10.0) — слайд 3 отвергнут, 4 снова пропущен. + Проход 3 без 2 и 3: слайд 4 в своём разделе. Одного повторного прохода здесь мало. + """ + result = align_sequence( + [1, 2, 3, 4], + { + 1: (_c(1, 2, 2.0, cm=3.0),), + 2: (_c(2, 9, 3.0, cm=-20.0, comps=(_rival(2, 2, 23.0),)),), + 3: (_c(3, 6, 0.4, cm=-9.0, comps=(_rival(3, 4, 9.4),)),), + 4: (_c(4, 3, 2.0, tier="strong", cm=3.0),), + }, + ) + assert [item.status_reason for item in result[1:3]] == ["stronger_competitor"] * 2 + assert "path_section=6" in result[2].reason_code + assert (result[3].match_status, result[3].global_section_id) == ("discussed", 3) + + +def test_повторный_прогон_и_перестановка_конкурентов_дают_идентичный_результат(): + rng = random.Random(11) + for _ in range(120): + n = rng.randint(1, 5) + cands, shuffled = {}, {} + for slide in range(1, n + 1): + rivals = [ + _rival(slide, rng.randint(0, 6), rng.choice([0.0, 2.0, 5.0, 12.0, 20.0])) + for _ in range(rng.randint(0, 4)) + ] + own = _c( + slide, + rng.randint(0, 6), + rng.choice([1.0, 3.0, 6.0]), + tier=rng.choice(["explicit", "strong"]), + cm=rng.choice([None, 2.0, -1.0, -9.0, -18.0]), + comps=rivals, + ) + cands[slide] = (own,) + shuffled[slide] = (dataclasses.replace(own, competitors=tuple(reversed(rivals))),) + order = list(range(1, n + 1)) + assert align_sequence(order, cands) == align_sequence(order, cands) + assert align_sequence(order, cands) == align_sequence(order, shuffled) + + +def test_инварианты_на_случайных_входах_с_конкурентами(): + """discussed не бывает ниже порога; unbound/stronger_competitor всегда с разделом из пула∪конкурентов и без якоря.""" + rng = random.Random(23) + for _ in range(400): + n = rng.randint(1, 5) + cands = {} + for slide in range(1, n + 1): + rivals = [ + _rival(slide, rng.randint(0, 6), rng.choice([0.0, 2.0, 12.0, 25.0])) + for _ in range(rng.randint(0, 3)) + ] + cands[slide] = ( + _c( + slide, + rng.randint(0, 6), + rng.choice([1.0, 3.0, 6.0]), + tier=rng.choice(["explicit", "strong", "weak"]), + quote=rng.choice([None, "q"]), + cm=rng.choice([None, 0.0, -0.4, -5.0, -6.0, -20.0]), + comps=rivals, + ), + ) + for slide, item in zip( + range(1, n + 1), align_sequence(list(range(1, n + 1)), cands), strict=True + ): + own = cands[slide][0] + if item.match_status == "discussed": + assert own.competition_margin is None or own.competition_margin >= W.min_margin + if item.status_reason == "stronger_competitor": + assert item.match_status == "unbound" + assert item.anchor_s is None + allowed = {own.global_section_id, *(r.global_section_id for r in own.competitors)} + assert item.global_section_id in allowed + assert item.assignment_confidence == "unresolved" + + +# ── reason_code / диагностика / размещение ─────────────────────────── + + +def test_reason_code_ушедшего_к_конкуренту_слайда_называет_раздел_пути_и_не_приписывает_конкуренту_чужой_margin(): + item = _one(_c(1, 1, 2.0, cm=-18.0, comps=(_rival(1, 4, 20.0),))) + assert "margin=none" in item.reason_code + assert "path_section=1" in item.reason_code + assert "path_min_margin=-18.000" in item.reason_code + assert "lexical=20.000" in item.reason_code + + +def test_reason_code_оставшегося_в_своём_разделе_слайда_несёт_реальный_margin(): + """Конкурент без доказательства в галерею не годится — слайд остаётся у выбора пути.""" + item = _one(_c(1, 1, 3.0, cm=-6.0, comps=(_rival(1, 4, 0.2),))) + assert "margin=-6.000" in item.reason_code + assert "path_section" not in item.reason_code + + +def test_диагностика_сериализуется_без_конкурентов_и_с_причиной(): + """competitors — внутреннее поле кандидата; в json присваиваний утечь не должно (рост файла, рекурсия).""" + item = _one(_c(1, 1, 2.0, cm=-18.0, comps=(_rival(1, 4, 20.0),))) + assert not any(f.name == "competitors" for f in dataclasses.fields(SlideAssignment)) + with tempfile.TemporaryDirectory() as tmp: + path = Path(tmp) / "a" / "alignment.json" + write_diagnostic(path, mode="v2", assignments=(item,)) + payload = json.loads(path.read_text(encoding="utf-8")) + row = payload["assignments"][0] + assert row["status_reason"] == "stronger_competitor" + assert "competitors" not in row + + +def test_размещение_ушедшего_к_конкуренту_слайда_это_галерея_без_маркера_в_тексте(): + item = _one(_c(1, 1, 2.0, cm=-18.0, comps=(_rival(1, 4, 20.0),))) + md = "Абзац.\n\nВторой." + new_md, placement = anchor_assignment(item, None, md) + assert new_md == md + assert (placement.output_kind, placement.global_section_id) == ("section_gallery", 4) + assert placement.fallback_reason == "unbound:stronger_competitor" + + +def test_strongest_candidate_не_падает_и_детерминирован_на_пуле_с_конкурентами_и_выбором(): + chosen = _c(1, 1, 2.0) + pool = (chosen, _rival(1, 3, 9.0), _rival(1, 2, 9.0)) + for perm in itertools.permutations(pool): + assert strongest_candidate(perm, W, preferred=chosen).global_section_id == 2 + + +# ── сервис: _with_competition ──────────────────────────────────────── + + +def test_with_competition_исключает_свой_раздел_из_конкурентов_и_считает_margin_по_сильнейшему(): + me = _c(1, 1, 5.0, tier="none", quote=None) + pool = (me, _rival(1, 1, 99.0), _rival(1, 2, 9.0), _rival(1, 3, 7.0)) + out = DocumentAlignmentService._with_competition(me, pool, AlignmentWeights()) + assert {c.global_section_id for c in out.competitors} == {2, 3} + assert out.competition_margin == pytest.approx(5.0 - 9.0) + + +def test_with_competition_без_конкурентов_даёт_margin_none_и_пустой_кортеж(): + me = _c(1, 1, 5.0) + out = DocumentAlignmentService._with_competition(me, (me,), AlignmentWeights()) + assert out.competition_margin is None + assert out.competitors == () + + +def test_with_competition_не_вкладывает_конкурентов_друг_в_друга_иначе_раздувается_память_и_repr(): + me = _c(1, 1, 5.0) + pool = (me, _rival(1, 2, 9.0), _rival(1, 3, 7.0)) + out = DocumentAlignmentService._with_competition(me, pool, AlignmentWeights()) + assert all(c.competitors == () for c in out.competitors) + + +def test_with_competition_повторный_вызов_на_результате_идемпотентен(): + me = _c(1, 1, 5.0) + pool = (me, _rival(1, 2, 9.0)) + once = DocumentAlignmentService._with_competition(me, pool, AlignmentWeights()) + assert DocumentAlignmentService._with_competition(once, pool, AlignmentWeights()) == once + + +# ── сервис целиком: коллизии, deck guard, порог из tuning ──────────── + +_STD = { + "slide_num": 2, + "title": "Профессиональный стандарт программиста", + "visible_text": "Третий уровень квалификации\nТрудовые функции\nКодирование программных модулей\nОтладка и тестирование компонентов\nОформление документации", + "source_concepts": ["профессиональный стандарт", "уровень квалификации"], +} +_SRT = _srt( + "Сегодня говорим про организацию курса.", + "Пауза.", + "Типы программных продуктов; профессиональный стандарт упомянем позже.", + "Пауза.", + "Модели жизненного цикла: водопадная модель, итеративная модель.", + "Пауза.", + "Профессиональный стандарт программиста: третий уровень квалификации, трудовые функции — кодирование программных модулей, отладка и тестирование компонентов, оформление документации.", + "Пауза.", +) +_LAYOUT = [ + [ + { + "title": f"Раздел {i}", + "start": f"{(i * 20 + 1) // 60}:{(i * 20 + 1) % 60:02d}", + "end": f"{(i * 20 + 19) // 60}:{(i * 20 + 19) % 60:02d}", + } + for i in range(4) + ] +] + + +def _svc(tmp_path, responses, tuning=AlignmentTuning()): + return DocumentAlignmentService( + llm=ScriptedLlm(responses), + models=["m"], + prompts_dir=_prompts(tmp_path), + tuning=tuning, + ) + + +@pytest.mark.asyncio +async def test_колода_где_все_слайды_ушли_к_конкурентам_признаётся_посторонней_и_галереи_не_остаются( + tmp_path, +): + """Единственный слайд колоды с stronger_competitor: discussed нет, deck guard обязан убрать и галерею, и справочник.""" + entry = dict(_STD, slide_num=1) + svc = _svc( + tmp_path, + [_catalog_response(entry), _semantic(1, 1, [3], "профессиональный стандарт", "explicit")], + ) + result = await svc.align(assets=_assets(tmp_path, 1), section_layout=_LAYOUT, srt_content=_SRT) + [item] = result.assignments + assert item.match_status == "deck_mismatch" + assert item.global_section_id is None + assert result.catalog == {} + + +@pytest.mark.asyncio +async def test_unbound_по_конкуренту_не_понижает_соседа_с_общим_блоком_и_сам_не_считается_discussed( + tmp_path, +): + """Коллизия доказательств — только среди discussed: слайд, ушедший к конкуренту, не отнимает verified у соседа.""" + course = dict(_COURSE_SLIDE, slide_num=2) + std = dict(_STD, slide_num=1) + svc = _svc( + tmp_path, + [ + _catalog_response(std, course), + _semantic(1, 1, [3], "профессиональный стандарт", "explicit"), + _COURSE_VERDICT, + ], + ) + result = await svc.align(assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT) + std_item, course_item = result.assignments + assert std_item.match_status == "unbound" + assert course_item.match_status == "discussed" + assert "evidence_collision" not in course_item.reason_code + + +@pytest.mark.asyncio +async def test_порог_из_tuning_доходит_до_выравнивания_и_дефолт_равен_допуску_владельца(tmp_path): + defaults = AlignmentTuning().weights + # Калибровка тикета 10 по validation: неверные выборы пути лежат на margin ≤ −2.77, + # верные — на ≥ −2.45 (кроме двух у −6). + assert defaults.min_margin == -2.5 + assert defaults.visual_weight == 2.25 + # Описание картинки весит больше подтверждения strong, меньше explicit и само по + # себе не переводит слайд в `stronger_competitor`. + assert defaults.strong_bonus < defaults.visual_weight < defaults.explicit_bonus + assert defaults.visual_weight < abs(defaults.min_margin) + course = dict(_COURSE_SLIDE, slide_num=2) + std = dict(_STD, slide_num=1) + responses = [ + _catalog_response(std, course), + _semantic(1, 1, [3], "профессиональный стандарт", "explicit"), + _COURSE_VERDICT, + ] + strict = _svc( + tmp_path, list(responses), AlignmentTuning(weights=AlignmentWeights(min_margin=-5.0)) + ) + result = await strict.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT + ) + assert result.assignments[0].status_reason == "stronger_competitor" diff --git a/tests/unit/slides/test_sequence.py b/tests/unit/slides/test_sequence.py index 83e6cf4..92fc6e4 100644 --- a/tests/unit/slides/test_sequence.py +++ b/tests/unit/slides/test_sequence.py @@ -65,3 +65,23 @@ def test_progressive_build_is_not_suppressed_as_duplicate() -> None: (SlideRelation(2, "progressive_build", "g", 1),), ) assert [item.match_status for item in result] == ["discussed", "discussed"] + + +def test_unbound_slide_goes_to_section_with_strongest_evidence_not_path_choice() -> None: + """Сила доказательства = lexical·1.0 + бонус tier (explicit 4, strong 2) + visual·2.25. + + Слайд 2: раздел 1 — strong без цитаты, 3·1 + 2 = 5.0 (путь выбирает его: раздел 0 + после раздела 1 стоит штрафа возврата 1.5); раздел 0 — explicit, + 0.5·1 + 4 + 0.5·2.25 = 5.625. Уверенность выбора unresolved (нет цитаты), значит + слайд непривязанный и идёт в раздел 0 — самое сильное доказательство. + """ + anchor = _candidate(1, 1, 20, competition_margin=10.0) + path_choice = SlideCandidate(2, 1, (2,), None, 10, 15, 3.0, "strong") + strongest = SlideCandidate(2, 0, (1,), None, 0, 5, 0.5, "explicit", visual_score=0.5) + + result = align_sequence([1, 2], {1: (anchor,), 2: (path_choice, strongest)}) + + assert result[1].match_status == "unbound" + assert result[1].global_section_id == 0 + assert result[1].status_reason == "weak_evidence" + assert result[1].score == 5.625 diff --git a/tests/unit/slides/test_unbound_slides.py b/tests/unit/slides/test_unbound_slides.py new file mode 100644 index 0000000..9ef5218 --- /dev/null +++ b/tests/unit/slides/test_unbound_slides.py @@ -0,0 +1,411 @@ +"""Неупомянутый и непривязанный слайд: маршрут в галерею раздела или в приложение. + +Непривязанный слайд (кандидат с доказательством есть, уверенность `unresolved`) +идёт в галерею раздела с самым сильным доказательством; неупомянутый (кандидатов +нет или страница служебная) — в приложение. Проверяется через сервис выравнивания +со скриптованной LLM и размещение в разделе. +""" + +import json + +import pytest + +from lecturelog.domain.slides import SlideAsset +from lecturelog.infrastructure.slides.alignment.anchoring import anchor_assignment +from lecturelog.infrastructure.slides.alignment.diagnostics import write_diagnostic +from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights +from lecturelog.infrastructure.slides.alignment.service import ( + AlignmentTuning, + DocumentAlignmentService, +) + + +class ScriptedLlm: + def __init__(self, responses): + self.responses = list(responses) + self.calls = [] + + async def call(self, **kwargs): + self.calls.append(kwargs) + return self.responses.pop(0) + + +def _srt(*texts: str) -> str: + return "".join( + f"{index}\n00:00:{(index - 1) * 10:02d},000 --> 00:00:{index * 10:02d},000\n{text}\n\n" + for index, text in enumerate(texts, start=1) + ) + + +def _layout(count: int) -> list[list[dict[str, object]]]: + return [ + [ + { + "title": f"Раздел {index}", + "start": f"0:{index * 10:02d}", + "end": f"0:{index * 10 + 10:02d}", + } + for index in range(count) + ] + ] + + +def _prompts(tmp_path): + prompts = tmp_path / "prompts" + prompts.mkdir() + (prompts / "document_slide_catalog_v3.md").write_text("catalog") + (prompts / "document_slide_semantic_match_v1.md").write_text("semantic") + return prompts + + +def _image(tmp_path, name: str = "slide.png"): + image = tmp_path / name + image.write_bytes(b"\x89PNG\r\n\x1a\n" + name.encode()) + return image + + +def _catalog_response(*slides: dict) -> str: + return json.dumps( + { + "slides": [ + { + "role": "content", + "title": None, + "visible_text": "", + "source_concepts": [], + "transcript_language_terms": [], + "visual_summary": "", + "formulas": [], + **slide, + } + for slide in slides + ] + } + ) + + +def _semantic(slide_num: int, section: int, blocks: list[int], quote: str, tier: str) -> str: + return json.dumps( + { + "slide_num": slide_num, + "global_section_id": section, + "evidence_block_ids": blocks, + "evidence_quote": quote, + "semantic_tier": tier, + } + ) + + +# Второй слайд колоды, уверенно обсуждённый в разделе 0: без него колода +# целиком признаётся посторонней (deck guard) и маршрут не проверить. +_COURSE_SLIDE = { + "slide_num": 2, + "title": "Организация курса", + "visible_text": "Сегодня говорим про организацию курса", +} +_COURSE_VERDICT = _semantic(2, 0, [1], "Сегодня говорим про организацию курса.", "explicit") + + +def _assets(tmp_path, count: int) -> list[SlideAsset]: + return [ + SlideAsset( + num, + _image(tmp_path, f"slide{num}.png"), + "document", + extracted_text="", + native_text_quality="none", + ) + for num in range(1, count + 1) + ] + + +@pytest.mark.asyncio +async def test_weak_evidence_slide_goes_to_gallery_of_its_section(tmp_path): + """Судья дважды подтвердил раздел, но без цитаты: уверенность unresolved. + + Раньше такой слайд объявлялся неупомянутым и уходил в приложение, хотя + лектор его обсуждал. Теперь он непривязанный и стоит в галерее раздела. + """ + srt = _srt( + "Сегодня говорим про организацию курса.", + "Разберём бинарное дерево поиска и его вершины.", + ) + entry_fields = { + "slide_num": 1, + "title": "Бинарное дерево", + "visible_text": "Бинарное дерево поиска", + "source_concepts": ["дерево поиска"], + } + llm = ScriptedLlm( + [ + _catalog_response(entry_fields, _COURSE_SLIDE), + _semantic(1, 1, [2], "", "strong"), + _semantic(1, 1, [2], "", "strong"), + _COURSE_VERDICT, + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + + result = await service.align( + assets=_assets(tmp_path, 2), + section_layout=_layout(2), + srt_content=srt, + ) + assignment = result.assignments[0] + + assert assignment.match_status == "unbound" + assert assignment.assignment_confidence == "unresolved" + assert assignment.global_section_id == 1 + assert assignment.status_reason == "weak_evidence" + + _, placement = anchor_assignment( + assignment, + result.catalog[1], + "Разберём бинарное дерево поиска и его вершины.", + ) + assert placement.output_kind == "section_gallery" + assert placement.global_section_id == 1 + assert placement.anchor_confidence == "fallback" + assert placement.fallback_reason == "unbound:weak_evidence" + + +@pytest.mark.asyncio +async def test_slide_skipped_by_deck_order_goes_to_gallery_of_its_section(tmp_path): + """Лектор вернулся к слайду 2 после слайда 1 из последнего раздела. + + Путь по порядку колоды выгоднее пропускает слайд 2, чем возвращается на + семь разделов назад. Но у слайда есть кандидат с доказательством — значит, + он непривязанный и стоит в галерее раздела 0, а не в приложении. + """ + srt = _srt( + "Вспомним про жизненный цикл программы.", + "Пауза.", + "Пауза.", + "Пауза.", + "Пауза.", + "Пауза.", + "Пауза.", + "Подробно разбираем спиральную модель Боэма, витки спиральной модели и риски.", + ) + service = DocumentAlignmentService() + + result = await service.align( + assets=[ + SlideAsset( + 1, + _image(tmp_path, "spiral.png"), + "document", + extracted_text="Спиральная модель Боэма\nВитки спиральной модели и риски", + native_text_quality="good", + ), + SlideAsset( + 2, + _image(tmp_path, "cycle.png"), + "document", + extracted_text="Жизненный цикл программы", + native_text_quality="good", + ), + ], + section_layout=_layout(8), + srt_content=srt, + ) + spiral, cycle = result.assignments + + assert spiral.match_status == "discussed" + assert spiral.global_section_id == 7 + assert cycle.match_status == "unbound" + assert cycle.global_section_id == 0 + assert cycle.status_reason == "deck_order_conflict" + + _, placement = anchor_assignment(cycle, result.catalog[2], "Вспомним про жизненный цикл.") + assert placement.output_kind == "section_gallery" + assert placement.global_section_id == 0 + + +@pytest.mark.asyncio +async def test_slide_without_candidates_and_blank_page_stay_in_appendix(tmp_path): + """Неупомянутые слайды по-прежнему в приложении, с различимой причиной.""" + llm = ScriptedLlm( + [ + # Каталог идёт пачками по два слайда. + _catalog_response( + { + "slide_num": 1, + "title": "Квантовая хромодинамика", + "visible_text": "Глюоны и кварки", + }, + _COURSE_SLIDE, + ), + _catalog_response({"slide_num": 3, "role": "blank"}), + # Судья не нашёл слайду 1 доказательства ни в одном разделе. + _semantic(1, 0, [], "", "none"), + _COURSE_VERDICT, + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + + result = await service.align( + assets=_assets(tmp_path, 3), + section_layout=_layout(2), + srt_content=_srt( + "Сегодня говорим про организацию курса.", + "Разберём бинарное дерево поиска и его вершины.", + ), + ) + unrelated, course, blank = result.assignments + + assert course.match_status == "discussed" + assert course.status_reason is None + assert (unrelated.match_status, unrelated.status_reason) == ("unmentioned", "no_candidates") + assert unrelated.reason_code == unrelated.status_reason + assert (blank.match_status, blank.status_reason) == ("unmentioned", "service_role") + for assignment in (unrelated, blank): + _, placement = anchor_assignment( + assignment, result.catalog[assignment.slide_num], "Любой текст раздела." + ) + assert placement.output_kind == "appendix" + assert placement.global_section_id is None + + +# Сценарий слайда 16 лекции 02-12: профстандарт 3-го уровня. Судья подтвердил +# раздел 1, где термин лишь упомянут мимоходом, а целиком слайд разбирается в +# разделе 3 — уже после следующего по колоде слайда (раздел 2). +_STANDARD_SLIDE = { + "slide_num": 2, + "title": "Профессиональный стандарт программиста", + "visible_text": ( + "Третий уровень квалификации\nТрудовые функции\nКодирование программных модулей\n" + "Отладка и тестирование компонентов\nОформление документации" + ), + "source_concepts": ["профессиональный стандарт", "уровень квалификации"], +} +_STANDARD_SRT = _srt( + "Сегодня говорим про организацию курса.", + "Пауза.", + "Типы программных продуктов; профессиональный стандарт упомянем позже.", + "Пауза.", + "Модели жизненного цикла: водопадная модель, итеративная модель, спиральная модель.", + "Пауза.", + "Профессиональный стандарт программиста: третий уровень квалификации, трудовые" + " функции — кодирование программных модулей, отладка и тестирование компонентов," + " оформление документации.", + "Пауза.", +) + + +def _clock(seconds: int) -> str: + return f"{seconds // 60}:{seconds % 60:02d}" + + +# Разделы по 20 секунд без общих реплик на границах: в каждом одна +# содержательная реплика и пауза, чтобы лексика раздела не подмешивалась соседу. +_STANDARD_LAYOUT = [ + [ + { + "title": f"Раздел {index}", + "start": _clock(index * 20 + 1), + "end": _clock(index * 20 + 19), + } + for index in range(4) + ] +] + + +def _standard_llm(*standard_verdicts: str) -> ScriptedLlm: + return ScriptedLlm( + [ + _catalog_response({**_COURSE_SLIDE, "slide_num": 1}, _STANDARD_SLIDE), + _catalog_response( + { + "slide_num": 3, + "title": "Модели жизненного цикла", + "visible_text": "Водопадная модель\nИтеративная модель\nСпиральная модель", + } + ), + _semantic(1, 0, [1], "Сегодня говорим про организацию курса.", "explicit"), + *standard_verdicts, + _semantic(3, 2, [5], "Модели жизненного цикла", "explicit"), + ] + ) + + +@pytest.mark.asyncio +async def test_stronger_competitor_sends_slide_to_competitor_gallery(tmp_path): + """Отрицательный margin: конкурент совпадает с речью заметно сильнее выбора. + + Путь по порядку колоды держит слайд в разделе 1 — так подтвердил судья, — + но раздел 3 говорит о слайде намного больше. Уверенность падает до + unresolved, и слайд уходит в галерею раздела конкурента, хотя раздел 3 + идёт после раздела следующего слайда и нарушает порядок колоды. + """ + llm = _standard_llm(_semantic(2, 1, [3], "профессиональный стандарт", "explicit")) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + + result = await service.align( + assets=_assets(tmp_path, 3), + section_layout=_STANDARD_LAYOUT, + srt_content=_STANDARD_SRT, + ) + course, standard, lifecycle = result.assignments + + assert (course.match_status, course.global_section_id) == ("discussed", 0) + assert (lifecycle.match_status, lifecycle.global_section_id) == ("discussed", 2) + assert standard.match_status == "unbound" + assert standard.assignment_confidence == "unresolved" + assert standard.status_reason == "stronger_competitor" + assert standard.global_section_id == 3 + + _, placement = anchor_assignment(standard, result.catalog[2], "Профессиональный стандарт.") + assert placement.output_kind == "section_gallery" + assert placement.global_section_id == 3 + assert placement.fallback_reason == "unbound:stronger_competitor" + + # Диагностика называет причину и честно разводит, куда ушёл слайд + # (сильнейший кандидат, без своего margin) и какой выбор пути проиграл. + assert standard.reason_code.startswith("semantic_none:") + assert ":margin=none:path_section=1:path_min_margin=-" in standard.reason_code + diagnostic = tmp_path / "alignment.json" + write_diagnostic(diagnostic, mode="v2", assignments=result.assignments) + payload = json.loads(diagnostic.read_text(encoding="utf-8")) + assert payload["assignments"][1]["status_reason"] == "stronger_competitor" + + +@pytest.mark.asyncio +async def test_stronger_competitor_unbinds_double_confirmed_strong_verdict(tmp_path): + """Margin действует на всех уровнях: strong-вердикт с цитатой раньше давал probable.""" + verdict = _semantic(2, 1, [3], "профессиональный стандарт", "strong") + llm = _standard_llm(verdict, verdict) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + + result = await service.align( + assets=_assets(tmp_path, 3), + section_layout=_STANDARD_LAYOUT, + srt_content=_STANDARD_SRT, + ) + standard = result.assignments[1] + + assert (standard.match_status, standard.status_reason) == ("unbound", "stronger_competitor") + assert standard.global_section_id == 3 + + +@pytest.mark.asyncio +async def test_margin_threshold_is_tunable_next_to_alignment_weights(tmp_path): + """Порог margin задаётся рядом с весами: ниже него — уже не конкурент.""" + llm = _standard_llm(_semantic(2, 1, [3], "профессиональный стандарт", "explicit")) + service = DocumentAlignmentService( + llm=llm, + models=["m"], + prompts_dir=_prompts(tmp_path), + tuning=AlignmentTuning(weights=AlignmentWeights(min_margin=-100.0)), + ) + + result = await service.align( + assets=_assets(tmp_path, 3), + section_layout=_STANDARD_LAYOUT, + srt_content=_STANDARD_SRT, + ) + standard = result.assignments[1] + + assert standard.match_status == "discussed" + assert standard.assignment_confidence == "probable" + assert standard.global_section_id == 1 diff --git a/tests/unit/slides/test_unbound_slides_edge_cases.py b/tests/unit/slides/test_unbound_slides_edge_cases.py new file mode 100644 index 0000000..c044535 --- /dev/null +++ b/tests/unit/slides/test_unbound_slides_edge_cases.py @@ -0,0 +1,608 @@ +# ruff: noqa: E501, F811 — длинные имена тестов; prompts_dir импортирован как фикстура +"""Краевые случаи тикета 05: непривязанный слайд в галерее раздела. + +Тесты описывают тихие отказы: результат выглядит правдоподобно, а слайд +оказывается не там или пропадает без следа. +""" + +import json +import random + +import pytest + +from lecturelog.domain.models import Section, Topic +from lecturelog.domain.slides import ( + SlideAsset, + SlideAssignment, + SlideCandidate, + SlidePlacement, + SlideRelation, + StructurizeContext, +) +from lecturelog.infrastructure.export.obsidian_exporter import ObsidianExporter +from lecturelog.infrastructure.slides.alignment.anchoring import anchor_assignment +from lecturelog.infrastructure.slides.alignment.diagnostics import write_diagnostic +from lecturelog.infrastructure.slides.alignment.sequence import ( + AlignmentWeights, + align_sequence, + strongest_candidate, +) +from lecturelog.infrastructure.slides.alignment.service import ( + AlignmentResult, + DocumentAlignmentService, +) +from lecturelog.infrastructure.structurize.gemini_structurizer import ( + GeminiStructurizer, # noqa: F401 +) +from tests.unit.slides.test_unbound_slides import ( + _COURSE_SLIDE, + _COURSE_VERDICT, + ScriptedLlm, + _assets, + _catalog_response, + _layout, + _prompts, + _semantic, + _srt, +) +from tests.unit.test_gemini_structurizer import ( # noqa: F401 + ScriptedGemini, + _make_structurizer, + prompts_dir, +) + +W = AlignmentWeights() + + +def _cand( + slide, section, lexical, tier="strong", quote="цитата", blocks=None, visual=None, cm=None +): + return SlideCandidate( + slide, + section, + (section + 1,) if blocks is None else blocks, + quote, + section * 10.0, + section * 10.0 + 5, + lexical, + tier, + visual_score=visual, + competition_margin=cm, + ) + + +# ── sequence: ничья силы ─────────────────────────────────────────── + + +def test_ничья_силы_без_пути_отдаёт_более_ранний_раздел_независимо_от_порядка_пула(): + """Порядок кандидатов в пуле — случайность реализации; от него не должен зависеть раздел галереи.""" + early, late = _cand(1, 1, 3.0), _cand(1, 4, 3.0) + for pool in ((early, late), (late, early)): + assert strongest_candidate(pool, W).global_section_id == 1 + + +def test_ничья_силы_отдаёт_выбор_пути_а_не_более_ранний_раздел(): + """Слайд (strong без цитаты) выбран путём в раздел 3; равный по силе кандидат раздела 1 не должен его перебить.""" + chosen = _cand(1, 3, 3.0, quote=None) # unresolved: нет цитаты + other = _cand(1, 1, 3.0, quote=None) + result = align_sequence([1], {1: (chosen, other)}) + assert result[0].match_status == "unbound" + assert result[0].global_section_id == 3 + + +def test_ничья_с_плавающей_точкой_не_ломает_правило_раннего_раздела(): + """0.1+0.2 != 0.3 в float: фактически равные по силе кандидаты не должны решаться шумом округления.""" + a = _cand(1, 4, 0.1 + 0.2) # поздний раздел, «больше» на 1 ulp + b = _cand(1, 1, 0.3) + assert strongest_candidate((a, b), W).global_section_id == 1 + + +def test_кандидат_ровно_на_пороге_unmatched_score_не_доказательство(): + """weak с lexical=0 имеет силу 0 == unmatched_score: слайд уходит в приложение, а не в случайный раздел.""" + result = align_sequence([1], {1: (_cand(1, 2, 0.0, tier="weak"),)}) + assert result[0].match_status == "unmentioned" + assert result[0].global_section_id is None + assert result[0].status_reason == "no_candidates" + + +def test_кандидат_чуть_выше_порога_становится_непривязанным_а_не_теряется(): + result = align_sequence([1], {1: (_cand(1, 2, 0.01, tier="weak"),)}) + assert result[0].match_status == "unbound" + assert result[0].global_section_id == 2 + + +def test_кандидат_с_отрицательной_силой_не_попадает_в_галерею_даже_если_единственный(): + result = align_sequence([1], {1: (_cand(1, 2, 0.5, tier="none"),)}) + assert result[0].match_status == "unmentioned" + + +def test_пустой_пул_и_слайд_без_ключа_в_словаре_дают_неупомянутый_без_падения(): + result = align_sequence([1, 2], {1: ()}) + assert [a.match_status for a in result] == ["unmentioned", "unmentioned"] + assert all(a.status_reason == "no_candidates" for a in result) + + +def test_пустая_колода_не_падает(): + assert align_sequence([], {}) == () + + +def test_visual_score_входит_в_силу_и_переносит_слайд_в_раздел_с_визуальным_доказательством(): + """Слабое лексическое совпадение + сильный visual должны обыграть чисто лексическое.""" + lexical_only = _cand(1, 0, 4.0, tier="weak") + visual = _cand(1, 5, 0.5, tier="weak", visual=0.9) # 0.5 + 2.7 = 3.2 < 4.0 + assert strongest_candidate((lexical_only, visual), W).global_section_id == 0 + visual2 = _cand(1, 5, 0.5, tier="weak", visual=1.0) # 3.5 < 4.0 + assert strongest_candidate((lexical_only, visual2), W).global_section_id == 0 + visual3 = _cand(1, 5, 2.0, tier="weak", visual=1.0) # 5.0 > 4.0 + assert strongest_candidate((lexical_only, visual3), W).global_section_id == 5 + + +# ── sequence: инварианты результата ──────────────────────────────── + + +def test_инварианты_статусов_на_случайных_входах(): + """unbound всегда с разделом, причиной и без якоря; unmentioned/discussed не несут чужих полей.""" + rng = random.Random(7) + tiers = ["explicit", "strong", "weak", "none"] + for _ in range(300): + n = rng.randint(1, 6) + cands = {} + for slide in range(1, n + 1): + pool = tuple( + _cand( + slide, + rng.randint(0, 5), + rng.choice([0.0, 0.5, 1.0, 3.0, 8.0]), + tier=rng.choice(tiers), + quote=rng.choice([None, "q"]), + cm=rng.choice([None, -1.0, 0.0, 2.0]), + ) + for _ in range(rng.randint(0, 3)) + ) + cands[slide] = pool + for item in align_sequence(list(range(1, n + 1)), cands): + if item.match_status == "unbound": + assert item.global_section_id is not None + assert item.anchor_s is None + assert item.assignment_confidence == "unresolved" + assert item.status_reason in { + "weak_evidence", + "deck_order_conflict", + "stronger_competitor", + } + assert item.score > 0 + elif item.match_status == "unmentioned": + assert item.global_section_id is None + assert item.evidence_block_ids == () + assert item.status_reason == "no_candidates" + elif item.match_status == "discussed": + assert item.status_reason is None + assert item.global_section_id is not None + + +def test_дубль_с_кандидатами_остаётся_дублем_и_не_попадает_в_галерею(): + """Иначе одна и та же страница окажется в тексте дважды.""" + rel = SlideRelation(2, "exact_duplicate", "g1", 1) + result = align_sequence( + [1, 2], + {1: (_cand(1, 0, 6.0, quote=None),), 2: (_cand(2, 3, 6.0),)}, + (rel,), + ) + assert result[1].match_status == "duplicate" + assert result[1].global_section_id is None + assert result[1].status_reason is None + + +def test_дубль_непривязанного_слайда_не_дублируется_в_галерее(): + rel = SlideRelation(2, "exact_duplicate", "g1", 1) + result = align_sequence( + [1, 2], + {1: (_cand(1, 0, 6.0, quote=None),), 2: (_cand(2, 0, 6.0, quote=None),)}, + (rel,), + ) + assert result[0].match_status == "unbound" + assert result[1].match_status == "duplicate" + + +def test_reason_code_пропущенного_путём_слайда_не_содержит_margin_выбора_которого_не_было(): + result = align_sequence( + [1, 2], + { + 1: (_cand(1, 5, 9.0, tier="explicit", cm=3.0),), + 2: (_cand(2, 0, 2.0, tier="weak"),), + }, + ) + assert result[1].status_reason == "deck_order_conflict" + assert "margin=none" in result[1].reason_code + assert "nan" not in result[1].reason_code.lower() + + +def test_раздел_непривязанного_берётся_из_сильнейшего_кандидата_а_не_из_последнего_раздела_колоды(): + """Слайд 2 пропущен путём (возврат на 5 разделов назад) — галерея раздела 0, а не раздела соседа.""" + result = align_sequence( + [1, 2], + { + 1: (_cand(1, 5, 9.0, tier="explicit", cm=3.0),), + 2: (_cand(2, 0, 3.0, tier="strong"),), + }, + ) + assert (result[1].match_status, result[1].global_section_id) == ("unbound", 0) + + +# ── _decorate_roles / deck guard ─────────────────────────────────── + + +def test_blank_с_непривязанным_назначением_уходит_в_приложение_без_раздела_и_доказательств(): + """Служебная страница не должна оказаться в галерее раздела и тащить за собой evidence.""" + from lecturelog.domain.slides import SlideCatalogEntry + + unbound = SlideAssignment( + 1, "unbound", 2, (3,), None, "unresolved", 5.0, "semantic", status_reason="weak_evidence" + ) + entry = SlideCatalogEntry(1, "blank", "", "", (), (), "", (), ()) + [out] = DocumentAlignmentService._decorate_roles((unbound,), {1: entry}) + assert out.match_status == "unmentioned" + assert out.global_section_id is None + assert out.evidence_block_ids == () + assert out.status_reason == "service_role" + _, placement = anchor_assignment(out, entry, "текст") + assert placement.output_kind == "appendix" + + +@pytest.mark.asyncio +async def test_колода_только_из_непривязанных_признаётся_посторонней_и_не_попадает_в_галереи( + tmp_path, +): + """Непривязанные не делают колоду «своей»: иначе чужая колода целиком осядет в галереях.""" + srt = _srt( + "Сегодня говорим про организацию курса.", "Разберём бинарное дерево поиска и его вершины." + ) + entry = { + "slide_num": 1, + "title": "Бинарное дерево", + "visible_text": "Бинарное дерево поиска", + "source_concepts": ["дерево поиска"], + } + llm = ScriptedLlm( + [ + _catalog_response(entry), + _semantic(1, 1, [2], "", "strong"), + _semantic(1, 1, [2], "", "strong"), + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 1), section_layout=_layout(2), srt_content=srt + ) + [item] = result.assignments + assert item.match_status == "deck_mismatch" + assert item.global_section_id is None + assert item.status_reason == "deck_mismatch" + assert result.catalog == {} + _, placement = anchor_assignment(item, None, "текст") + assert placement.output_kind == "appendix" + + +@pytest.mark.asyncio +async def test_слайд_c_пустой_цитатой_после_двух_вердиктов_не_получает_якорь_и_доказательство_остаётся( + tmp_path, +): + """Непривязанный несёт evidence_block_ids судьи (для диагностики), но не anchor_s.""" + srt = _srt( + "Сегодня говорим про организацию курса.", "Разберём бинарное дерево поиска и его вершины." + ) + entry = { + "slide_num": 1, + "title": "Бинарное дерево", + "visible_text": "Бинарное дерево поиска", + "source_concepts": ["дерево поиска"], + } + llm = ScriptedLlm( + [ + _catalog_response(entry, _COURSE_SLIDE), + _semantic(1, 1, [2], "", "strong"), + _semantic(1, 1, [2], "", "strong"), + _COURSE_VERDICT, + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_layout(2), srt_content=srt + ) + unbound = result.assignments[0] + assert unbound.match_status == "unbound" + assert unbound.anchor_s is None + assert unbound.evidence_block_ids == (2,) + + +@pytest.mark.asyncio +async def test_непривязанный_с_одним_блоком_с_discussed_слайдом_не_понижает_его_до_probable( + tmp_path, +): + """Коллизия доказательств считается только среди discussed: непривязанный не отнимает verified.""" + srt = _srt( + "Сегодня говорим про организацию курса.", "Разберём бинарное дерево поиска и его вершины." + ) + entry = { + "slide_num": 1, + "title": "Организация", + "visible_text": "организацию курса", + "source_concepts": ["организация курса"], + } + llm = ScriptedLlm( + [ + _catalog_response(entry, _COURSE_SLIDE), + _semantic(1, 0, [1], "", "strong"), + _semantic(1, 0, [1], "", "strong"), + _COURSE_VERDICT, + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_layout(2), srt_content=srt + ) + first, second = result.assignments + assert first.match_status == "unbound" + assert second.match_status == "discussed" + assert second.assignment_confidence != "unresolved" + assert "evidence_collision" not in second.reason_code + + +# ── anchoring ────────────────────────────────────────────────────── + + +def test_непривязанный_не_меняет_markdown_раздела_и_не_вставляет_маркер(): + unbound = SlideAssignment( + 1, "unbound", 0, (1,), None, "unresolved", 5.0, "x", status_reason="weak_evidence" + ) + md = "Абзац про дерево поиска.\n\nВторой абзац." + new_md, placement = anchor_assignment(unbound, None, md) + assert new_md == md + assert " 00:00:10,000\ntext\n", encoding="utf-8") + gemini = ScriptedGemini( + [ + json.dumps([{"title": "T", "start": "0:00", "end": "0:10"}]), + json.dumps( + [{"title": f"S{i}", "start": "0:00", "end": "0:10"} for i in range(sections)] + ), + *(["Rendered text."] * sections), + ] + ) + structurizer = _make_structurizer(gemini, prompts_dir) + structurizer._document_alignment_mode = "v2" + + async def align(**_kwargs): + return AlignmentResult(tuple(assignments), {}) + + monkeypatch.setattr(structurizer._document_alignment, "align", align) + out = tmp_path / "out" + result = await structurizer.structurize( + srt_path=srt, + slide_assets=_assets_for(tmp_path, count), + context=StructurizeContext("audio"), + output_dir=out, + ) + return result, out + + +def _unb(num, section, reason="weak_evidence"): + return SlideAssignment( + num, "unbound", section, (1,), None, "unresolved", 3.0, "semantic", status_reason=reason + ) + + +@pytest.mark.asyncio +async def test_раздел_победитель_за_пределами_числа_разделов_уводит_слайд_в_приложение( + tmp_path, prompts_dir, monkeypatch +): + """Слайд не должен пропасть: global_section_id=7 при одном разделе -> appendix, в slide_indices не попасть.""" + result, _ = await _run_v2(tmp_path, prompts_dir, monkeypatch, [_unb(1, 7)], 1) + [placement] = result.slide_placements + assert placement.output_kind == "appendix" + assert result.topics[0].sections[0].slide_indices == [] + assert result.topics[0].slide_indices == [] + + +@pytest.mark.asyncio +async def test_непривязанный_и_discussed_в_одном_разделе_оба_в_slide_indices_без_дублей( + tmp_path, prompts_dir, monkeypatch +): + discussed = SlideAssignment(1, "discussed", 0, (1,), 1.0, "probable", 9.0, "m") + result, _ = await _run_v2( + tmp_path, + prompts_dir, + monkeypatch, + [_unb(2, 0), discussed, _unb(3, 0, "deck_order_conflict")], + 3, + ) + # Порядок assignments намеренно не по номеру слайда + assert result.topics[0].sections[0].slide_indices == [1, 2, 3] + assert result.topics[0].slide_indices == [1, 2, 3] + assert len({p.slide_num for p in result.slide_placements}) == 3 + + +@pytest.mark.asyncio +async def test_непривязанные_не_уходят_в_render_как_привязанные_к_тексту( + tmp_path, prompts_dir, monkeypatch +): + """Render получает только discussed; непривязанный слайд не должен менять промпт раздела.""" + result, _ = await _run_v2(tmp_path, prompts_dir, monkeypatch, [_unb(1, 0)], 1) + assert "\n\nАбзац два.", + slide_indices=[1, 2, 3], + ) + topic = Topic(title="Т", start="0:00", end="5:00", sections=[sec], slide_indices=[1, 2, 3]) + placements = ( + SlidePlacement(1, "inline", 0, anchor_confidence="probable"), + SlidePlacement( + 2, "section_gallery", 0, gallery_position="after_content", anchor_confidence="fallback" + ), + SlidePlacement(3, "appendix", None, anchor_confidence="none"), + ) + assets = [ + SlideAsset(i, p, "document", extracted_text="", native_text_quality="none") + for i, p in enumerate(paths, 1) + ] + result = await ObsidianExporter().export( + topics=[topic], + media_fragments=[frag], + slide_assets=assets, + slide_placements=placements, + output_dir=tmp_path / "e", + media_kind="audio", + ) + md = (result.output_root / "конспект.md").read_text(encoding="utf-8") + for n in (1, 2, 3): + assert md.count(f"slides/slide-0{n}.png") == 1 + assert md.index("slide-02") > md.index("Абзац два.") + assert md.index("slide-03") > md.index("Непривязанные слайды") + assert md.index("slide-02") < md.index("Непривязанные слайды") + + +@pytest.mark.asyncio +async def test_экспорт_не_падает_если_у_непривязанного_раздела_нет_media_и_секции_пустой(tmp_path): + p = tmp_path / "s1.png" + p.write_bytes(b"png") + sec = Section(title="В", start="0:00", end="5:00", content="", slide_indices=[1]) + topic = Topic(title="Т", start="0:00", end="5:00", sections=[sec], slide_indices=[1]) + result = await ObsidianExporter().export( + topics=[topic], + media_fragments=[], + slide_assets=[SlideAsset(1, p, "document", extracted_text="", native_text_quality="none")], + slide_placements=( + SlidePlacement( + 1, + "section_gallery", + 0, + gallery_position="after_content", + anchor_confidence="fallback", + ), + ), + output_dir=tmp_path / "e", + media_kind="audio", + ) + md = (result.output_root / "конспект.md").read_text(encoding="utf-8") + assert md.count("slides/slide-01.png") == 1 + + +# ── legacy / no-llm ──────────────────────────────────────────────── + + +@pytest.mark.asyncio +async def test_без_llm_слайд_без_лексических_совпадений_остаётся_неупомянутым_а_не_непривязанным( + tmp_path, +): + from tests.unit.slides.test_unbound_slides import _image + + service = DocumentAlignmentService() + result = await service.align( + assets=[ + SlideAsset( + 1, + _image(tmp_path, "a.png"), + "document", + extracted_text="Квантовая хромодинамика глюоны", + native_text_quality="good", + ), + ], + section_layout=_layout(2), + srt_content=_srt("Говорим про организацию курса.", "Разбираем деревья поиска."), + ) + assert result.assignments[0].match_status != "unbound" + assert result.assignments[0].global_section_id is None diff --git a/tests/unit/slides/test_visual_evidence.py b/tests/unit/slides/test_visual_evidence.py new file mode 100644 index 0000000..81dc457 --- /dev/null +++ b/tests/unit/slides/test_visual_evidence.py @@ -0,0 +1,275 @@ +"""Визуальное описание слайда как доказательство привязки. + +Каталог уже описывает картинку каждой страницы (`visual_summary`). Слайд-схема +почти без текста должен привязываться к разделу, где лектор её описывал: описание +участвует в поиске кандидатов и в семантической проверке наравне с видимым +текстом и заполняет визуальную оценку кандидата. Новых вызовов LLM при этом нет. +Проверяется через сервис выравнивания со скриптованной LLM. +""" + +import json + +import pytest + +from lecturelog.domain.slides import SlideAsset +from lecturelog.infrastructure.slides.alignment.diagnostics import write_diagnostic +from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights +from lecturelog.infrastructure.slides.alignment.service import ( + AlignmentTuning, + DocumentAlignmentService, +) + + +class ScriptedLlm: + def __init__(self, responses): + self.responses = list(responses) + self.calls = [] + + async def call(self, **kwargs): + self.calls.append(kwargs) + return self.responses.pop(0) + + +def _srt(*texts: str) -> str: + return "".join( + f"{index}\n00:00:{(index - 1) * 10:02d},000 --> 00:00:{index * 10:02d},000\n{text}\n\n" + for index, text in enumerate(texts, start=1) + ) + + +# Разделы по 20 секунд без общих реплик на границах: в каждом одна +# содержательная реплика (блок 2k+1) и пауза. +_LAYOUT = [ + [ + { + "title": f"Раздел {index}", + "start": f"0:{index * 20 + 1:02d}", + "end": f"0:{index * 20 + 19:02d}", + } + for index in range(4) + ] +] + +_SRT = _srt( + "Сегодня говорим про организацию курса.", + "Пауза.", + "Клиент отправляет запрос серверу, а сервер читает базу данных и возвращает ответ.", + "Пауза.", + "Сортировка пузырьком сравнивает соседние элементы массива.", + "Пауза.", + "Итоги и домашнее задание.", + "Пауза.", +) + +_COURSE_SLIDE = { + "slide_num": 1, + "title": "Организация курса", + "visible_text": "Сегодня говорим про организацию курса", +} + +# Страница-схема: видимого текста нет, содержание — только в описании картинки. +_DIAGRAM_SLIDE = { + "slide_num": 2, + "title": None, + "visible_text": "", + "visual_summary": ( + "Схема: клиент отправляет запрос серверу, сервер обращается к базе данных" + " и возвращает ответ клиенту." + ), +} + + +def _prompts(tmp_path): + prompts = tmp_path / "prompts" + prompts.mkdir(exist_ok=True) + (prompts / "document_slide_catalog_v3.md").write_text("catalog") + (prompts / "document_slide_semantic_match_v1.md").write_text("semantic") + return prompts + + +def _assets(tmp_path, count: int) -> list[SlideAsset]: + assets = [] + for num in range(1, count + 1): + image = tmp_path / f"slide{num}.png" + image.write_bytes(b"\x89PNG\r\n\x1a\n" + image.name.encode()) + assets.append( + SlideAsset(num, image, "document", extracted_text="", native_text_quality="none") + ) + return assets + + +def _catalog_response(*slides: dict) -> str: + return json.dumps( + { + "slides": [ + { + "role": "content", + "title": None, + "visible_text": "", + "source_concepts": [], + "transcript_language_terms": [], + "visual_summary": "", + "formulas": [], + **slide, + } + for slide in slides + ] + } + ) + + +def _semantic(slide_num: int, section: int, blocks: list[int], quote: str, tier: str) -> str: + return json.dumps( + { + "slide_num": slide_num, + "global_section_id": section, + "evidence_block_ids": blocks, + "evidence_quote": quote, + "semantic_tier": tier, + } + ) + + +_COURSE_VERDICT = _semantic(1, 0, [1], "Сегодня говорим про организацию курса.", "explicit") +_DIAGRAM_QUOTE = "Клиент отправляет запрос серверу" + + +@pytest.mark.asyncio +async def test_diagram_slide_without_text_gets_candidate_and_evidence_in_its_section(tmp_path): + """Пустой видимый текст, содержательное описание схемы. + + Поиск кандидатов оставляет один раздел: без описания все оценки нулевые и + выбирается первый раздел, где про схему ни слова. Описание выводит в пул + раздел 1, судья видит описание в запросе и подтверждает раздел цитатой. + Вызовов LLM ровно столько же, сколько у колоды без описаний: один каталог + на пару страниц и одна проверка на слайд. + """ + llm = ScriptedLlm( + [ + _catalog_response(_COURSE_SLIDE, _DIAGRAM_SLIDE), + _COURSE_VERDICT, + _semantic(2, 1, [3], _DIAGRAM_QUOTE, "explicit"), + ] + ) + service = DocumentAlignmentService( + llm=llm, + models=["m"], + prompts_dir=_prompts(tmp_path), + tuning=AlignmentTuning(candidate_limit=1, neighbor_radius=0), + ) + + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT + ) + _, diagram = result.assignments + + assert (diagram.match_status, diagram.global_section_id) == ("discussed", 1) + assert diagram.evidence_block_ids == (3,) + assert len(llm.calls) == 3 + assert llm.responses == [] + # Судья видит описание картинки и кандидата из нужного раздела. + payload = json.loads(llm.calls[2]["prompt"].split("\n", 1)[1]) + assert payload["slide"]["visual_summary"] == _DIAGRAM_SLIDE["visual_summary"] + assert [item["global_section_id"] for item in payload["candidates"]] == [1] + assert 3 in [block["block_id"] for block in payload["candidates"][0]["evidence_blocks"]] + + +@pytest.mark.asyncio +async def test_visual_evidence_reaches_verified_and_diagnostic_shows_its_contribution(tmp_path): + """Strong-вердикт с цитатой сам по себе даёт лишь probable. + + Описание схемы полностью совпадает с речью раздела 1 и не совпадает с + остальными: визуальная оценка высокая, отрыв от конкурентов есть — срабатывает + ветка калибровки по визуальному доказательству, и привязка verified. + Диагностика показывает визуальную оценку и её вклад в силу доказательства. + """ + strong = _semantic(2, 1, [3], _DIAGRAM_QUOTE, "strong") + llm = ScriptedLlm( + [_catalog_response(_COURSE_SLIDE, _DIAGRAM_SLIDE), _COURSE_VERDICT, strong, strong] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT + ) + _, diagram = result.assignments + + assert (diagram.match_status, diagram.global_section_id) == ("discussed", 1) + assert diagram.assignment_confidence == "verified" + assert ":visual=1.000:" in diagram.reason_code + assert diagram.visual_contribution == pytest.approx(2.25) + + path = tmp_path / "diagnostic.json" + write_diagnostic(path, mode="document", assignments=result.assignments) + saved = json.loads(path.read_text(encoding="utf-8"))["assignments"] + assert saved[1]["visual_contribution"] == pytest.approx(2.25) + # У слайда без описания вклада нет. + assert saved[0]["visual_contribution"] is None + + +# Слайд с богатым текстом. Лектор назвал тему в разделе 1 (так подтвердил +# судья), а в разделе 2 нарисовал схему и повторил термины страницы — по +# лексике раздел 2 чуть сильнее (margin около −2.3, в пределах допуска шума). +_HTTP_SRT = _srt( + "Сегодня говорим про организацию курса.", + "Пауза.", + "Протокол HTTP, метод запроса.", + "Пауза.", + "Нарисуем: прямоугольники браузера и веб-сервера, стрелки сообщений; запрос HTTP:" + " метод, заголовки, тело; ответ: код статуса, заголовки, тело.", + "Пауза.", + "Итоги и домашнее задание.", + "Пауза.", +) +_HTTP_SLIDE = { + "slide_num": 2, + "title": "Протокол HTTP", + "visible_text": "Запрос HTTP: метод, заголовки, тело\nОтвет: код статуса, заголовки, тело", + "source_concepts": ["метод запроса", "код статуса"], +} +_HTTP_VERDICT = _semantic(2, 1, [3], "Протокол HTTP, метод запроса.", "explicit") + + +async def _align_http_slide(tmp_path, visual_summary: str, tuning: AlignmentTuning | None = None): + llm = ScriptedLlm( + [ + _catalog_response(_COURSE_SLIDE, {**_HTTP_SLIDE, "visual_summary": visual_summary}), + _COURSE_VERDICT, + _HTTP_VERDICT, + ] + ) + service = DocumentAlignmentService( + llm=llm, models=["m"], prompts_dir=_prompts(tmp_path), tuning=tuning or AlignmentTuning() + ) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_HTTP_SRT + ) + return result.assignments[1], len(llm.calls) + + +@pytest.mark.asyncio +async def test_visual_summary_of_text_rich_slide_does_not_create_stronger_competitor(tmp_path): + """Описание картинки целиком совпадает с речью раздела-конкурента. + + Лексический отрыв выбора здесь уже −2.28. Будь вес описания полным, отрыв + упал бы ниже порога margin, и слайд ушёл бы непривязанным к конкуренту, хотя + текст страницы и цитата судьи указывают на раздел 1. Вес описания + пропорционален его доле в содержании страницы, поэтому у слайда с богатым + текстом оно остаётся добавкой (−0.96): привязка и уверенность те же, что и + без описания, вызовов LLM столько же. Порог −5 задан явно: тест про долю + описания, а не про калибровку порога — при дефолтных −2.5 запас у этой + фикстуры 0.2, и добавка его съедает. + """ + tuning = AlignmentTuning(weights=AlignmentWeights(min_margin=-5.0)) + without, calls_without = await _align_http_slide(tmp_path, "", tuning) + with_visual, calls_with = await _align_http_slide( + tmp_path, + "Схема: прямоугольники браузера и веб-сервера соединены стрелками сообщений.", + tuning, + ) + + assert (without.match_status, without.global_section_id) == ("discussed", 1) + assert (with_visual.match_status, with_visual.global_section_id) == ("discussed", 1) + assert with_visual.assignment_confidence == without.assignment_confidence + assert with_visual.status_reason is None + assert calls_with == calls_without == 3 diff --git a/tests/unit/slides/test_visual_evidence_edge_cases.py b/tests/unit/slides/test_visual_evidence_edge_cases.py new file mode 100644 index 0000000..63dc129 --- /dev/null +++ b/tests/unit/slides/test_visual_evidence_edge_cases.py @@ -0,0 +1,376 @@ +# ruff: noqa: E501 +"""Краевые случаи тикета 07: визуальное описание слайда как доказательство. + +Тихие отказы: описание-«мусор» поднимает оценку у всех разделов сразу, +привязка получает verified без подтверждения модели, описание-утверждение +ставит картинку в абзац, где о ней не говорили. +""" + +import json +import subprocess +import sys +import textwrap + +import pytest + +from lecturelog.domain.slides import SectionRef, SlideAssignment, SlideCatalogEntry, TranscriptBlock +from lecturelog.infrastructure.slides.alignment.anchoring import anchor_assignment +from lecturelog.infrastructure.slides.alignment.confidence import calibrate +from lecturelog.infrastructure.slides.alignment.diagnostics import write_diagnostic +from lecturelog.infrastructure.slides.alignment.retrieval import generate_candidates +from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights +from lecturelog.infrastructure.slides.alignment.service import DocumentAlignmentService +from tests.unit.slides.test_visual_evidence import ( + _COURSE_SLIDE, + _COURSE_VERDICT, + _DIAGRAM_QUOTE, + _DIAGRAM_SLIDE, + _LAYOUT, + _SRT, + ScriptedLlm, + _assets, + _catalog_response, + _prompts, + _semantic, + _srt, +) + + +def _sections(count=4): + return [ + SectionRef(index, 0, index, index * 20.0, index * 20.0 + 19.0) for index in range(count) + ] + + +def _blocks(*texts): + return [ + TranscriptBlock( + i + 1, (i // 2) * 20.0 + (i % 2) * 5.0, (i // 2) * 20.0 + (i % 2) * 5.0 + 4.0, text + ) + for i, text in enumerate(texts) + ] + + +_TEXTS = ( + "Сегодня говорим про организацию курса.", + "Пауза.", + "Клиент отправляет запрос серверу, а сервер читает базу данных и возвращает ответ.", + "Пауза.", + "Сортировка пузырьком сравнивает соседние элементы массива.", + "Пауза.", + "Итоги и домашнее задание.", + "Пауза.", +) + + +def _entry(visual="", visible="", title=None, **kwargs): + return SlideCatalogEntry(2, "content", title, visible, visual_summary=visual, **kwargs) + + +def _cands(entry, texts=_TEXTS, **kwargs): + return generate_candidates( + entry, _sections(), _blocks(*texts), weights=AlignmentWeights(), **kwargs + ) + + +# ── ось данных: пустое, короткое, дубль ───────────────────────────── + + +@pytest.mark.parametrize("visual", ["", " ", "\n\t", "...!!!", "🙂🙂🙂", "на ту и по за из"]) +def test_описание_без_содержательных_слов_не_даёт_визуальной_оценки_потому_что_иначе_пустая_оценка_превратится_в_нулевую_улику( + visual, +): + """Нечем сравнивать — должно быть None, не число: диагностика не должна врать, что визуал «проверен и равен нулю».""" + result = _cands(_entry(visual=visual, visible="Сортировка пузырьком")) + assert all(c.visual_score is None for c in result) + + +def test_описание_целиком_дублирующее_видимый_текст_не_считается_второй_раз(): + """Двойной счёт одного и того же слова даёт слайду с текстом лишнюю силу доказательства.""" + entry = _entry( + visual="Сортировка пузырьком", visible="Сортировка пузырьком сравнивает элементы" + ) + assert all(c.visual_score is None for c in _cands(entry)) + + +def test_описание_не_в_латинице_а_в_иероглифах_не_роняет_поиск_и_не_даёт_оценки(): + result = _cands(_entry(visual="服务器 数据库 请求 响应", visible="")) + assert result and all(not c.visual_score for c in result) + + +def test_описание_на_10к_символов_из_одного_слова_не_даёт_полной_оценки_без_трёх_разных_основ(): + """Повтор одного слова — не три разные основы: насыщение не должно срабатывать от количества повторов.""" + result = _cands(_entry(visual="сервер " * 1500)) + assert max(c.visual_score or 0.0 for c in result) < 1.0 + + +# ── общие слова описаний как ложные совпадения со всеми разделами ──── + + +def test_общие_слова_описаний_звучащие_в_каждом_разделе_не_дают_высокой_визуальной_оценки(): + """«слайд/схема/изображение/диаграмма» звучат везде: оценка 1.0 у всех разделов подменяет различение и открывает verified-ветку.""" + texts = tuple( + f"На этом слайде схема и диаграмма, изображение номер {i}." if i % 2 == 0 else "Пауза." + for i in range(8) + ) + entry = _entry(visual="Слайд: схема и диаграмма, изображение.") + result = _cands(entry, texts) + assert max(c.visual_score or 0.0 for c in result) < 0.85 + + +def test_общие_слова_описания_не_создают_кандидата_с_силой_выше_порога_лексического_пути_в_каждом_разделе(): + """Без различающих слов сила 3·1.0 у всех разделов проходит порог >1.0 в _lexical_ground: слайд «подтверждён» любым разделом.""" + texts = tuple( + f"На слайде схема, диаграмма и изображение {i}." if i % 2 == 0 else "Пауза." + for i in range(8) + ) + result = _cands(_entry(visual="Слайд: схема, диаграмма, изображение."), texts) + strong = [c for c in result if (c.visual_score or 0.0) * 3.0 > 1.0] + assert len(strong) <= 1 + + +def test_одно_общее_слово_не_даёт_полной_оценки(): + result = _cands(_entry(visual="Схема: сервер.")) + assert max(c.visual_score or 0.0 for c in result) < 0.5 + + +# ── язык и алфавит ─────────────────────────────────────────────────── + + +def test_английское_описание_при_русской_речи_не_даёт_ложной_оценки_через_кириллическую_основу(): + result = _cands( + _entry(visual="Diagram: client sends request to server, server reads database.") + ) + assert all(not c.visual_score for c in result) + + +def test_смешанная_латиница_и_кириллица_в_основе_не_склеивает_разные_слова(): + """«сервер» кириллицей и «cepвep» с латинскими буквами-двойниками — разные токены, совпадения быть не должно.""" + latin_lookalike = "cepвep" # c, e, p латинские + result = _cands(_entry(visual=f"{latin_lookalike} {latin_lookalike}a базaданных")) + assert all(not c.visual_score for c in result) + + +def test_регистр_и_ё_не_ломают_совпадение_основ(): + texts = ("Пауза.", "Пауза.", "ЖЁЛТЫЙ СЕРВЕР принимает ЗАПРОС и ХРАНИТ данные.", "Пауза.") + ( + "Пауза.", + ) * 4 + result = _cands(_entry(visual="жёлтый сервер принимает запрос и хранит данные"), texts) + best = max(result, key=lambda c: c.visual_score or 0.0) + assert best.global_section_id == 1 and best.visual_score > 0.9 + + +# ── одинаковые описания у нескольких слайдов ──────────────────────── + + +@pytest.mark.asyncio +async def test_два_слайда_с_одинаковым_описанием_не_получают_оба_verified_на_одной_реплике( + tmp_path, +): + """Одно и то же описание на двух разных страницах не должно считаться уникальным доказательством для каждой: коллизия доказательства понижается.""" + twin = {**_DIAGRAM_SLIDE, "slide_num": 3} + strong = _semantic(2, 1, [3], _DIAGRAM_QUOTE, "strong") + strong3 = _semantic(3, 1, [3], _DIAGRAM_QUOTE, "strong") + llm = ScriptedLlm( + [ + _catalog_response(_COURSE_SLIDE, _DIAGRAM_SLIDE, twin), + _COURSE_VERDICT, + strong, + strong, + strong3, + strong3, + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 3), section_layout=_LAYOUT, srt_content=_SRT + ) + verified = [a for a in result.assignments[1:] if a.assignment_confidence == "verified"] + assert len(verified) < 2 + + +# ── решение оркестратора: verified только с подтверждением модели ─── + + +@pytest.mark.parametrize("tier", ["weak", "none"]) +def test_calibrate_не_выдаёт_verified_слабому_вердикту_с_высокой_визуальной_оценкой_потому_что_модель_не_подтверждала( + tier, +): + result = calibrate( + semantic_tier=tier, + margin=3.0, + has_grounded_evidence=True, + has_competing_context=True, + visual_score=0.95, + min_margin=-5.0, + ) + assert result.confidence != "verified" + + +def test_calibrate_не_выдаёт_verified_без_цитаты_и_вердикта_даже_при_идеальной_визуальной_оценке(): + result = calibrate( + semantic_tier="none", + margin=3.0, + has_grounded_evidence=False, + has_competing_context=True, + visual_score=1.0, + min_margin=-5.0, + ) + assert result.confidence != "verified" + + +@pytest.mark.asyncio +async def test_кандидат_глобального_восстановления_после_weak_судьи_не_становится_verified_по_описанию( + tmp_path, +): + """Судья сказал weak — _global_recovery находит раздел лексикой+описанием; verified здесь = утверждение без единого подтверждения модели.""" + llm = ScriptedLlm( + [ + _catalog_response(_COURSE_SLIDE, _DIAGRAM_SLIDE), + _COURSE_VERDICT, + _semantic(2, 1, [3], _DIAGRAM_QUOTE, "weak"), + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT + ) + diagram = result.assignments[1] + assert diagram.assignment_confidence != "verified" + + +@pytest.mark.asyncio +async def test_без_llm_вообще_лексика_и_описание_не_дают_verified_потому_что_модель_не_участвовала( + tmp_path, +): + service = DocumentAlignmentService(llm=None, models=[], prompts_dir=_prompts(tmp_path)) + entries = { + 2: SlideCatalogEntry( + 2, "content", None, "", visual_summary=_DIAGRAM_SLIDE["visual_summary"] + ) + } + # без каталога путь лексики недоступен через align; проверяем сам лексический путь + sections = _sections() + blocks = _blocks(*_TEXTS) + pool = generate_candidates(entries[2], sections, blocks, weights=AlignmentWeights()) + grounded = service._lexical_ground(entries[2], pool, blocks, AlignmentWeights()) + assert grounded is not None + from lecturelog.infrastructure.slides.alignment.sequence import align_sequence + + others = service._with_competition(grounded, pool, AlignmentWeights()) + item = align_sequence([2], {2: (others,)}, (), AlignmentWeights())[0] + assert item.assignment_confidence != "verified" + + +# ── детерминизм ───────────────────────────────────────────────────── + + +def test_визуальная_оценка_не_зависит_от_PYTHONHASHSEED_потому_что_сумма_idf_идёт_по_множеству(): + """Порядок суммирования float по set меняется между процессами; оценка у порога 0.85 может дрогнуть и сменить уверенность между прогонами.""" + code = textwrap.dedent( + """ + from lecturelog.domain.slides import SlideCatalogEntry, SectionRef, TranscriptBlock + from lecturelog.infrastructure.slides.alignment.retrieval import generate_candidates + from lecturelog.infrastructure.slides.alignment.sequence import AlignmentWeights + words = "альфа бета гамма дельта эпсилон дзета тета йота каппа лямбда сигма омега".split() + sections = [SectionRef(i, 0, i, i*20.0, i*20.0+19.0) for i in range(6)] + texts = [" ".join(words[: 3 + (i * 2) % 9]) + " " + " ".join(words[i:i+2]) for i in range(6)] + blocks = [TranscriptBlock(i+1, i*20.0+1, i*20.0+9, t) for i, t in enumerate(texts)] + e = SlideCatalogEntry(1, "content", None, "", visual_summary=" ".join(words)) + r = generate_candidates(e, sections, blocks, weights=AlignmentWeights(), limit=6) + print([(c.global_section_id, repr(c.visual_score), repr(c.lexical_score)) for c in r]) + """ + ) + outputs = set() + for seed in ("1", "2", "3", "4", "5", "6", "7", "8"): + proc = subprocess.run( + [sys.executable, "-I", "-c", code], + capture_output=True, + text=True, + env={"PYTHONHASHSEED": seed, "PATH": "", "PYTHONPATH": ":".join(sys.path)}, + check=True, + ) + outputs.add(proc.stdout) + assert len(outputs) == 1 + + +# ── якорение: описание как утверждение ────────────────────────────── + + +def _assignment(confidence): + return SlideAssignment(2, "discussed", 1, (3,), 30.0, confidence, 5.0, "r") + + +_MD = ( + "# Тема\n\n" + "Здесь мы обсуждаем протокол и его заголовки.\n\n" + "На слайде пока видно только заголовок, схема будет потом.\n\n" + "Итоги." +) + + +def test_описание_из_общих_слов_не_ставит_verified_картинку_в_абзац_где_о_ней_не_говорили(): + """Схема без текста, нужного абзаца в конспекте нет. Без описания картинка в галерее; с описанием «На слайде изображена схема» два общих слова абзаца про «слайде… схема» считаются утверждением, и verified (специфичность не проверяется) якорит картинку в чужой абзац.""" + without = _entry(visual="") + with_visual = _entry(visual="На слайде изображена схема с тремя блоками") + _, before = anchor_assignment(_assignment("verified"), without, _MD) + _, after = anchor_assignment(_assignment("verified"), with_visual, _MD) + assert before.output_kind == "section_gallery" + assert after.output_kind == "section_gallery" + + +def test_описание_из_общих_слов_не_переносит_probable_картинку_из_галереи_в_абзац(): + """Для probable нужна дословная фраза/редкий токен; предложение-описание из двух общих слов не должно её давать.""" + entry = _entry(visual="На слайде изображена схема", title=None, visible="") + _, placement = anchor_assignment(_assignment("probable"), entry, _MD) + assert placement.output_kind != "inline" + + +def test_описание_не_ломается_на_пустом_markdown_и_пустом_описании(): + _, placement = anchor_assignment(_assignment("verified"), _entry(visual=""), "") + assert placement.output_kind == "section_gallery" + + +# ── диагностика ───────────────────────────────────────────────────── + + +def test_старое_назначение_без_visual_contribution_сериализуется_с_null_а_не_падает(tmp_path): + old = SlideAssignment(1, "unmentioned", None, (), None, "unresolved", 0.0, "x") + path = tmp_path / "d.json" + write_diagnostic(path, mode="document", assignments=(old,)) + saved = json.loads(path.read_text(encoding="utf-8"))["assignments"][0] + assert saved["visual_contribution"] is None + + +@pytest.mark.asyncio +async def test_визуальный_вклад_виден_и_у_непривязанного_слайда(tmp_path): + """unbound с описанием: диагностика должна показать вклад, иначе причину «слабо» не разобрать.""" + llm = ScriptedLlm( + [ + _catalog_response(_COURSE_SLIDE, _DIAGRAM_SLIDE), + _COURSE_VERDICT, + _semantic(2, 1, [3], _DIAGRAM_QUOTE, "weak"), + ] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT + ) + diagram = result.assignments[1] + if diagram.match_status in {"unbound", "discussed"}: + assert diagram.visual_contribution is not None + + +@pytest.mark.asyncio +async def test_описание_без_слов_в_речи_не_привязывает_слайд_к_случайному_разделу(tmp_path): + """Описание не про лекцию: слайд не должен стать discussed только из-за описания.""" + slide = {"slide_num": 2, "visual_summary": "Фотография горного озера на закате с лодкой."} + llm = ScriptedLlm( + [_catalog_response(_COURSE_SLIDE, slide), _COURSE_VERDICT, _semantic(2, 1, [3], "", "none")] + ) + service = DocumentAlignmentService(llm=llm, models=["m"], prompts_dir=_prompts(tmp_path)) + result = await service.align( + assets=_assets(tmp_path, 2), section_layout=_LAYOUT, srt_content=_SRT + ) + assert result.assignments[1].match_status != "discussed" + assert _srt # импорт используется diff --git a/tests/unit/slides/test_visual_filler.py b/tests/unit/slides/test_visual_filler.py new file mode 100644 index 0000000..0d9762b --- /dev/null +++ b/tests/unit/slides/test_visual_filler.py @@ -0,0 +1,53 @@ +"""Слова-описатели картинки сравниваются по целым словам, а не по коротким началам.""" + +from __future__ import annotations + +import pytest + +from lecturelog.infrastructure.slides.alignment.grounding import is_visual_filler + + +@pytest.mark.parametrize( + "word", + [ + "фон", + "фоне", + "фоновый", + "Цвет", + "цветов", + "цветной", + "текст", + "тексте", + "схема", + "схемы", + "show", + "shows", + "виден", + "видна", + "слайдов", + "изображение", + ], +) +def test_описатель_картинки_отфильтровывается(word): + assert is_visual_filler(word) + + +@pytest.mark.parametrize( + "word", + [ + "фонд", + "фонарь", + "фондовый", + "цветок", + "цветение", + "текстиль", + "текстура", + "контекст", + "схемотехника", + "showcase", + "видный", + "виднеться", + ], +) +def test_обычное_слово_с_общим_началом_не_описатель(word): + assert not is_visual_filler(word) diff --git a/tests/unit/test_gemini_structurizer.py b/tests/unit/test_gemini_structurizer.py index 58d7d46..6517a98 100644 --- a/tests/unit/test_gemini_structurizer.py +++ b/tests/unit/test_gemini_structurizer.py @@ -2,7 +2,8 @@ import pytest -from lecturelog.domain.slides import SlideAsset, StructurizeContext +from lecturelog.domain.slides import SlideAsset, SlideAssignment, StructurizeContext +from lecturelog.infrastructure.slides.alignment.service import AlignmentResult from lecturelog.infrastructure.structurize.gemini_structurizer import ( GeminiStructurizer, _parse_json, @@ -47,6 +48,59 @@ async def test_v2_uses_evidence_and_does_not_send_slide_to_render(tmp_path, prom assert all(not call["images"] for call in gemini.recorded_calls) +@pytest.mark.asyncio +async def test_v2_anchor_entry_excludes_deck_boilerplate(tmp_path, prompts_dir, monkeypatch): + from lecturelog.infrastructure.structurize import gemini_structurizer as module + + captured = [] + real_anchor = module.anchor_assignment + + def spy(assignment, entry, content, **kwargs): + captured.append(entry) + return real_anchor(assignment, entry, content, **kwargs) + + monkeypatch.setattr(module, "anchor_assignment", spy) + srt = tmp_path / "t.srt" + srt.write_text( + "1\n00:00:00,000 --> 00:00:10,000\nТеперь разберём бинарное дерево поиска и его вершины.\n", + encoding="utf-8", + ) + slide = tmp_path / "slide.png" + slide.write_bytes(b"slide") + topics_json = json.dumps([{"title": "Деревья", "start": "0:00", "end": "0:10"}]) + sections_json = json.dumps([{"title": "Поиск", "start": "0:00", "end": "0:10"}]) + gemini = ScriptedGemini([topics_json, sections_json, "Бинарное дерево поиска.\n\nВершины."]) + structurizer = _make_structurizer(gemini, prompts_dir) + structurizer._document_alignment_mode = "v2" + footer = "Курс Алгоритмы 2026" + assets = [ + SlideAsset( + num, + slide, + "document", + extracted_text=f"{body}\n{footer}", + native_text_quality="good", + ) + for num, body in enumerate( + ["Бинарное дерево поиска. Вершины.", "Обход графа в ширину", "Сортировка слиянием"], + start=1, + ) + ] + + await structurizer.structurize( + srt_path=srt, + slide_assets=assets, + context=StructurizeContext("audio"), + output_dir=tmp_path / "out", + ) + + assert captured + for entry in captured: + assert entry is not None + assert footer not in entry.visible_text + assert footer not in entry.title + + @pytest.mark.asyncio async def test_v2_alignment_failure_falls_back_to_appendix(tmp_path, prompts_dir, monkeypatch): srt = tmp_path / "t.srt" @@ -173,6 +227,140 @@ def fail(*_args, **_kwargs): assert result.slide_assignments +@pytest.mark.asyncio +async def test_v2_unbound_slide_lands_in_section_gallery(tmp_path, prompts_dir, monkeypatch): + """Непривязанный слайд — в галерее раздела (slide_indices секции), неупомянутый — нет. + + Формат результата прежний: слайд галереи виден только через slide_indices + секции, маркера в тексте нет; причина видна в диагностике. + """ + srt = tmp_path / "t.srt" + srt.write_text("1\n00:00:00,000 --> 00:00:10,000\ntext\n", encoding="utf-8") + assets = [] + for num in (1, 2): + path = tmp_path / f"slide{num}.png" + path.write_bytes(f"slide{num}".encode()) + assets.append( + SlideAsset(num, path, "document", extracted_text="text", native_text_quality="good") + ) + gemini = ScriptedGemini( + [ + json.dumps([{"title": "T", "start": "0:00", "end": "0:10"}]), + json.dumps([{"title": "S", "start": "0:00", "end": "0:10"}]), + "Rendered text.", + ] + ) + structurizer = _make_structurizer(gemini, prompts_dir) + structurizer._document_alignment_mode = "v2" + + async def align(**_kwargs): + return AlignmentResult( + ( + SlideAssignment( + 1, + "unbound", + 0, + (1,), + None, + "unresolved", + 3.0, + "semantic_strong", + status_reason="weak_evidence", + ), + SlideAssignment( + 2, + "unmentioned", + None, + (), + None, + "unresolved", + 0.0, + "no_supported_evidence", + status_reason="no_candidates", + ), + ), + {}, + ) + + monkeypatch.setattr(structurizer._document_alignment, "align", align) + output_dir = tmp_path / "out" + result = await structurizer.structurize( + srt_path=srt, + slide_assets=assets, + context=StructurizeContext("audio"), + output_dir=output_dir, + ) + + gallery, appendix = result.slide_placements + assert (gallery.output_kind, gallery.global_section_id) == ("section_gallery", 0) + assert appendix.output_kind == "appendix" + assert result.topics[0].sections[0].slide_indices == [1] + assert " 00:00:05,000\nЧто такое СУБД? Это система хранения.\n\n" + "2\n00:00:05,000 --> 00:00:10,000\n" + "Пример проникновения слоев архитектуры между программными компонентами\n", + encoding="utf-8", + ) + slide = tmp_path / "slide.png" + slide.write_bytes(b"slide") + gemini = ScriptedGemini( + [ + json.dumps([{"title": "T", "start": "0:00", "end": "0:10"}]), + json.dumps([{"title": "S", "start": "0:00", "end": "0:10"}]), + "Что такое **СУБД**? Это система хранения данных.\n\n" + "В качестве примера проникновения слоев архитектуры между программными " + "компонентами показаны слой бизнес-логики и слой хранения данных.", + ] + ) + structurizer = _make_structurizer(gemini, prompts_dir) + structurizer._document_alignment_mode = "v2" + + async def align(**_kwargs): + return AlignmentResult( + (SlideAssignment(1, "discussed", 0, (2,), 5.0, "verified", 50.0, "matched"),), + {}, + ) + + monkeypatch.setattr(structurizer._document_alignment, "align", align) + result = await structurizer.structurize( + srt_path=srt, + slide_assets=[ + SlideAsset( + 1, + slide, + "document", + extracted_text="Функции СУБД\nслой бизнес-логики\nслой хранения данных", + native_text_quality="good", + ) + ], + context=StructurizeContext("audio"), + output_dir=tmp_path / "out", + ) + + assert result.slide_placements[0].block_index == 1 + assert ( + result.topics[0].sections[0].content.endswith("слой хранения данных.\n\n") + ) + + def test_parse_json_strips_code_fence(): assert _parse_json("```json\n[1, 2]\n```") == [1, 2] @@ -298,6 +486,15 @@ async def test_structurize_normalizes_srt_timecodes_with_milliseconds(tmp_path, assert topics[0].sections[0].end == "00:05:00" +# Реплики лежат на границах подтем: сдвиг к границам реплики их не трогает. +_THREE_CUES_SRT = ( + "1\n00:00:00,000 --> 00:04:00,000\nа\n\n" + "2\n00:04:00,000 --> 00:07:00,000\nб\n\n" + "3\n00:07:00,000 --> 00:10:00,000\nв\n" +) +_SIX_MIN_CUES_SRT = "1\n00:00:00,000 --> 00:06:00,000\nа\n\n2\n00:06:00,000 --> 00:10:00,000\nб\n" + + @pytest.mark.asyncio async def test_structurize_repairs_inverted_section_range(tmp_path, prompts_dir): """Сплиттер иногда выдаёт секцию с end <= start. @@ -307,7 +504,7 @@ async def test_structurize_repairs_inverted_section_range(tmp_path, prompts_dir) колоды. Границу чиним по соседям: конец битой секции — начало следующей. """ srt = tmp_path / "t.srt" - srt.write_text("1\n00:00:00,000 --> 00:10:00,000\nтекст\n", encoding="utf-8") + srt.write_text(_THREE_CUES_SRT, encoding="utf-8") topics_json = json.dumps([{"title": "Тема 1", "start": "00:00:00", "end": "00:10:00"}]) sections_json = json.dumps( @@ -336,7 +533,7 @@ async def test_structurize_repairs_inverted_section_range(tmp_path, prompts_dir) async def test_structurize_repairs_inverted_range_in_last_section(tmp_path, prompts_dir): """У последней секции соседа справа нет — границу берём из конца транскрипта.""" srt = tmp_path / "t.srt" - srt.write_text("1\n00:00:00,000 --> 00:10:00,000\nтекст\n", encoding="utf-8") + srt.write_text(_SIX_MIN_CUES_SRT, encoding="utf-8") topics_json = json.dumps([{"title": "Тема 1", "start": "00:00:00", "end": "00:10:00"}]) sections_json = json.dumps( @@ -584,11 +781,12 @@ async def test_v2_render_prompt_carries_slide_spellings(tmp_path, prompts_dir): @pytest.mark.asyncio async def test_render_context_covers_unassigned_slides(tmp_path, prompts_dir): - """Потерянный слайд обязан подсказывать написание. + """Потерянный соседний слайд обязан подсказывать написание. - Слайд 7 (ENIAC) не привязался именно потому, что ASR дал «Мониак». Если + Слайд 2 (ENIAC) не привязался именно потому, что ASR дал «Мониак». Если подсказки брать только с привязанных слайдов, круг не разорвать: искажение - мешает матчингу, а без матчинга нет подсказки для его исправления. + мешает матчингу, а без матчинга нет подсказки для его исправления. Поэтому + справочник раздела берёт и страницы ±1 от привязанных. """ srt = tmp_path / "t.srt" srt.write_text( @@ -655,3 +853,457 @@ def test_slide_context_block_lists_only_proper_nouns(): assert "Fortran" in block assert "владение более чем одним" not in block assert "Востребованные компетенции" not in block + + +def _cues_srt(*cues): + """cues: (начало, конец, текст) в секундах.""" + + def stamp(value): + return f"00:{value // 60:02d}:{value % 60:02d},000" + + return "\n\n".join( + f"{i}\n{stamp(a)} --> {stamp(b)}\n{text}" for i, (a, b, text) in enumerate(cues, start=1) + ) + + +async def _run_subsplit(tmp_path, prompts_dir, srt_text, sections, renders): + srt = tmp_path / "t.srt" + srt.write_text(srt_text, encoding="utf-8") + topics_json = json.dumps([{"title": "Тема", "start": "00:00:00", "end": "00:10:00"}]) + gemini = ScriptedGemini([topics_json, json.dumps(sections), *renders]) + topics = await _make_structurizer(gemini, prompts_dir).structurize( + srt_path=srt, slide_images=[], output_dir=tmp_path / "out" + ) + render_prompts = [call["prompt"] for call in gemini.recorded_calls[2:]] + return topics, render_prompts + + +@pytest.mark.asyncio +async def test_boundary_mid_cue_does_not_duplicate_cue_in_two_subtopics(tmp_path, prompts_dir): + srt = _cues_srt( + (0, 60, "первая"), (60, 120, "вторая"), (120, 180, "третья"), (180, 240, "четвёртая") + ) + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:01:50"}, + {"title": "Б", "start": "00:01:50", "end": "00:04:00"}, + ] + topics, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a", "b"]) + + # 110 с лежит в реплике 60-120 ближе к её концу -> граница на 120 с + assert [(s.start, s.end) for s in topics[0].sections] == [ + ("00:00:00", "00:02:00"), + ("00:02:00", "00:04:00"), + ] + first, second = prompts + assert "первая" in first and "вторая" in first and "третья" not in first + assert "третья" in second and "четвёртая" in second and "вторая" not in second + + +@pytest.mark.asyncio +async def test_boundary_on_cue_edge_does_not_duplicate_abutting_cue(tmp_path, prompts_dir): + """Граница ровно на стыке реплик: перекрытие по таймкодам дало бы обеим подтемам по реплике.""" + srt = _cues_srt((0, 60, "первая"), (60, 120, "вторая")) + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:01:00"}, + {"title": "Б", "start": "00:01:00", "end": "00:02:00"}, + ] + _, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a", "b"]) + + assert "вторая" not in prompts[0] and "первая" not in prompts[1] + + +@pytest.mark.asyncio +async def test_every_cue_lands_in_exactly_one_subtopic_and_boundaries_are_monotonic( + tmp_path, prompts_dir +): + cues = [(i * 30, i * 30 + 30, f"реплика{i:02d}") for i in range(10)] + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:01:20"}, + {"title": "Б", "start": "00:01:20", "end": "00:02:50"}, + {"title": "В", "start": "00:02:50", "end": "00:05:00"}, + ] + topics, prompts = await _run_subsplit( + tmp_path, prompts_dir, _cues_srt(*cues), sections, ["a", "b", "c"] + ) + + for _, _, text in cues: + assert sum(text in prompt for prompt in prompts) == 1, text + secs = topics[0].sections + assert [s.start for s in secs] == sorted(s.start for s in secs) + assert all(s.start < s.end for s in secs) + + +@pytest.mark.asyncio +async def test_gap_between_subtopics_does_not_lose_cues(tmp_path, prompts_dir): + srt = _cues_srt((0, 60, "первая"), (60, 120, "вторая"), (120, 180, "третья")) + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:01:00"}, + {"title": "Б", "start": "00:02:00", "end": "00:03:00"}, + ] + _, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a", "b"]) + + # реплика из зазора достаётся предыдущей подтеме, но только ей + assert "вторая" in prompts[0] and "вторая" not in prompts[1] + + +@pytest.mark.asyncio +async def test_subtopic_collapsed_by_snapping_is_dropped_and_cues_stay_unique( + tmp_path, prompts_dir +): + """Две границы внутри одной длинной реплики: подтема короче реплики схлопывается. + + Решение: подтема без реплик удаляется вместе с заголовком (рендер по пустому + фрагменту выдумывал бы текст), реплики не дублируются и не теряются. + """ + srt = _cues_srt((0, 60, "первая"), (60, 180, "длинная"), (180, 240, "последняя")) + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:01:20"}, + {"title": "Б", "start": "00:01:20", "end": "00:01:40"}, + {"title": "В", "start": "00:01:40", "end": "00:04:00"}, + ] + topics, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a", "b"]) + + assert [s.title for s in topics[0].sections] == ["А", "В"] + assert len(prompts) == 2 + for text in ("первая", "длинная", "последняя"): + assert sum(text in prompt for prompt in prompts) == 1, text + + +@pytest.mark.asyncio +async def test_topic_without_cues_after_snapping_is_omitted(tmp_path, prompts_dir): + """Если схлопнулись все подтемы темы, пустая тема в результат не попадает.""" + srt = _cues_srt((0, 120, "одна"), (120, 240, "вторая")) + topics_json = json.dumps( + [ + {"title": "Т1", "start": "00:00:00", "end": "00:03:50"}, + {"title": "Т2", "start": "00:03:50", "end": "00:04:00"}, + ] + ) + sub1 = json.dumps([{"title": "А", "start": "00:00:00", "end": "00:03:50"}]) + sub2 = json.dumps( + [ + {"title": "Б", "start": "00:03:50", "end": "00:03:55"}, + {"title": "В", "start": "00:03:55", "end": "00:04:00"}, + ] + ) + p = tmp_path / "t.srt" + p.write_text(srt, encoding="utf-8") + gemini = ScriptedGemini([topics_json, sub1, sub2, "x"]) + topics = await _make_structurizer(gemini, prompts_dir).structurize( + srt_path=p, slide_images=[], output_dir=tmp_path / "out" + ) + assert [t.title for t in topics] == ["Т1"] + assert [s.title for s in topics[0].sections] == ["А"] + + +@pytest.mark.asyncio +async def test_cues_before_first_subtopic_start_are_not_lost(tmp_path, prompts_dir): + srt = _cues_srt((0, 60, "вступление"), (60, 120, "основная")) + sections = [{"title": "А", "start": "00:01:00", "end": "00:02:00"}] + _, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a"]) + + assert "вступление" in prompts[0] and "основная" in prompts[0] + + +@pytest.mark.asyncio +async def test_tail_after_last_subtopic_end_goes_to_last_subtopic_only(tmp_path, prompts_dir): + srt = _cues_srt((0, 60, "первая"), (60, 120, "вторая"), (120, 180, "хвост")) + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:01:00"}, + {"title": "Б", "start": "00:01:00", "end": "00:02:00"}, + ] + topics, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a", "b"]) + + assert sum("хвост" in p for p in prompts) == 1 and "хвост" in prompts[1] + assert topics[0].sections[1].end == "00:03:00" + + +@pytest.mark.asyncio +async def test_subtopic_intervals_are_adjacent_for_media_cutting(tmp_path, prompts_dir): + """Конец подтемы = начало следующей: пауз между клипами нет, текст всё равно по репликам.""" + srt = _cues_srt((0, 50, "первая"), (70, 120, "вторая"), (150, 180, "третья")) + sections = [ + {"title": "А", "start": "00:00:00", "end": "00:00:50"}, + {"title": "Б", "start": "00:01:10", "end": "00:02:00"}, + {"title": "В", "start": "00:02:30", "end": "00:03:00"}, + ] + topics, prompts = await _run_subsplit(tmp_path, prompts_dir, srt, sections, ["a", "b", "c"]) + + secs = topics[0].sections + assert [(s.start, s.end) for s in secs] == [ + ("00:00:00", "00:01:10"), + ("00:01:10", "00:02:30"), + ("00:02:30", "00:03:00"), + ] + assert "вторая" in prompts[1] and "вторая" not in prompts[0] + + +def _scoped_glossary_deck(tmp_path, nouns): + """Колода, где у каждой страницы ровно одно имя собственное в каталоге.""" + from lecturelog.domain.slides import SlideCatalogEntry + + assets = [] + catalog = {} + for num, noun in enumerate(nouns, start=1): + path = tmp_path / f"slide{num}.png" + path.write_bytes(b"slide") + assets.append( + SlideAsset(num, path, "document", extracted_text=noun, native_text_quality="good") + ) + catalog[num] = SlideCatalogEntry(num, "content", noun, noun, proper_nouns=(noun,)) + return assets, catalog + + +def _bound(slide_num, section_id, confidence="probable"): + from lecturelog.domain.slides import SlideAssignment + + return SlideAssignment(slide_num, "discussed", section_id, (1,), 1.0, confidence, 1.0, "test") + + +def _unmentioned(slide_num): + from lecturelog.domain.slides import SlideAssignment + + return SlideAssignment( + slide_num, "unmentioned", None, (), None, "unresolved", 0.0, "no_supported_evidence" + ) + + +async def _render_prompts_with_alignment( + tmp_path, prompts_dir, monkeypatch, sections, assets, assignments, catalog, mode="v2" +): + """Прогоняет структуризатор с заданным результатом выравнивания. + + Возвращает промпты рендера по названию раздела: названия уникальны и + попадают в промпт через шаблон, поэтому порядок рендера не важен. + """ + from lecturelog.infrastructure.slides.alignment.service import AlignmentResult + + srt = tmp_path / "t.srt" + # По реплике на каждые 10 с: подтемы режутся по репликам, и одна общая + # реплика схлопнула бы все разделы, кроме одного. + srt.write_text( + "".join( + f"{i}\n00:00:{(i - 1) * 10:02d},000 --> 00:00:{i * 10:02d},000\nтекст {i}\n\n" + for i in (1, 2, 3) + ), + encoding="utf-8", + ) + topics_json = json.dumps([{"title": "Тема", "start": "0:00", "end": "0:30"}]) + renders = [f"Текст {section['title']}." for section in sections] + responses = [topics_json, json.dumps(sections)] + if mode != "v2": + # legacy-матч слайдов: грубый по темам и точный по подтемам — пустые. + responses += ["{}", "{}"] + gemini = ScriptedGemini([*responses, *renders]) + structurizer = _make_structurizer(gemini, prompts_dir) + structurizer._document_alignment_mode = mode + + async def align(**_kwargs): + return AlignmentResult(tuple(assignments), catalog) + + monkeypatch.setattr(structurizer._document_alignment, "align", align) + await structurizer.structurize( + srt_path=srt, + slide_assets=assets, + context=StructurizeContext("audio"), + output_dir=tmp_path / "out", + ) + prompts = {} + for call in gemini.recorded_calls: + for section in sections: + if call["prompt"].startswith(f"prompt {section['title']} "): + prompts[section["title"]] = call["prompt"] + assert set(prompts) == {section["title"] for section in sections} + return prompts + + +_THREE_SECTIONS = [ + {"title": "Первый", "start": "0:00", "end": "0:10"}, + {"title": "Второй", "start": "0:10", "end": "0:20"}, + {"title": "Третий", "start": "0:20", "end": "0:30"}, +] + + +@pytest.mark.asyncio +async def test_render_glossary_is_scoped_to_section_slides_and_neighbours( + tmp_path, prompts_dir, monkeypatch +): + """Имена с чужих слайдов не попадают в справочник раздела. + + Регрессия судьи: «Уолли» вместо Alice и «JetBrains» вместо ЯДРО — имена со + слайдов из другой части лекции. В справочник раздела идут только слайды, + привязанные к нему, и страницы колоды с номером ±1 от них. + """ + nouns = ["Alice", "Bob", "Wally", "Charlie", "ЯДРО", "Kotlin", "JetBrains"] + assets, catalog = _scoped_glossary_deck(tmp_path, nouns) + assignments = [ + _bound(1, 0), + _unmentioned(2), + _unmentioned(3), + _unmentioned(4), + _bound(5, 2), + _unmentioned(6), + _unmentioned(7), + ] + + prompts = await _render_prompts_with_alignment( + tmp_path, prompts_dir, monkeypatch, _THREE_SECTIONS, assets, assignments, catalog + ) + + first = prompts["Первый"] + assert "Alice" in first and "Bob" in first + assert not any(name in first for name in ("Wally", "Charlie", "ЯДРО", "JetBrains")) + third = prompts["Третий"] + assert "Charlie" in third and "ЯДРО" in third and "Kotlin" in third + assert not any(name in third for name in ("Alice", "Bob", "Wally", "JetBrains")) + + +@pytest.mark.asyncio +async def test_section_without_bound_slides_gets_empty_glossary(tmp_path, prompts_dir, monkeypatch): + nouns = ["Alice", "Bob", "Wally", "Charlie", "ЯДРО"] + assets, catalog = _scoped_glossary_deck(tmp_path, nouns) + assignments = [_bound(1, 0), *(_unmentioned(num) for num in (2, 3, 4)), _bound(5, 2)] + + prompts = await _render_prompts_with_alignment( + tmp_path, prompts_dir, monkeypatch, _THREE_SECTIONS, assets, assignments, catalog + ) + + second = prompts["Второй"] + assert "Написания имён и терминов из презентации" not in second + assert not any(name in second for name in nouns) + + +@pytest.mark.asyncio +async def test_glossary_counts_section_gallery_slide_as_bound(tmp_path, prompts_dir, monkeypatch): + """Слайд в галерее раздела — слайд этого раздела. + + Непривязанный слайд (уверенность unresolved) идёт в галерею раздела с самым + сильным доказательством: там его и показывают, там о нём и говорили, так + что его написания нужны именно этому разделу. + """ + nouns = ["Alice", "Bob", "Wally", "Charlie", "ЯДРО"] + assets, catalog = _scoped_glossary_deck(tmp_path, nouns) + assignments = [ + _unmentioned(1), + _unmentioned(2), + _bound(3, 1, confidence="unresolved"), + _unmentioned(4), + _unmentioned(5), + ] + + prompts = await _render_prompts_with_alignment( + tmp_path, prompts_dir, monkeypatch, _THREE_SECTIONS, assets, assignments, catalog + ) + + second = prompts["Второй"] + assert all(name in second for name in ("Bob", "Wally", "Charlie")) + assert "Alice" not in second and "ЯДРО" not in second + assert "Wally" not in prompts["Первый"] + + +@pytest.mark.asyncio +async def test_shadow_mode_scopes_glossary_by_v2_alignment(tmp_path, prompts_dir, monkeypatch): + """В shadow рендер идёт по legacy-маршруту, а справочник — по выравниванию v2.""" + nouns = ["Alice", "Bob", "Wally", "Charlie", "ЯДРО"] + assets, catalog = _scoped_glossary_deck(tmp_path, nouns) + assignments = [_bound(1, 0), *(_unmentioned(num) for num in (2, 3, 4)), _bound(5, 2)] + + prompts = await _render_prompts_with_alignment( + tmp_path, + prompts_dir, + monkeypatch, + _THREE_SECTIONS, + assets, + assignments, + catalog, + mode="shadow", + ) + + assert "Alice" in prompts["Первый"] and "ЯДРО" not in prompts["Первый"] + assert not any(name in prompts["Второй"] for name in nouns) + assert "ЯДРО" in prompts["Третий"] and "Alice" not in prompts["Третий"] + + +def test_render_prompt_allows_name_fix_only_on_phonetic_similarity(): + """Правило фонетического сходства живёт в тексте промпта рендера.""" + from pathlib import Path + + text = (Path(__file__).resolve().parents[2] / "prompts" / "section_v1.md").read_text( + encoding="utf-8" + ) + + assert "только при фонетическом сходстве" in text.lower() + + +def test_render_prompt_tangent_example_holds_no_format_instructions(): + """Модель копирует пример callout дословно: правило формата внутри примера + («Каждая строка начинается с "> "») утекало в tangent-блоки конспекта.""" + from pathlib import Path + + text = (Path(__file__).resolve().parents[2] / "prompts" / "section_v1.md").read_text( + encoding="utf-8" + ) + example = [line.casefold() for line in text.splitlines() if line.startswith(">")] + + assert example + for word in ("строк", "начина", "callout", "каллаут", "каллмаут", "формат"): + assert not any(word in line for line in example), word + assert "служебн" in text.casefold() + + +async def _structurize_one_slide(tmp_path, prompts_dir, monkeypatch, *, mode, align, slide_num=1): + srt = tmp_path / "t.srt" + srt.write_text("1\n00:00:00,000 --> 00:00:10,000\ntext\n", encoding="utf-8") + slide = tmp_path / "slide.png" + slide.write_bytes(b"slide") + asset = SlideAsset( + slide_num, slide, "document", extracted_text="text", native_text_quality="good" + ) + responses = [ + json.dumps([{"title": "T", "start": "0:00", "end": "0:10"}]), + json.dumps([{"title": "S", "start": "0:00", "end": "0:10"}]), + ] + if mode != "v2": + # legacy-матч слайдов: грубый по темам и точный по подтемам — пустые. + responses += ["{}", "{}"] + gemini = ScriptedGemini([*responses, "Rendered text."]) + structurizer = _make_structurizer(gemini, prompts_dir) + structurizer._document_alignment_mode = mode + monkeypatch.setattr(structurizer._document_alignment, "align", align) + result = await structurizer.structurize( + srt_path=srt, + slide_assets=[asset], + context=StructurizeContext("audio"), + output_dir=tmp_path / "out", + ) + return result.slide_assignments[0] + + +@pytest.mark.asyncio +async def test_v2_сбой_выравнивания_даёт_unmentioned_с_причиной_alignment_failed( + tmp_path, prompts_dir, monkeypatch +): + async def align(**_kwargs): + raise RuntimeError("boom") + + item = await _structurize_one_slide(tmp_path, prompts_dir, monkeypatch, mode="v2", align=align) + + assert (item.match_status, item.reason_code) == ("unmentioned", "alignment_error") + assert item.status_reason == "alignment_failed" + + +@pytest.mark.asyncio +async def test_legacy_слайд_без_привязки_даёт_unmentioned_с_причиной_legacy_mode( + tmp_path, prompts_dir, monkeypatch +): + async def align(**_kwargs): + raise AssertionError("в legacy выравнивание не запускается") + + # Номер вне 1..N: страховка backfill (по числу слайдов) его не подбирает, + # слайд остаётся без привязки. + item = await _structurize_one_slide( + tmp_path, prompts_dir, monkeypatch, mode="legacy", align=align, slide_num=5 + ) + + assert (item.match_status, item.reason_code) == ("unmentioned", "legacy_unassigned") + assert item.status_reason == "legacy_mode" diff --git a/tests/unit/test_spelling_glossary_edge_cases.py b/tests/unit/test_spelling_glossary_edge_cases.py new file mode 100644 index 0000000..a46291d --- /dev/null +++ b/tests/unit/test_spelling_glossary_edge_cases.py @@ -0,0 +1,585 @@ +"""Краевые случаи справочника написаний по слайдам раздела ±1 (тикет 08). + +Справочник раздела — имена собственные со слайдов, у назначения которых задан +этот раздел, и со страниц колоды с номером ±1 от них. Тесты проверяют границы +колоды, дыры каталога, отказы выравнивания, детерминизм и место блока в промпте. +""" + +import json +from pathlib import Path + +import pytest + +from lecturelog.domain.slides import ( + SlideAsset, + SlideAssignment, + SlideCatalogEntry, + StructurizeContext, +) +from lecturelog.infrastructure.slides.alignment.service import AlignmentResult +from lecturelog.infrastructure.structurize.gemini_structurizer import ( + GeminiStructurizer, + _section_spelling_slides, + _slide_context_block, +) + +_HEADING = "Написания имён и терминов из презентации" +_REAL_PROMPTS = Path(__file__).resolve().parents[2] / "prompts" + + +class _ScriptedLlm: + """Отдаёт ответы по очереди и запоминает промпты.""" + + def __init__(self, responses): + self._responses = list(responses) + self.prompts = [] + + async def call( + self, prompt, models, images=None, *, on_usage=None, response_json=False, effort=None + ): + self.prompts.append(prompt) + return self._responses[len(self.prompts) - 1] + + +def _entry(num, *nouns, role="content"): + return SlideCatalogEntry(num, role, f"title{num}", f"text{num}", proper_nouns=tuple(nouns)) + + +def _catalog(nouns_by_page): + return {num: _entry(num, *nouns) for num, nouns in nouns_by_page.items()} + + +def _bound(slide_num, section_id): + return SlideAssignment(slide_num, "discussed", section_id, (1,), 1.0, "probable", 1.0, "t") + + +def _free(slide_num, status="unmentioned"): + return SlideAssignment(slide_num, status, None, (), None, "unresolved", 0.0, "t") + + +def _assets(tmp_path, count): + assets = [] + for num in range(1, count + 1): + path = tmp_path / f"slide{num}.png" + path.write_bytes(f"slide{num}".encode()) + assets.append( + SlideAsset(num, path, "document", extracted_text=f"p{num}", native_text_quality="good") + ) + return assets + + +def _prompts_dir(tmp_path, *, real_section_prompt=False): + d = tmp_path / "prompts" + d.mkdir(exist_ok=True) + for name in ( + "split_topics_v1.md", + "split_v1.md", + "slide_match_topics_v1.md", + "slide_match_v1.md", + "section_v1.md", + ): + (d / name).write_text("prompt {title} {start} {end}", encoding="utf-8") + if real_section_prompt: + (d / "section_v1.md").write_text( + (_REAL_PROMPTS / "section_v1.md").read_text(encoding="utf-8"), encoding="utf-8" + ) + return d + + +async def _render_prompts( + tmp_path, + monkeypatch, + topics, + assets, + *, + align_result=None, + align_error=None, + mode="v2", + real_section_prompt=False, +): + """Прогоняет structurize с подменённым выравниванием. + + topics — список тем, каждая — список названий разделов (по 10 секунд). + Возвращает промпты рендера по названию раздела и итоговый StructurizeResult. + """ + total = sum(len(sections) for sections in topics) + srt = tmp_path / "t.srt" + srt.write_text( + "".join( + f"{i + 1}\n00:00:{i * 10:02d},000 --> 00:00:{i * 10 + 10:02d},000\nреплика {i}\n\n" + for i in range(total) + ), + encoding="utf-8", + ) + topics_json = [] + subsplits = [] + renders = [] + offset = 0 + titles = [] + for t_index, sections in enumerate(topics): + start = offset + section_list = [] + for title in sections: + section_list.append( + {"title": title, "start": f"0:{offset:02d}", "end": f"0:{offset + 10:02d}"} + ) + renders.append(f"Текст {title}.") + titles.append(title) + offset += 10 + topics_json.append( + {"title": f"Тема{t_index}", "start": f"0:{start:02d}", "end": f"0:{offset:02d}"} + ) + subsplits.append(json.dumps(section_list, ensure_ascii=False)) + responses = [json.dumps(topics_json, ensure_ascii=False), *subsplits] + if mode != "v2": + # legacy-матч: грубый по темам; точный при пустом грубом не вызывается, + # лишние ответы безвредны — рендеры ищутся по названию раздела. + responses += ["{}"] + ["{}"] * len(topics) + llm = _ScriptedLlm([*responses, *renders]) + structurizer = GeminiStructurizer( + gemini_client=llm, + split_models=["m"], + subsplit_models=["m"], + render_models=["m"], + concurrency_subsplit=1, + concurrency_render=1, + prompts_dir=_prompts_dir(tmp_path, real_section_prompt=real_section_prompt), + effort_split="low", + effort_subsplit="low", + effort_render="low", + ) + structurizer._document_alignment_mode = mode + + async def align(**_kwargs): + if align_error is not None: + raise align_error + return align_result + + monkeypatch.setattr(structurizer._document_alignment, "align", align) + result = await structurizer.structurize( + srt_path=srt, + slide_assets=assets, + context=StructurizeContext("audio"), + output_dir=tmp_path / "out", + ) + prompts = {} + for prompt in llm.prompts: + for title in titles: + if f'"{title}"' in prompt or prompt.startswith(f"prompt {title} "): + prompts[title] = prompt + assert set(prompts) == set(titles) + return prompts, result + + +# ── Границы колоды ────────────────────────────────────────────────────────── + + +def test_первая_страница_колоды_берёт_только_себя_и_вторую_потому_что_страницы_0_нет(): + catalog = _catalog({1: ("Alice",), 2: ("Bob",), 3: ("Wally",)}) + + assert _section_spelling_slides((_bound(1, 0),), catalog) == {0: [1, 2]} + + +def test_последняя_страница_берёт_себя_и_предыдущую_потому_что_страницы_N_плюс_1_нет(): + catalog = _catalog({1: ("Alice",), 2: ("Bob",), 3: ("Wally",)}) + + assert _section_spelling_slides((_bound(3, 0),), catalog) == {0: [2, 3]} + + +def test_колода_из_одной_страницы_даёт_справочник_из_неё_самой_без_выхода_за_границы(): + catalog = _catalog({1: ("ENIAC",)}) + + assert _section_spelling_slides((_bound(1, 0),), catalog) == {0: [1]} + + +def test_сосед_без_записи_в_каталоге_пропускается_а_не_роняет_рендер_на_KeyError(): + # Страница 2 unresolved: ни LLM, ни нативного текста — записи в каталоге нет. + catalog = _catalog({1: ("Alice",), 3: ("Wally",), 4: ("Charlie",)}) + + assert _section_spelling_slides((_bound(3, 0),), catalog) == {0: [3, 4]} + + +def test_привязанный_слайд_без_записи_в_каталоге_оставляет_разделу_только_соседей(): + catalog = _catalog({1: ("Alice",), 3: ("Wally",)}) + + assert _section_spelling_slides((_bound(2, 0),), catalog) == {0: [1, 3]} + + +def test_страница_за_пределами_каталога_даёт_разделу_пустой_список_а_не_чужие_страницы(): + catalog = _catalog({1: ("Alice",), 2: ("Bob",)}) + + assert _section_spelling_slides((_bound(99, 0),), catalog) == {0: []} + + +# ── Статусы без раздела ───────────────────────────────────────────────────── + + +@pytest.mark.parametrize("status", ["unmentioned", "duplicate", "deck_mismatch"]) +def test_назначение_без_раздела_не_даёт_справочника_ни_одному_разделу(status): + catalog = _catalog({1: ("Alice",), 2: ("Bob",), 3: ("Wally",)}) + + assert _section_spelling_slides((_free(2, status),), catalog) == {} + + +def test_пустое_выравнивание_не_возвращает_справочник_со_всей_колоды(): + catalog = _catalog({1: ("Alice",), 2: ("Bob",)}) + + assert _section_spelling_slides((), catalog) == {} + + +# ── Пересечения разделов и повторы ────────────────────────────────────────── + + +def test_общий_сосед_двух_разделов_попадает_в_справочник_обоих(): + catalog = _catalog({n: (f"N{n}",) for n in range(1, 6)}) + + result = _section_spelling_slides((_bound(2, 0), _bound(4, 1)), catalog) + + assert result == {0: [1, 2, 3], 1: [3, 4, 5]} + + +def test_страница_повторно_назначенная_в_два_раздела_попадает_в_справочник_каждого(): + catalog = _catalog({n: (f"N{n}",) for n in range(1, 6)}) + + result = _section_spelling_slides((_bound(3, 0), _bound(3, 2)), catalog) + + assert result == {0: [2, 3, 4], 2: [2, 3, 4]} + + +def test_соседние_привязанные_слайды_одного_раздела_не_дублируют_страницы(): + catalog = _catalog({n: (f"N{n}",) for n in range(1, 6)}) + + result = _section_spelling_slides((_bound(2, 0), _bound(3, 0)), catalog) + + assert result == {0: [1, 2, 3, 4]} + + +# ── Детерминизм ───────────────────────────────────────────────────────────── + + +def test_порядок_назначений_не_меняет_справочник_иначе_перезапуск_даёт_другой_промпт(): + catalog = _catalog({n: (f"N{n}",) for n in range(1, 8)}) + forward = (_bound(2, 0), _bound(6, 0), _bound(4, 1)) + + first = _section_spelling_slides(forward, catalog) + second = _section_spelling_slides(tuple(reversed(forward)), catalog) + + assert first == second + assert all(pages == sorted(pages) for pages in first.values()) + block_a = _slide_context_block([catalog[n] for n in first[0]]) + block_b = _slide_context_block([catalog[n] for n in second[0]]) + assert block_a == block_b + + +def test_дубль_имени_у_привязанного_слайда_и_соседа_выводится_один_раз_в_порядке_страниц(): + entries = [_entry(1, "Kotlin", "ENIAC"), _entry(2, "ENIAC", "Alice"), _entry(3, " Kotlin ")] + + block = _slide_context_block(entries) + + assert block.count("ENIAC") == 1 + assert block.count("Kotlin") == 1 + assert block.rstrip().endswith("Kotlin, ENIAC, Alice") + + +def test_пустые_и_пробельные_имена_не_дают_блок_с_пустым_списком(): + assert _slide_context_block([_entry(1, "", " "), _entry(2)]) == "" + + +# ── Сквозной рендер ───────────────────────────────────────────────────────── + + +@pytest.mark.asyncio +async def test_раздел_во_второй_теме_получает_свой_справочник_по_плоской_нумерации( + tmp_path, monkeypatch +): + """global_section_id выравнивания — плоский номер по всем темам; сдвиг на тему + отдал бы справочник соседнему разделу, и это не упало бы.""" + assets = _assets(tmp_path, 7) + catalog = _catalog( + { + 1: ("Alice",), + 2: ("Bob",), + 3: ("Wally",), + 4: ("Ч",), + 5: ("ЯДРО",), + 6: ("Kotlin",), + 7: ("JetBrains",), + } + ) + assignments = (_bound(1, 0), *(_free(n) for n in (2, 3, 4, 5)), _bound(7, 2)) + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["А1", "А2"], ["Б1", "Б2"]], + assets, + align_result=AlignmentResult(assignments, catalog), + ) + + assert "JetBrains" in prompts["Б1"] and "Kotlin" in prompts["Б1"] + assert "JetBrains" not in prompts["А2"] and "JetBrains" not in prompts["Б2"] + assert _HEADING not in prompts["Б2"] and _HEADING not in prompts["А2"] + assert "Alice" in prompts["А1"] and "Alice" not in prompts["Б1"] + + +@pytest.mark.asyncio +async def test_раздел_за_пределами_числа_разделов_не_роняет_рендер_и_не_утекает_в_другие( + tmp_path, monkeypatch +): + assets = _assets(tmp_path, 3) + catalog = _catalog({1: ("Alice",), 2: ("Bob",), 3: ("Wally",)}) + assignments = (_free(1), _bound(2, 7), _free(3)) + + prompts, result = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1", "Р2"]], + assets, + align_result=AlignmentResult(assignments, catalog), + ) + + assert all(_HEADING not in prompt for prompt in prompts.values()) + assert [p.output_kind for p in result.slide_placements if p.slide_num == 2] == ["appendix"] + + +@pytest.mark.asyncio +async def test_чужая_колода_с_пустым_каталогом_не_даёт_справочника_ни_одному_разделу( + tmp_path, monkeypatch +): + assets = _assets(tmp_path, 3) + assignments = tuple(_free(n, "deck_mismatch") for n in (1, 2, 3)) + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1", "Р2"]], + assets, + align_result=AlignmentResult(assignments, {}), + ) + + assert all(_HEADING not in prompt for prompt in prompts.values()) + + +@pytest.mark.asyncio +async def test_пустые_назначения_при_полном_каталоге_не_возвращают_справочник_всей_колоды( + tmp_path, monkeypatch +): + """Регрессия к старому поведению (вся колода в каждый раздел) прошла бы тихо.""" + assets = _assets(tmp_path, 2) + catalog = _catalog({1: ("Alice",), 2: ("Bob",)}) + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1", "Р2"]], + assets, + align_result=AlignmentResult((), catalog), + ) + + assert all("Alice" not in prompt and "Bob" not in prompt for prompt in prompts.values()) + + +@pytest.mark.asyncio +@pytest.mark.parametrize("mode", ["v2", "shadow"]) +async def test_падение_выравнивания_не_роняет_рендер_и_не_даёт_справочника( + tmp_path, monkeypatch, mode +): + assets = _assets(tmp_path, 2) + + prompts, result = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1", "Р2"]], + assets, + align_error=RuntimeError("boom"), + mode=mode, + ) + + assert all(_HEADING not in prompt for prompt in prompts.values()) + assert [s.title for t in result for s in t.sections] == ["Р1", "Р2"] + + +@pytest.mark.asyncio +async def test_привязанный_раздел_без_имён_на_страницах_не_получает_пустой_заголовок( + tmp_path, monkeypatch +): + assets = _assets(tmp_path, 3) + catalog = {n: _entry(n) for n in (1, 2, 3)} + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1"]], + assets, + align_result=AlignmentResult((_bound(2, 0), _free(1), _free(3)), catalog), + ) + + assert _HEADING not in prompts["Р1"] + + +@pytest.mark.asyncio +async def test_порядок_имён_в_промпте_по_страницам_а_не_по_порядку_назначений( + tmp_path, monkeypatch +): + assets = _assets(tmp_path, 5) + catalog = _catalog({1: ("Alice",), 2: ("Bob",), 3: ("Wally",), 4: ("Charlie",), 5: ("ЯДРО",)}) + assignments = (_bound(4, 0), _free(1), _bound(2, 0), _free(3), _free(5)) + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1"]], + assets, + align_result=AlignmentResult(assignments, catalog), + ) + + assert "Alice, Bob, Wally, Charlie, ЯДРО" in prompts["Р1"] + + +@pytest.mark.asyncio +async def test_слайд_размещённый_в_разделе_всегда_есть_в_справочнике_этого_раздела( + tmp_path, monkeypatch +): + """Стык рендер ↔ размещение: если раздел показывает слайд, а написаний с него + в справочнике нет, исправить искажённое имя рядом с картинкой нечем.""" + assets = _assets(tmp_path, 6) + catalog = _catalog({n: (f"Name{n}",) for n in range(1, 7)}) + assignments = (_bound(1, 0), _free(2), _free(3), _bound(4, 1), _free(5), _bound(6, 1)) + + prompts, result = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1", "Р2"]], + assets, + align_result=AlignmentResult(assignments, catalog), + ) + + titles = ["Р1", "Р2"] + for placement in result.slide_placements: + if placement.output_kind in {"inline", "section_gallery"}: + title = titles[placement.global_section_id] + assert f"Name{placement.slide_num}" in prompts[title] + + +# ── Реальный шаблон промпта ───────────────────────────────────────────────── + + +@pytest.mark.asyncio +async def test_реальный_шаблон_с_фигурными_скобками_в_имени_не_ломает_рендер_и_несёт_правило( + tmp_path, monkeypatch +): + assets = _assets(tmp_path, 1) + catalog = _catalog({1: ("{title}", "ENIAC")}) + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1"]], + assets, + align_result=AlignmentResult((_bound(1, 0),), catalog), + real_section_prompt=True, + ) + + prompt = prompts["Р1"] + assert "{title}" in prompt and "ENIAC" in prompt + assert "только при фонетическом сходстве" in prompt + + +@pytest.mark.asyncio +async def test_справочник_не_под_заголовком_транскрипта_иначе_имена_читаются_как_речь( + tmp_path, monkeypatch +): + """Шаблон заканчивается заголовком «Фрагмент транскрипта (SRT):». Всё, что идёт + между ним и самим SRT, модель читает как сказанное лектором, а промпт велит + сохранять всю речь — имена со слайдов уходят в конспект как факты речи, ровно + то, против чего вводился справочник по разделу. При любом месте блока (до + заголовка или после SRT) между заголовком и фрагментом имён быть не должно.""" + assets = _assets(tmp_path, 1) + catalog = _catalog({1: ("JetBrains",)}) + + prompts, _ = await _render_prompts( + tmp_path, + monkeypatch, + [["Р1"]], + assets, + align_result=AlignmentResult((_bound(1, 0),), catalog), + real_section_prompt=True, + ) + + prompt = prompts["Р1"] + after_heading = prompt.split("## Фрагмент транскрипта (SRT):", 1)[1] + before_fragment = after_heading.split("00:00:00,000 -->", 1)[0] + assert "JetBrains" not in before_fragment + assert _HEADING not in before_fragment + + +# ── Стык с настоящим сервисом выравнивания (без LLM, нативный текст) ───────── + + +@pytest.mark.asyncio +async def test_настоящее_выравнивание_не_отдаёт_имена_привязанного_слайда_разделу_без_слайдов( + tmp_path, +): + """Сквозной путь: номер раздела из сервиса выравнивания совпадает с номером + рендера. Расхождение нумерации отдало бы справочник соседнему разделу молча.""" + srt = tmp_path / "t.srt" + srt.write_text( + "1\n00:00:00,000 --> 00:00:10,000\nРазберём бинарное дерево поиска и его вершины.\n\n" + "2\n00:00:10,000 --> 00:00:20,000\nТеперь поговорим о погоде и расписании занятий.\n\n" + "3\n00:00:20,000 --> 00:00:30,000\nКомпилятор Fortran написала команда Бэкуса в IBM.\n", + encoding="utf-8", + ) + texts = [ + "Бинарное дерево поиска. Вершины. AVL", + "Хеш-таблицы Knuth", + "Графы Dijkstra", + "Компилятор Fortran. Команда Бэкуса. IBM", + ] + assets = [] + for num, text in enumerate(texts, start=1): + path = tmp_path / f"s{num}.png" + path.write_bytes(f"s{num}".encode()) + assets.append( + SlideAsset(num, path, "document", extracted_text=text, native_text_quality="good") + ) + sections = [ + {"title": "Деревья", "start": "0:00", "end": "0:10"}, + {"title": "Орг", "start": "0:10", "end": "0:20"}, + {"title": "Фортран", "start": "0:20", "end": "0:30"}, + ] + topics = [{"title": "Тема", "start": "0:00", "end": "0:30"}] + llm = _ScriptedLlm( + [json.dumps(topics), json.dumps(sections, ensure_ascii=False), "a", "b", "c"] + ) + structurizer = GeminiStructurizer( + gemini_client=llm, + split_models=["m"], + subsplit_models=["m"], + render_models=["m"], + concurrency_subsplit=1, + concurrency_render=1, + prompts_dir=_prompts_dir(tmp_path), + effort_split="low", + effort_subsplit="low", + effort_render="low", + ) + structurizer._document_alignment_mode = "v2" + + result = await structurizer.structurize( + srt_path=srt, + slide_assets=assets, + context=StructurizeContext("audio"), + output_dir=tmp_path / "out", + ) + + bound = {a.slide_num: a.global_section_id for a in result.slide_assignments} + prompts = { + title: next(p for p in llm.prompts if p.startswith(f"prompt {title} ")) + for title in ("Деревья", "Орг", "Фортран") + } + # Предусловие сценария: слайды 1 и 4 привязались к своим разделам. + assert bound[1] == 0 and bound[4] == 2, bound + assert _HEADING not in prompts["Орг"] + assert "Fortran" in prompts["Фортран"] and "Dijkstra" in prompts["Фортран"] + assert "Fortran" not in prompts["Деревья"] and "Dijkstra" not in prompts["Деревья"] + assert "Knuth" in prompts["Деревья"] diff --git a/tests/unit/test_subtopic_cue_boundaries_edge_cases.py b/tests/unit/test_subtopic_cue_boundaries_edge_cases.py new file mode 100644 index 0000000..679f4b7 --- /dev/null +++ b/tests/unit/test_subtopic_cue_boundaries_edge_cases.py @@ -0,0 +1,596 @@ +# ruff: noqa: E501 +"""Краевые случаи нарезки подтем по границе реплики (slide-matcher-fixes/02). + +Главный инвариант тикета: каждая реплика транскрипта попадает в конспект +ровно в одну подтему, границы монотонны, пустых подтем нет. Ниже — проверки +этого инварианта на нестандартных транскриптах и на стыках со слайдами +(legacy и v2), кадрами видео и нарезкой медиа. +""" + +import json + +import pytest + +from lecturelog.domain.ports import SlideImage +from lecturelog.domain.slides import SlideAsset, SlideAssignment, StructurizeContext +from lecturelog.infrastructure.frames.binding import bind_frames_to_sections +from lecturelog.infrastructure.slides.alignment.service import ( + AlignmentResult, + DocumentAlignmentService, +) +from lecturelog.infrastructure.srt import ( + extract_srt_cue_range, + parse_srt_blocks, + parse_srt_time, + snap_sections_to_cues, +) +from lecturelog.infrastructure.structurize.gemini_structurizer import GeminiStructurizer + +# ── helpers ────────────────────────────────────────────────────────────── + + +def _stamp(seconds: float) -> str: + ms = round(seconds * 1000) + h, rest = divmod(ms, 3_600_000) + m, rest = divmod(rest, 60_000) + s, ms = divmod(rest, 1000) + return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}" + + +def _srt(*cues): + """cues: (начало, конец, текст) в секундах, в порядке записи в файл.""" + return "\n\n".join( + f"{i}\n{_stamp(a)} --> {_stamp(b)}\n{text}" for i, (a, b, text) in enumerate(cues, start=1) + ) + + +def _sec(title, start, end): + return {"title": title, "start": _stamp(start), "end": _stamp(end)} + + +def _texts_in_range(srt, rng): + fragment = extract_srt_cue_range(srt, *rng) + return [block.text for block in parse_srt_blocks(fragment)] + + +class ScriptedGemini: + def __init__(self, responses): + self._responses = list(responses) + self.recorded_calls = [] + + async def call( + self, prompt, models, images=None, *, on_usage=None, response_json=False, effort=None + ): + self.recorded_calls.append({"prompt": prompt, "images": images}) + return self._responses[len(self.recorded_calls) - 1] + + +def _make(gemini, prompts_dir): + return GeminiStructurizer( + gemini_client=gemini, + split_models=["m"], + subsplit_models=["m"], + render_models=["m"], + concurrency_subsplit=1, + concurrency_render=1, + prompts_dir=prompts_dir, + effort_split="low", + effort_subsplit="low", + effort_render="low", + ) + + +@pytest.fixture +def prompts_dir(tmp_path): + d = tmp_path / "prompts" + d.mkdir() + for name in ( + "split_topics_v1.md", + "split_v1.md", + "slide_match_topics_v1.md", + "slide_match_v1.md", + "section_v1.md", + ): + # Маркер отделяет шаблон от фрагмента транскрипта в записанном промпте. + (d / name).write_text("PROMPT {title} {start} {end}", encoding="utf-8") + return d + + +def _cue_count(prompts, text): + return sum(text in prompt for prompt in prompts) + + +# ── extract_srt_cue_range ─────────────────────────────────────────────── + + +def test_диапазон_реплик_включает_оба_края_чтобы_крайние_реплики_подтемы_не_выпадали(): + srt = _srt((0, 1, "р1"), (1, 2, "р2"), (2, 3, "р3"), (3, 4, "р4")) + assert _texts_in_range(srt, (2, 3)) == ["р2", "р3"] + + +def test_соседние_диапазоны_на_стыке_реплик_не_делят_реплику_в_отличие_от_фрагмента_по_таймкодам(): + srt = _srt((0, 60, "первая"), (60, 120, "вторая"), (120, 180, "третья")) + left, right = _texts_in_range(srt, (1, 2)), _texts_in_range(srt, (3, 3)) + assert set(left).isdisjoint(right) + + +def test_диапазон_вне_транскрипта_и_перевёрнутый_диапазон_дают_пусто_а_не_чужие_реплики(): + srt = _srt((0, 1, "р1"), (1, 2, "р2")) + assert extract_srt_cue_range(srt, 5, 9) == "" + assert extract_srt_cue_range(srt, 2, 1) == "" + + +def test_нумерация_диапазона_совпадает_с_parse_srt_blocks_даже_если_есть_пустые_блоки_и_чужие_номера(): + """Если бы диапазон считал по номерам из файла, а сдвиг — по parse_srt_blocks, + подтема получила бы соседнюю реплику вместо своей.""" + srt = ( + "17\n00:00:00,000 --> 00:00:01,000\nр1\n\n" + "18\n00:00:01,000 --> 00:00:02,000\n\n\n" # блок без текста отбрасывается + "42\n00:00:02,000 --> 00:00:03,000\nр2\n\n" + "43\n00:00:03,000 --> 00:00:04,000\nр3" + ) + assert _texts_in_range(srt, (2, 2)) == ["р2"] + + +def test_диапазон_сохраняет_эмодзи_rtl_и_crlf_чтобы_рендер_получил_реплику_дословно(): + srt = "1\r\n00:00:00,000 --> 00:00:01,000\r\nשלום 🙂 мир\r\n\r\n2\r\n00:00:01,000 --> 00:00:02,000\r\nдва" + assert _texts_in_range(srt, (1, 1)) == ["שלום 🙂 мир"] + + +# ── snap_sections_to_cues: данные ────────────────────────────────────── + + +def test_пустой_транскрипт_не_трогает_подтемы_и_возвращает_None_чтобы_работало_старое_поведение(): + layout = [[_sec("А", 0, 60), _sec("Б", 60, 120)]] + before = json.dumps(layout) + assert snap_sections_to_cues(layout, "") is None + assert json.dumps(layout) == before + + +def test_без_подтем_сдвиг_возвращает_None_и_не_падает_на_пустом_списке(): + assert snap_sections_to_cues([], _srt((0, 1, "р"))) is None + assert snap_sections_to_cues([[], []], _srt((0, 1, "р"))) is None + + +def test_одна_реплика_на_несколько_подтем_оставляет_одну_подтему_чтобы_реплика_не_рендерилась_трижды(): + srt = _srt((0, 60, "единственная")) + layout = [[_sec("А", 0, 20), _sec("Б", 20, 40), _sec("В", 40, 60)]] + ranges = snap_sections_to_cues(layout, srt) + assert ranges == [(1, 1)] + assert sum(len(s) for s in layout) == 1 + + +def test_граница_ровно_посередине_реплики_оставляет_её_в_предыдущей_подтеме_по_правилу_вправо(): + srt = _srt((0, 10, "до"), (10, 20, "середина"), (20, 30, "после")) + layout = [[_sec("А", 0, 15), _sec("Б", 15, 30)]] + ranges = snap_sections_to_cues(layout, srt) + assert _texts_in_range(srt, ranges[0]) == ["до", "середина"] + assert _texts_in_range(srt, ranges[1]) == ["после"] + + +def test_граница_чуть_левее_середины_отдаёт_реплику_следующей_подтеме_к_ближайшему_краю(): + srt = _srt((0, 10, "до"), (10, 20, "середина"), (20, 30, "после")) + layout = [[_sec("А", 0, 14.999), _sec("Б", 14.999, 30)]] + ranges = snap_sections_to_cues(layout, srt) + assert _texts_in_range(srt, ranges[1]) == ["середина", "после"] + + +def test_граница_в_паузе_между_репликами_отдаёт_следующую_реплику_следующей_подтеме(): + srt = _srt((0, 10, "до паузы"), (30, 40, "после паузы")) + layout = [[_sec("А", 0, 20), _sec("Б", 20, 40)]] + ranges = snap_sections_to_cues(layout, srt) + assert _texts_in_range(srt, ranges[0]) == ["до паузы"] + assert _texts_in_range(srt, ranges[1]) == ["после паузы"] + + +def test_реплики_с_одинаковым_началом_попадают_ровно_в_одну_подтему_каждая(): + srt = _srt((0, 10, "р1"), (10, 10, "нулевая"), (10, 20, "р2"), (20, 30, "р3")) + layout = [[_sec("А", 0, 10), _sec("Б", 10, 30)]] + ranges = snap_sections_to_cues(layout, srt) + all_texts = [t for rng in ranges for t in _texts_in_range(srt, rng)] + assert sorted(all_texts) == sorted(["р1", "нулевая", "р2", "р3"]) + + +def test_подтема_из_одной_нулевой_реплики_получает_конец_строго_позже_начала_иначе_выравнивание_отбросит_колоду(): + srt = _srt((0, 10, "р1"), (10, 10, "нулевая"), (10.5, 20, "р2")) + layout = [[_sec("А", 0, 10), _sec("Б", 10, 10.4), _sec("В", 10.4, 20)]] + snap_sections_to_cues(layout, srt) + for section in layout[0]: + assert parse_srt_time(section["end"]) > parse_srt_time(section["start"]) + # шкала принимается v2-выравниванием (end <= start там фатально) + DocumentAlignmentService._section_refs(layout, parse_srt_blocks(srt)) + + +def test_подтема_начинающаяся_за_концом_транскрипта_удаляется_а_не_рендерится_по_пустому_фрагменту(): + srt = _srt((0, 60, "р1"), (60, 120, "р2")) + layout = [[_sec("А", 0, 120), _sec("Галлюцинация", 500, 600)]] + ranges = snap_sections_to_cues(layout, srt) + assert [s["title"] for s in layout[0]] == ["А"] + assert _texts_in_range(srt, ranges[0]) == ["р1", "р2"] + + +def test_все_подтемы_до_первой_реплики_возвращают_None_и_не_портят_таймкоды(): + srt = _srt((100, 110, "поздняя")) + layout = [[_sec("А", 0, 10), _sec("Б", 10, 20)]] + before = json.dumps(layout) + assert snap_sections_to_cues(layout, srt) is None + assert json.dumps(layout) == before + + +def test_диапазоны_идут_подряд_без_дыр_и_пересечений_чтобы_ни_одна_реплика_не_потерялась_и_не_задвоилась(): + cues = [(i * 7.3, i * 7.3 + 7.3, f"р{i:03d}") for i in range(60)] + srt = _srt(*cues) + layout = [ + [_sec("А", 0, 100.1), _sec("Б", 100.1, 200.7)], + [_sec("В", 200.7, 301.2), _sec("Г", 301.2, 438)], + ] + ranges = snap_sections_to_cues(layout, srt) + assert ranges[0][0] == 1 + for (_, last), (first, _) in zip(ranges, ranges[1:], strict=False): + assert first == last + 1 + assert ranges[-1][1] == len(cues) + + +def test_таймкоды_подтем_после_сдвига_совпадают_с_краями_их_реплик_с_миллисекундами(): + srt = _srt((0.04, 10.5, "р1"), (10.5, 21.25, "р2"), (21.25, 30.672, "р3")) + layout = [[_sec("А", 0, 12), _sec("Б", 12, 30.672)]] + snap_sections_to_cues(layout, srt) + assert [(s["start"], s["end"]) for s in layout[0]] == [ + ("00:00:00,040", "00:00:10,500"), + ("00:00:10,500", "00:00:30,672"), + ] + + +def test_граница_в_формате_мм_сс_и_с_точкой_разбирается_так_же_как_полный_таймкод(): + srt = _srt((0, 60, "р1"), (60, 120, "р2"), (120, 180, "р3")) + layout = [ + [ + {"title": "А", "start": "0:00", "end": "1:00"}, + {"title": "Б", "start": "00:01:00.000", "end": "3:00"}, + ] + ] + ranges = snap_sections_to_cues(layout, srt) + assert ranges == [(1, 1), (2, 3)] + + +def test_удаляется_именно_схлопнувшаяся_подтема_даже_если_у_другой_темы_есть_побайтно_такая_же(): + """Удаление идёт по объекту: при сравнении по значению пропала бы и живая + подтема соседней темы с тем же JSON.""" + srt = _srt((0, 60, "р1"), (60, 120, "р2"), (120, 180, "р3")) + twin = {"title": "Повтор", "start": _stamp(60), "end": _stamp(120)} + layout = [[_sec("А", 0, 60), dict(twin)], [dict(twin), _sec("В", 120, 180)]] + ranges = snap_sections_to_cues(layout, srt) + assert [s["title"] for s in layout[0]] == ["А"] + assert [s["title"] for s in layout[1]] == ["Повтор", "В"] + assert len(ranges) == 3 + + +# ── snap_sections_to_cues: нестандартный порядок и перекрытия ────────── + + +def test_неупорядоченный_srt_не_даёт_одной_реплике_попасть_в_две_подтемы(): + """Сдвиг сортирует реплики по времени, а диапазон режет по номерам в + порядке файла: при неупорядоченном SRT номера в отсортированном срезе не + подряд, и диапазон (первый..последний) захватывает чужие реплики.""" + srt = _srt((60, 120, "вторая"), (0, 60, "первая"), (120, 180, "третья")) + layout = [[_sec("А", 0, 60), _sec("Б", 60, 180)]] + ranges = snap_sections_to_cues(layout, srt) + fragments = [_texts_in_range(srt, rng) for rng in ranges] + for text in ("первая", "вторая", "третья"): + assert sum(text in frag for frag in fragments) == 1, (text, fragments) + + +def test_вложенная_длинная_реплика_не_делает_шкалу_подтем_неприемлемой_для_v2_выравнивания(): + """Конец подтемы = максимум концов её реплик. Если в предыдущей подтеме есть + реплика, накрывающая следующую, у следующей конец раньше конца предыдущей, + и _section_refs роняет выравнивание всей колоды (все слайды в приложение). + До сдвига та же разметка модели проходила.""" + srt = _srt((0, 100, "длинная"), (10, 20, "вложенная"), (100, 200, "дальше")) + layout = [[_sec("А", 0, 12), _sec("Б", 12, 100), _sec("В", 100, 200)]] + blocks = parse_srt_blocks(srt) + DocumentAlignmentService._section_refs(json.loads(json.dumps(layout)), blocks) # до сдвига ок + snap_sections_to_cues(layout, srt) + DocumentAlignmentService._section_refs(layout, blocks) + + +def test_неупорядоченные_подтемы_модели_не_теряют_реплики_покрытые_их_интервалами(): + """Модель вернула подтемы не по порядку времени. Монотонизация начал + схлопывает подтемы, а стоп берётся из конца последней по списку — и + реплика, лежащая внутри интервала одной из подтем, не попадает никуда.""" + srt = _srt((0, 60, "а"), (60, 120, "б"), (120, 180, "в")) + layout = [[_sec("А", 0, 60), _sec("В", 120, 180), _sec("Б", 60, 120)]] + ranges = snap_sections_to_cues(layout, srt) or [] + fragments = [_texts_in_range(srt, rng) for rng in ranges] + for text in ("а", "б", "в"): + assert sum(text in frag for frag in fragments) == 1, (text, fragments) + + +# ── structurize: стыки рендера, тем, слайдов и кадров ─────────────────── + + +async def _structurize(tmp_path, prompts_dir, srt_text, topics, subsplits, tail, **kw): + srt = tmp_path / "t.srt" + srt.write_text(srt_text, encoding="utf-8") + gemini = ScriptedGemini([json.dumps(topics), *map(json.dumps, subsplits), *tail]) + structurizer = _make(gemini, prompts_dir) + mode = kw.pop("mode", None) + if mode: + structurizer._document_alignment_mode = mode + align = kw.pop("align", None) + if align: + structurizer._document_alignment.align = align + result = await structurizer.structurize(srt_path=srt, output_dir=tmp_path / "out", **kw) + return result, gemini + + +def _render_prompts(gemini): + return [c["prompt"] for c in gemini.recorded_calls if c["prompt"].startswith("PROMPT ")] + + +async def test_реплика_на_стыке_двух_тем_рендерится_ровно_в_одной_подтеме(tmp_path, prompts_dir): + srt = _srt((0, 60, "р1"), (60, 120, "стык"), (120, 180, "р3"), (180, 240, "р4")) + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:01:50"}, + {"title": "Т2", "start": "00:01:50", "end": "00:04:00"}, + ] + subs = [[_sec("А", 0, 110)], [_sec("Б", 110, 240)]] + result, gemini = await _structurize( + tmp_path, prompts_dir, srt, topics, subs, ["a", "b"], slide_images=[] + ) + prompts = _render_prompts(gemini)[-2:] + for text in ("р1", "стык", "р3", "р4"): + assert _cue_count(prompts, text) == 1, text + assert [t.title for t in result.topics] == ["Т1", "Т2"] + + +async def test_пропуск_схлопнувшейся_темы_посередине_сохраняет_порядок_и_заголовки_остальных( + tmp_path, prompts_dir +): + srt = _srt((0, 120, "р1"), (120, 240, "р2"), (240, 360, "р3")) + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:01:50"}, + {"title": "Т2", "start": "00:01:50", "end": "00:01:55"}, + {"title": "Т3", "start": "00:01:55", "end": "00:06:00"}, + ] + subs = [[_sec("А", 0, 110)], [_sec("Б", 110, 115)], [_sec("В", 115, 360)]] + result, gemini = await _structurize( + tmp_path, prompts_dir, srt, topics, subs, ["рендер-А", "рендер-В"], slide_images=[] + ) + assert [(t.title, [s.title for s in t.sections]) for t in result.topics] == [ + ("Т1", ["А"]), + ("Т3", ["В"]), + ] + # рендер-ответ достаётся своей подтеме, а не соседней + assert result.topics[1].sections[0].content == "рендер-В" + + +async def test_пустой_транскрипт_не_роняет_структуризацию_и_рендерит_все_подтемы( + tmp_path, prompts_dir +): + topics = [{"title": "Т", "start": "00:00:00", "end": "00:02:00"}] + subs = [[_sec("А", 0, 60), _sec("Б", 60, 120)]] + result, _ = await _structurize( + tmp_path, prompts_dir, "", topics, subs, ["a", "b"], slide_images=[] + ) + assert [s.title for s in result.topics[0].sections] == ["А", "Б"] + + +async def test_начала_подтем_в_результате_монотонны_по_всем_темам_чтобы_кадры_не_прыгали_назад( + tmp_path, prompts_dir +): + cues = [(i * 9.5, i * 9.5 + 9.5, f"р{i:02d}") for i in range(30)] + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:02:31"}, + {"title": "Т2", "start": "00:02:31", "end": "00:04:45"}, + ] + subs = [ + [_sec("А", 0, 73), _sec("Б", 73, 151)], + [_sec("В", 149, 210), _sec("Г", 210, 285)], + ] + result, gemini = await _structurize( + tmp_path, prompts_dir, _srt(*cues), topics, subs, ["a", "b", "c", "d"], slide_images=[] + ) + starts = [parse_srt_time(s.start) for t in result.topics for s in t.sections] + assert starts == sorted(starts) + prompts = _render_prompts(gemini)[-4:] + for _, _, text in cues: + assert _cue_count(prompts, text) <= 1, text + + +async def test_подтема_из_одной_короткой_реплики_не_получает_нулевую_длительность_для_нарезки_медиа( + tmp_path, prompts_dir +): + """Section.start/end нормализуются до ЧЧ:ММ:СС. Сдвиг к краям реплик может + сжать подтему до реплики короче секунды — тогда start == end, и нарезка + видео (-t 0.000) / аудио (-ss == -to) даёт пустой клип без ошибки.""" + srt = _srt((0, 10.2, "р1"), (10.2, 10.7, "Так."), (10.7, 18, "длинная"), (18, 40, "р4")) + topics = [{"title": "Т", "start": "00:00:00", "end": "00:00:40"}] + subs = [[_sec("А", 0, 10.3), _sec("Б", 10.3, 12), _sec("В", 12, 40)]] + result, _ = await _structurize( + tmp_path, prompts_dir, srt, topics, subs, ["a", "b", "c"], slide_images=[] + ) + for section in result.topics[0].sections: + assert parse_srt_time(section.end) > parse_srt_time(section.start), section + + +async def test_legacy_слайды_темы_целиком_схлопнувшейся_при_сдвиге_не_пропадают_из_конспекта( + tmp_path, prompts_dir +): + srt = _srt((0, 120, "одна"), (120, 240, "вторая")) + slides = [] + for i in (1, 2): + p = tmp_path / f"s{i}.png" + p.write_bytes(b"x") + slides.append(p) + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:03:50"}, + {"title": "Т2", "start": "00:03:50", "end": "00:04:00"}, + ] + subs = [[_sec("А", 0, 230)], [_sec("Б", 230, 235), _sec("В", 235, 240)]] + tail = [ + json.dumps({"0": [1], "1": [2]}), # грубый матч тем + json.dumps({"0": [1]}), # точный матч Т1 + json.dumps({}), # точный матч Т2 (подтем не осталось) + "рендер", + ] + result, _ = await _structurize( + tmp_path, prompts_dir, srt, topics, subs, tail, slide_images=slides + ) + placed = {n for t in result.topics for s in t.sections for n in s.slide_indices} + assert placed == {1, 2} + + +async def test_legacy_индекс_подтемы_из_точного_матча_совпадает_с_подтемой_после_удаления_схлопнувшейся( + tmp_path, prompts_dir +): + srt = _srt((0, 60, "первая"), (60, 180, "длинная"), (180, 240, "последняя")) + slides = [] + for i in (1, 2): + p = tmp_path / f"s{i}.png" + p.write_bytes(b"x") + slides.append(p) + topics = [{"title": "Т", "start": "00:00:00", "end": "00:04:00"}] + subs = [[_sec("А", 0, 80), _sec("Б", 80, 100), _sec("В", 100, 240)]] + tail = [ + json.dumps({"0": [1, 2]}), + json.dumps({"0": [1], "1": [2]}), # модель видит подтемы [А, В] + "ra", + "rv", + ] + result, gemini = await _structurize( + tmp_path, prompts_dir, srt, topics, subs, tail, slide_images=slides + ) + fine_prompt = gemini.recorded_calls[3]["prompt"] + assert '"Б"' not in fine_prompt + sections = {s.title: s.slide_indices for s in result.topics[0].sections} + assert sections == {"А": [1], "В": [2]} + + +def _v2_asset(tmp_path): + p = tmp_path / "slide.png" + p.write_bytes(b"x") + return SlideAsset(1, p, "document", extracted_text="Деревья", native_text_quality="good") + + +async def test_v2_выравнивание_видит_раскладку_без_схлопнувшихся_подтем_и_слайд_ложится_на_нужную( + tmp_path, prompts_dir +): + """global_section_id считается по плоскому порядку раскладки, переданной в + align; рендер и сборка — по той же раскладке. Рассинхрон положил бы слайд + в чужую подтему.""" + srt = _srt((0, 60, "первая"), (60, 180, "длинная"), (180, 240, "последняя")) + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:01:40"}, + {"title": "Т2", "start": "00:01:40", "end": "00:04:00"}, + ] + subs = [[_sec("А", 0, 80), _sec("Б", 80, 100)], [_sec("В", 100, 240)]] + seen = {} + + async def align(*, assets, section_layout, srt_content, on_usage=None): + seen["titles"] = [s["title"] for sections in section_layout for s in sections] + return AlignmentResult( + (SlideAssignment(1, "discussed", 1, (), None, "verified", 1.0, "ok"),), {} + ) + + result, _ = await _structurize( + tmp_path, + prompts_dir, + srt, + topics, + subs, + ["ra", "rv"], + mode="v2", + align=align, + slide_assets=[_v2_asset(tmp_path)], + context=StructurizeContext("audio"), + ) + assert seen["titles"] == ["А", "В"] + by_title = {s.title: s.slide_indices for t in result.topics for s in t.sections} + assert by_title == {"А": [], "В": [1]} + + +async def test_v2_слайд_после_целиком_выпавшей_темы_ложится_на_свою_подтему(tmp_path, prompts_dir): + srt = _srt((0, 120, "р1"), (120, 240, "р2"), (240, 360, "р3")) + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:01:50"}, + {"title": "Т2", "start": "00:01:50", "end": "00:01:55"}, + {"title": "Т3", "start": "00:01:55", "end": "00:06:00"}, + ] + subs = [[_sec("А", 0, 110)], [_sec("Б", 110, 115)], [_sec("В", 115, 360)]] + + async def align(*, assets, section_layout, srt_content, on_usage=None): + return AlignmentResult( + (SlideAssignment(1, "discussed", 1, (), None, "verified", 1.0, "ok"),), {} + ) + + result, _ = await _structurize( + tmp_path, + prompts_dir, + srt, + topics, + subs, + ["ra", "rv"], + mode="v2", + align=align, + slide_assets=[_v2_asset(tmp_path)], + context=StructurizeContext("audio"), + ) + by_title = {s.title: s.slide_indices for t in result.topics for s in t.sections} + assert by_title == {"А": [], "В": [1]} + assert result.topics[1].slide_indices == [1] + + +async def test_v2_реальная_проверка_шкалы_принимает_сдвинутые_подтемы_на_стыках_реплик( + tmp_path, prompts_dir +): + """Сдвиг не должен превращать допустимую разметку в такую, которую + _section_refs отвергает: иначе все слайды молча уходят в приложение.""" + cues = [(i * 6.4, i * 6.4 + 6.4, f"р{i:02d}") for i in range(40)] + srt = _srt(*cues) + layout = [[_sec("А", 0, 61), _sec("Б", 61, 130)], [_sec("В", 128, 200), _sec("Г", 200, 256)]] + snap_sections_to_cues(layout, srt) + refs = DocumentAlignmentService._section_refs(layout, parse_srt_blocks(srt)) + assert len(refs) == 4 + + +async def test_кадр_из_интервала_удалённой_подтемы_привязывается_к_подтеме_с_той_же_репликой( + tmp_path, prompts_dir +): + """Видео: кадры вяжутся по Section.start. Кадр, снятый внутри удалённой + подтемы, должен оказаться рядом с текстом того же момента лекции.""" + srt = _srt((0, 60, "первая"), (60, 180, "длинная"), (180, 240, "последняя")) + topics = [{"title": "Т", "start": "00:00:00", "end": "00:04:00"}] + subs = [[_sec("А", 0, 80), _sec("Б", 80, 100), _sec("В", 100, 240)]] + result, gemini = await _structurize( + tmp_path, prompts_dir, srt, topics, subs, ["ra", "rv"], slide_images=[] + ) + bind_frames_to_sections([SlideImage(path=tmp_path / "f.png", timestamp=90.0)], result.topics) + prompts = dict( + zip([s.title for s in result.topics[0].sections], _render_prompts(gemini)[-2:], strict=True) + ) + holder = [s for s in result.topics[0].sections if s.slide_indices == [1]] + assert len(holder) == 1 + assert "длинная" in prompts[holder[0].title] + + +async def test_фолбэк_сабсплита_одной_темы_не_задваивает_реплики_на_стыке_с_соседней( + tmp_path, prompts_dir +): + """Сабсплит упал — подтема = вся тема по таймкодам темы. Такая подтема + тоже должна резаться по репликам, иначе стык с соседней темой задвоится.""" + srt = _srt((0, 60, "р1"), (60, 120, "стык"), (120, 180, "р3")) + topics = [ + {"title": "Т1", "start": "00:00:00", "end": "00:01:30"}, + {"title": "Т2", "start": "00:01:30", "end": "00:03:00"}, + ] + srt_path = tmp_path / "t.srt" + srt_path.write_text(srt, encoding="utf-8") + gemini = ScriptedGemini( + [json.dumps(topics), "не json", json.dumps([_sec("Б", 90, 180)]), "a", "b"] + ) + await _make(gemini, prompts_dir).structurize( + srt_path=srt_path, output_dir=tmp_path / "out", slide_images=[] + ) + prompts = _render_prompts(gemini)[-2:] + for text in ("р1", "стык", "р3"): + assert _cue_count(prompts, text) == 1, text