issues Search Results · language:Dune language:Python language:Java language:JavaScript language:TypeScript language:Java
Filter by
71M results
Problem
In `webui/src/pages/ServerCreatePage.tsx:249-252`, when `/api/meta` is loading or errors, `relayEnabled` defaults to
`true`. In a direct-mode deployment (relay disabled), if the meta endpoint ...
bug
mmiura-2351
課題
single-shot の LLM judge スコアはノイズが大きく、self-consistency・複数 judge・キャリブレーション・スコア分散のいずれも無い。言語系 eval では英語の judge
プロンプトが言語バイアスを持ち込む可能性もある。
現状の judge は run_judge runner.py L269-L302 で 1回だけ呼び出し、analyze の並列実行 ...
enhancement
openjny
課題
1件の run のセットアップ例外が eval 全体を中断し、それまでの結果を失う。また before_run/after_run フックの失敗が黙殺され、誤った結果を生む。
A. per-run 例外が batch 全体を巻き込む
run_one は try/finally のみで except が無く、finally も例外を握らない。proc は L97 で None 初期化され ...
bug
課題
レポートが A/B 比較の不確実性と生存者バイアスを表現しておらず、小規模 run（既定 epochs=3）で誤った結論を導きやすい。
1. 統計的厳密性の欠如
build_report は median/mean/paired delta を出すが、サンプル数・分散・信頼区間・有意性・「データ不足」警告のいずれも無い。n=3 では % delta がほぼノイズでも有意に見える。
2. ...
enhancement
課題
resolve_prompt config.py L122-L127 が全タスクのプロンプト末尾に英語固定の指示を無条件で付加する:
result += \n\nSave all output files under /workspace/output/.
examples/prompt-language は english / japanese variant（Respond in ...
enhancement
課題
LLM-as-Judge が再現性・可観測性・コンテキスト量の面で弱く、スコアの信頼性を損なう。
C. judge がホストの copilot で実行（バージョン非固定）
eval 本体は runner.copilot_version（既定 1.0.18）でピン留めしたコンテナで実行されるが、run_judge は cmd = [ copilot , -p , prompt, -s ] ...
documentation
enhancement
課題
A/B 計測において variant の実行順序・並列度が結果を交絡し得る。
- 直列モード（cli.py L174-L183）は各 epoch で variant を常に固定順で実行する → 順序効果（キャッシュ温まり・レート制限・時間帯）が baseline 側に偏る。
- full 並列（cli.py L146-L154）はリソース競合・レート制限・クラウドクォータ干渉・共有環境レースを招き得る。 ...
enhancement
!-- Thanks for contributing to GitNest 🚀 --
Feature Summary
!-- Provide a short and clear summary of the feature request. -- Add branch comparison support to the PR backend by
introducing API that compares ...
Facelessism
S23-I03: Key Management Certificate Management Standards
1. Issue Metadata
| Field | Value |
| --- | --- |
| Document ID | SOG-S23-I03-v1.0 |
| Domain | DHS Platform Security Architecture |
| Document ...
SachinSalunkeLead
Is your feature request related to a problem? Please describe.
Sensitive configuration changes such as environment updates, permission modifications, or deployment settings can
accidentally cause outages ...
enhancement
good first issue
GSSoC'26
level:beginner
mentor:Ayushh-Sharmaa
needs-labels
needs-more-info
priority:high
website
jainiksha
Learn how you can use GitHub Issues to plan and track your work.
Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub IssuesProTip! Restrict your search to the title by using the in:title qualifier.
Learn how you can use GitHub Issues to plan and track your work.
Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub IssuesProTip! Restrict your search to the title by using the in:title qualifier.