Skip to content

issues Search Results · language:Dune language:Python language:JavaScript linked:pr language:JavaScript language:JavaScript

Filter by

4.6M results  (330 ms)

4.6M results

��Severity: Critical (CVSS 9.1) Component: Plugin engine (backend/secuscan/plugins.py) Affected plugins: All plugins accepting user-controlled STRING/TEXT inputs Description _validate_inputs_against_schema ...

背景 / 目的 run.py:49 は npx promptfoo@latest を直書きで実行している。これには3つの問題がある: 1. サプライチェーン露出: 実行のたびに npm から「その時点の最新版」を取得するため、悪意ある/破壊的なリリースが即座に実行環境へ流れ込む 2. ブログ連載の再現性ドリフト: 連載期間中に promptfoo のバージョンが上がると、記事間で採点・出力仕様が変わり、conditions.md ...
ci
enhancement
oss-readiness
P1

Summary After any cloudflared restart, the ready banner advertises a stale, dead quick-tunnel URL instead of the live one. The user pastes that dead URL into the studio and gets studio can t reach it ...

Summary The quickstart docs tell a homelabber they need an NVIDIA driver (550+), Docker, and the NVIDIA Container Toolkit, but they never show how to install any of them on a bare OS. README Run it on ...

背景 / 目的 calibrate の fresh モード(calibrate.py:137-147)は、echo-replay の verdict を case_id 単独で human_labels にマッチバックしている。human_labels.jsonl は (case_id, model, verdict) の3要素で記録する設計なので、同一 case_id に複数モデルのラベルがあると最後の行が先行行を黙って上書きし、一致率(agreement_rate)が誤った値になる。judge ...
enhancement
P0

背景 / 目的 config.yaml の run.temperature: 0.0 は build 時に全プロバイダへ一律適用され、コミット済みの promptfoo/promptfooconfig.yaml にも全モデルの config として焼き込まれている。しかし claude-opus-4-8 と claude-fable-5 は sampling パラメータ(temperature 等)の指定を ...
enhancement
P0

背景 / 目的 公開リポジトリの config.yaml はユーザーがそのままコピーする参照実装だが、大型モデル2つの単価が古い: | モデル | config.yaml の記載 | 実際(2026-07時点) | | --- | --- | --- | | claude-opus-4-8 | $15 / $75 per MTok | $5 / $25 | | claude-fable-5 | ...
blog
documentation
oss-readiness
P0

背景 / 目的 リポジトリは github.com/hidetomasuoka/llm-eval-loop として公開済みだが、LICENSE ファイルが存在せず、pyproject.toml にも license フィールド・authors・project.urls・classifiers・keywords がない。この状態は法的には「All Rights Reserved」であり、ブログ読者や外部ユーザーがこのハーネスを合法的に利用・フォークできない。ブログ公開ガード(docs/DESIGN.md ...
oss-readiness
P0

Add a comment at the top of .ella/checks.sh.example explaining what this file does. Something like # Optional custom checks script - replace auto-detected checks at the very top.
chore
documentation
enhancement

背景 docs/api.md、docs/usage.md、docs/hardware.md、docs/agent-brief.md を整備すると、README から個別 Markdown へリンクするだけでは全体の見通しが悪くなる。 この issue では、ドキュメント本文そのものではなく、MkDocs で閲覧しやすくするための最小構成を整える。 対象 mkdocs.yml docs/ ...
Issue origami icon

Learn how you can use GitHub Issues to plan and track your work.

Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub Issues
ProTip! Restrict your search to the title by using the in:title qualifier.
Issue origami icon

Learn how you can use GitHub Issues to plan and track your work.

Save views for sprints, backlogs, teams, or releases. Rank, sort, and filter issues to suit the occasion. The possibilities are endless.Learn more about GitHub Issues
ProTip! Restrict your search to the title by using the in:title qualifier.