Ticket #34956

リリース前のテスト手順を整備する

Open Date: 2015-03-06 21:35 Last Update: 2017-08-06 20:13

Reporter:
Owner:
(None)
Status:
Closed
Component:
(None)
MileStone:
(None)
Priority:
6
Severity:
6
Resolution:
Won't Fix
File:
None

Details

Skype 交流会が定期的に行われたり、公開ベータ版が少なくない件数でダウンロードされたりしていますが、 不具合については「偶然見つかって報告があれば直せる」という状況のままです。

いくつも前のバージョンから起きていた不具合が、 日本語チームに参加していないかたから教わったり、 個人的にいただく連絡によって見つかったりしています。

私もリリース前の確認をきちんと手順化できていないことがひとつの問題だと認識しています。

特に日本語の文字入力、文字説明、点字ディスプレイへの対応などについて、 過去のバージョンでできていたことが、次にリリースするバージョンでも正しく実行できるかどうか、 主要な項目についてはテスト手順を整備して、 リリース前にちゃんと実行する必要があります。

時間や所有する機材・ソフトウェアなどの制約で、 私にはカバーしきれないテスト作業については、 担当者をきめてお任せする、といったことも選択肢と思います。

Ticket History (3/8 Histories)

2015-03-06 21:35 Updated by: nishimoto
  • New Ticket "リリース前のテスト手順を整備する" created
2015-04-23 20:38 Updated by: nishimoto
Comment

そろそろ本家の 2015.2 の開発が終わりに近づいているので、 本件について改めて検討させてください。

例えば以下のように分野を決めて作業手順や担当者を確認できればと思います。

  • Windows 日本語版 XP, Vista, 7, 8.1 (XP 以外は 32ビットと64ビット)での基本的な動作確認
  • 文字説明機能の動作
  • 入力メソッド 特に Microsoft IME と ATOK
  • 点字ディスプレイ

私がリリース候補版で検証をやってきたときには、すべての状況を網羅できていませんが、 XP でのテストはもはやそれほど重要ではない気もします。

入力メソッドと点字ディスプレイについては特に「NVDA日本語版の説明」に 書かれている仕様や動作が正しいかどうかが検証の主なポイントと考えています。

ここで挙げていない項目は本家がちゃんと検証しているだろうと思いますが、 提案と担当のお申し出があれば検討できると思います。

作業のスケジュールとしては、公開ベータ版の時期(つまり 2015.2jp に関しては5月中旬)でしょうか。。

2015-04-23 20:51 Updated by: minanono
Comment

テスト手順は把握出来ていませんが、Windows8.1の64bitと32bit機があります。Atokは持っていないと思います。何か協力出来ればと思います。

2015-08-27 17:52 Updated by: nishimoto
Comment

公開ベータ版を出してから正式版を出すまでの約1ヶ月のあいだに、 ユーザーガイドや日本語版の説明に書かれている仕様が壊れていないことをチェックする、 テスト担当者を募集するべき。

関連チケット #35441

2015-08-27 17:53 Updated by: nishimoto
  • Severity Update from 5 - Medium to 6
  • Priority Update from 5 - Medium to 6
2015-08-30 11:48 Updated by: nishimoto
Comment

募集する担当者のリスト案を考えてみました:

  • Word
  • Excel
  • Skype
  • Microsoft IME
  • ATOK
  • 点字ディスプレイ

目的と作業内容: すべての不具合を探すことが目的ではなく、 NVDA 日本語版のリリースごとに「前のリリースでできたことが新しいリリースで壊れていないこと」を、 確認していただく(リグレッションの発見)。

時期: 本家の string freeze くらいの時期にビルドされた(おそらくは公開の)日本語ベータ版。 締切は本家版がリリース候補版を出すくらい(本家の翻訳締切)の時期。 これだとスケジュールを計画しやすい。

公開ベータ版を前提にするなら、NVDA 日本語チームに限定せず users ML で公募してもよいかも知れない。

2015-11-05 13:39 Updated by: nishimoto
Comment

ベータ版の自動更新を始めたので、リリース前テスト手順の整備は当面あきらめる。

2017-08-06 20:13 Updated by: nishimoto
  • Resolution Update from None to Won't Fix
  • Ticket Close date is changed to 2017-08-06 20:13
  • Status Update from Open to Closed
Comment

ベータ版の自動更新が定着して不具合が発見されやすくなったこと、 ユニットテスト + AppVeyor CI の枠組みが整備されてきたこと、 人力でのテストに関して現実的に体制が組めそうにないことと、 などから判断して、いったんこのチケットはクローズとします。

Attachment File List

No attachments

Edit

Please login to add comment to this ticket » Login