Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

スナップショットテストが更新されない(ことがある) #1724

Closed
Hiroshiba opened this issue Jan 17, 2024 · 4 comments · Fixed by #1761
Closed

スナップショットテストが更新されない(ことがある) #1724

Hiroshiba opened this issue Jan 17, 2024 · 4 comments · Fixed by #1761

Comments

@Hiroshiba
Copy link
Member

Hiroshiba commented Jan 17, 2024

不具合の内容

でVRTが導入されました!
コミットメッセージに[update snapshots]と書くとスナップショットを更新できるのですが、うまいこと更新されなかったのでissueを作りました。

こちらがログです。(関係ないのがエラーで落ちてるのはopenapiのAPIが減ったからです)

その他

成果物を見る感じ、多分Windows用のスナップショットを更新するのはWindowsだけで、ubuntuとかは更新されてないスナップショットをアップロードしていて、マージする時に衝突して更新されたりされなかったりするんだと思います。

パッと思いつく解決策は、まあOSに従った成果物だけアップロードするようにするのが良いのかなと思いました。
(Windowsは多分*-win32.png?)

もっと良い解決策があるかもと思ってとりあえずコメント待ちです!

@sevenc-nanashi
Copy link
Member

そもそもWindows以外ではshouldUpdateSnapshotsをfalseにするのがいいような気がしました。

@Hiroshiba
Copy link
Member Author

そもそもWindows以外ではshouldUpdateSnapshotsをfalseにするのがいいような気がしました。

なるほどです。
どこをゴールにするかなのかなと思いました!
winでのみスナップショットテストする方針か、やっぱり他のOSでも本当はやりたい(けどできてない)方針か。

個人的には、OS依存の描画の差もあるので、やっぱマルチOSでVRTしたい気持ちがちょっとあります。


今気づいたのですが、「実行のたびに謎の描画差がある」現状の原因、これかも……?
スナップショットはいつも一定だけど、別のOSのが混じっちゃってる的な。

@Hiroshiba
Copy link
Member Author

Hiroshiba commented Jan 23, 2024

こちらが実行できないとテストを更新できないため、優先度最大にさせていただきます。
とりあえずワークアラウンドでwindowsでだけ更新するようにしても良いかも(コメントしっかり案内したい)

@Hiroshiba
Copy link
Member Author

でいろいろやっていたのですが、macでflakyになるのはそういうものという感じでした。
なのでmacは省いちゃって良さそう。

mac省くなら別にlinuxとwinは表示が一緒なので、両方テストするのは意味ない気がします。
docker環境を整えてlinuxでやるのが一番良い気がしますが、なぜかwinでもうまくいっているので、winだけでチェックするのが良いかなと思いました!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
2 participants