Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- ROC da reunião anterior: https://i.imgur.com/xBKzlLN.png (0.90 +- 0.10)
- ROC do modelo atual: https://i.imgur.com/VWg5Ydf.png (0.84 +- 0.14) (CNN-Z_2x3F_K5_256_False11)
- esse é o modelo que melhor evita FP.
- tem um 0.85 +- 0.11 um pouco pior neste quesito: https://i.imgur.com/hZotAuF.png (CNN-Z_2x3F_K5_256_True11)
- novamente, pioraram os resultados em comparação, apesar de a metodologia ser superior.
- a mais provável explicação é a diminuição da proporção de imagens boas...
- anterior: Total | Good: 3948 | Bad: 4908 | 44.58% (3948/8856)
- atual: Total | Good: 2496 | Bad: 4429 | +-: 970 | 32% 56% 12% (2496/7895)
- what was done:
- adicionada classificação "mais ou menos" (+-).
- feitos treinamentos tanto considerando +- como ruins, e completamente ignorando as imagens +-.
- a conclusão é... não há conclusão.
- talvez há alguma tendência para os modelos treinados sem as +- serem melhores em evitar FP, mas isso não ocorreu em todos os casos... o melhor modelo foi treinado sem +-.
- alguns pares de treinamento (sem +- e com +-):
- https://imgur.com/a/PE1qTCk
- https://imgur.com/a/KtT8QGl
- https://imgur.com/a/XQc9Xys
- https://imgur.com/a/bI6i1qI
- no backend, melhorado o código, agora é fácil treinar várias combinações de image size/quantidade de filtros/profundidade da rede e outras configs...
- intra-sensor: difícil de avaliar de verdade, por causa do grande desbalanceamento de proporção de imagens boas entre as bases.
- algum resultado aqui para o Motorola Moto X4... Jersey_1 split em 3, para poder distribuir entre train/valid/test:
- Jersey_1a | Good: 281 | Bad: 68 | +-: 156 | 56% 13% 31% (281/505)
- Puruna_1 | Good: 62 | Bad: 776 | +-: 37 | 7.1% 89% 4.2% (62/875)
- Jersey_1b | Good: 47 | Bad: 37 | +-: 2 | 55% 43% 2.3% (47/86)
- Puruna_2 | Good: 89 | Bad: 1132 | +-: 75 | 6.9% 87% 5.8% (89/1296)
- Jersey_1c | Good: 9 | Bad: 60 | +-: 7 | 12% 79% 9.2% (9/76)
- Puruna_3 | Good: 70 | Bad: 1656 | +-: 67 | 3.9% 92% 3.7% (70/1793)
- Total | Good: 558 | Bad: 3729 | +-: 344 | 12% 81% 7.4% (558/4631)
- ROC: 0.80 +- 0.04 https://i.imgur.com/l5BODt8.png (mesmos parâmetros do modelo acima que melhor evita FP)
- distribuição total da amostra:
- Jersey_1 | Good: 337 | Bad: 165 | +-: 165 | 51% 25% 25% (337/667)
- Jersey_2 | Good: 116 | Bad: 122 | +-: 56 | 39% 41% 19% (116/294)
- Jersey_3 | Good: 309 | Bad: 116 | +-: 73 | 62% 23% 15% (309/498)
- Total | Good: 762 | Bad: 403 | +-: 294 | 52% 28% 20% (762/1459)
- Puruna_1 | Good: 62 | Bad: 776 | +-: 37 | 7.1% 89% 4.2% (62/875)
- Puruna_2 | Good: 89 | Bad: 1132 | +-: 75 | 6.9% 87% 5.8% (89/1296)
- Puruna_3 | Good: 70 | Bad: 1656 | +-: 67 | 3.9% 92% 3.7% (70/1793)
- Total | Good: 221 | Bad: 3564 | +-: 179 | 5.6% 90% 4.5% (221/3964)
- USP-P1 | Good: 161 | Bad: 50 | +-: 124 | 48% 15% 37% (161/335)
- USP-P2 | Good: 211 | Bad: 56 | +-: 43 | 68% 18% 14% (211/310)
- USP-P3 | Good: 230 | Bad: 67 | +-: 45 | 67% 20% 13% (230/342)
- Total | Good: 602 | Bad: 173 | +-: 212 | 61% 18% 21% (602/987)
- Total | Good: 1585 | Bad: 4140 | +-: 685 | 25% 65% 11% (1585/6410)
- com Data Augmentation por Horizontal Flip.
- não foi aplicado hflip nas bases com proporção baixa de imagens boas, para tentar balancear mais o conjunto:
- Jersey_1 | Good: 337 | Bad: 165 | +-: 165 | 51% 25% 25% (337/667)
- Jersey_2 | Good: 116 | Bad: 122 | +-: 56 | 39% 41% 19% (116/294)
- Jersey_3 | Good: 309 | Bad: 116 | +-: 73 | 62% 23% 15% (309/498)
- Jersey_3_hf | Good: 309 | Bad: 116 | +-: 73 | 62% 23% 15% (309/498)
- Total | Good: 1071 | Bad: 519 | +-: 367 | 55% 27% 19% (1071/1957)
- Puruna_1 | Good: 62 | Bad: 776 | +-: 37 | 7.1% 89% 4.2% (62/875)
- Puruna_2 | Good: 89 | Bad: 1132 | +-: 75 | 6.9% 87% 5.8% (89/1296)
- Puruna_3 | Good: 70 | Bad: 1656 | +-: 67 | 3.9% 92% 3.7% (70/1793)
- Total | Good: 221 | Bad: 3564 | +-: 179 | 5.6% 90% 4.5% (221/3964)
- USP-P1 | Good: 161 | Bad: 50 | +-: 124 | 48% 15% 37% (161/335)
- USP-P1_hf | Good: 161 | Bad: 50 | +-: 124 | 48% 15% 37% (161/335)
- USP-P2 | Good: 211 | Bad: 56 | +-: 43 | 68% 18% 14% (211/310)
- USP-P2_hf | Good: 211 | Bad: 56 | +-: 43 | 68% 18% 14% (211/310)
- USP-P3 | Good: 230 | Bad: 67 | +-: 45 | 67% 20% 13% (230/342)
- USP-P3_hf | Good: 230 | Bad: 67 | +-: 45 | 67% 20% 13% (230/342)
- Total | Good: 1204 | Bad: 346 | +-: 424 | 61% 18% 21% (1204/1974)
- Total | Good: 2496 | Bad: 4429 | +-: 970 | 32% 56% 12% (2496/7895)
- arquitetura melhor modelo:
- _________________________________________________________________
- Layer (type) Output Shape Param #
- =================================================================
- conv2d_1 (Conv2D) (None, 252, 252, 3) 78
- _________________________________________________________________
- max_pooling2d_1 (MaxPooling2 (None, 126, 126, 3) 0
- _________________________________________________________________
- conv2d_2 (Conv2D) (None, 122, 122, 6) 456
- _________________________________________________________________
- max_pooling2d_2 (MaxPooling2 (None, 61, 61, 6) 0
- _________________________________________________________________
- flatten_1 (Flatten) (None, 22326) 0
- _________________________________________________________________
- dense_1 (Dense) (None, 2) 44654
- =================================================================
- Total params: 45,188
- Trainable params: 45,188
- Non-trainable params: 0
- _________________________________________________________________
Add Comment
Please, Sign In to add comment
