treino dentro de um loop

[rafaelgioria]

de @akol67 na issue #6 questão na issue #6

Vou criar um exemplo aqui local.
Na figura enviada, vi uns typos pequenos (vou indicar mais abaixo),
e atualmente o erro topográfico está em .topographic_error

[rafaelgioria]

maxiter = 10
mapsize_list = list()
QE_list = list()
TE_list = list()
np.random.seed(42) # to make it reproducible
for iterations in range(maxiter):
  mapsize = np.random.randint([13, 26], [ 17, 29])
  mapsize *= 2 ## multiply by 2 because number of lines must be even

  som_test = intrasom.SOMFactory.build(data,
                                     mapsize = [ int(mapsize[0]), int(mapsize[1]) ],
                                      mapshape='toroid',
                                      lattice='hexa',
                                      normalization='var',
                                      initialization='random',
                                      neighborhood='gaussian',
                                      training='batch',
                                      name='Example'+str(iterations),
                                      missing=False,
                                       pred_size=0
                                      )
  som_test.train(train_len_factor=2,
                 previous_epoch = False,
                 save = False,
                 )
  mapsize_list.append(mapsize)
  QE_list.append(som_test.calculate_quantization_error)
  TE_list.append(som_test.topographic_error)
  print(mapsize)
  print(QE_list[-1]) 
  print(TE_list[-1]) 
  print('===============')

Edit: Editado para contornar problema de int64 e int32 no dump do json.
Edit2: Aproveitei e adicionei a mudança do name com o contador das iterações.
Edit3: atenção que este esquema não guarda todos os mapas treinados.
Edit4: agora deve funcionar na forma com tuple para branches pt_br e english que foram atualizadas para aceitar entrada de mapsize como tuples sem o erro do JSON.

[rafaelgioria]

este loop aborta com o erro: "TypeError: Object of type int64 is not JSON serializable"

Estou a ver isto. Testei criando uma list manual e foi. Aí mudei para a geração random e falhou.

O problema é que o random do numpy gera int não aceito pelo dump do json.

Vou marcar para resolver na própria função: garantir um int() naivo antes do dump.

[rafaelgioria]

quando nao esta dentro de um loop, os valores de QE sao diferentes. O valor de QE atualizavel é 0.0788 enquanto que o valor puxado ao final para uma variavel é 2.1666

ism_pca.train(train_len_factor= 2, previous_epoch=False, save = False)
q_error_sm = ism_pca.calculate_quantization_error
t_error_sm = ism_pca.topographic_error

print ("Topographic error = %s; Quantization error = %s" % (t_error_sm, q_error_sm))

O calculate_quantization_error é a média de QE de todas variáveisdeve ser a média do que sai para cada variável calculate_quantization_error_extended.

Não entendi exatamente o que ocorreu pela sua descrição:
O calculate_quantization_error no loop está diferente do valor calculado logo após fora do loop ou em um outro treino?

[rafaelgioria]

este loop aborta com o erro: "TypeError: Object of type int64 is not JSON serializable"

@akol67
Editei para contornar o problema do json.
Para isto, fiz o type cast dos valores do mapsize explicitamente na entrada da função usando int( ).

Não é solução limpa, só um contorno provisório se você quiser explorar mais.

edit: agora deve funcionar para branches pt_br e english que foram atualizadas para aceitar entrada de mapsize como tuples sem o erro do JSON.

[rafaelgioria]

@rodiegeology
mesmo marcando como save = False ocorre a chamada do json para escrever o report de treino.

Eu vi no código que há o fix_serialize para evitar isto, mas parece não considerar se tivermos tuple para o mapsize.

Sugestão:
Adicionar a verificação

elif isinstance(obj, tuple):
                return [fix_serialize(item) for item in obj]

[rafaelgioria]

branches pt_br e english atualizadas para aceitar entrada de mapsize como tuples sem o erro do JSON.

[akol67]

tentei ,topographic_error apos o treino. O eroo é: 'numpy.float64' object is not callable Em seg., 28 de ago. de 2023 às 16:05, rafaelgioria ***@***.***> escreveu:

…

de @akol67 <https://github.com/akol67> na issue #6 <#6> questão na issue #6 <#6 (comment)> Vou criar um exemplo aqui local. Na figura enviada, vi uns typos pequenos (vou indicar mais abaixo), e atualmente o erro topográfico está em .topographic_error — Reply to this email directly, view it on GitHub <#11>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/AI3MX6VB7ULUUG7MREDISRLXXTTWVANCNFSM6AAAAAA4B2646Y> . You are receiving this because you were mentioned.Message ID: ***@***.***>

-- *Att* *Alexandre Kolisnyk*

[rafaelgioria]

som_test.topographic_error sem os parênteses rodou aqui.

Vou verificar se foi typo meu, senão deve ser som_test.topographic_error()

[akol67]

.topographic_error funcionou sem os parênteses

[akol67]

Melhorando: dentro do loop calcula-se QE_list.append(som_test.calculate_quantization_error) e o valor é apresentado em QE_list[-1]. Como fazer para este valor ser igual ao valor mostrado no final do fine tuning?

[rafaelgioria]

Entendi.
Observo o mesmo problema rodando aqui.
O issue #6 está mantido aberto com este problema.