%load_ext pretty_jupyter

import pandas as pd
import os
import numpy as np

import psutil # CHECAR MEMORIA DO PC

# Usada na função para descobrir se é possível converter object em category
from pandas.api.types import CategoricalDtype

import re

import matplotlib as plt
import seaborn as sns

from sklearn.pipeline import Pipeline
from sklearn.base import BaseEstimator, TransformerMixin

os.chdir("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2")

# Carregar tabelas movies
movies_treino = pd.read_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/2.Datasets_Limpeza/movies_treino.pickle", compression="gzip") 
movies_teste = pd.read_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/2.Datasets_Limpeza/movies_teste.pickle", compression="gzip")

movies_treino

# Carregar tabelas genomes_tags
genome_tags_treino= pd.read_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/2.Datasets_Limpeza/genome_tags_treino.pickle", compression="gzip")
genome_tags_teste = pd.read_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/2.Datasets_Limpeza/genome_tags_teste.pickle", compression="gzip")

genome_tags_treino

# Carregar as tabelas genome-scores
genome_scores_treino = pd.read_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/2.Datasets_Limpeza/genome_scores_treino.pickle", compression="gzip")
genome_scores_teste = pd.read_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/2.Datasets_Limpeza/genome_scores_teste.pickle", compression="gzip")

genome_scores_treino

class ExtrairAno(BaseEstimator, TransformerMixin):
    ''' 
    Classe que extrai o ano do título do filme e cria uma nova coluna com título sem o ano 
    
    Args:
    - coluna: nome da coluna que contém o título com o ano do filme
    '''
    def __init__(self, coluna):
        self.coluna = coluna

    def fit(self, X, y=None):
        return self

    def transform(self, X):
        tabela = X.copy()
        nova_coluna_nome = f"Ano_do_filme"
        # Use a expressão regular para extrair o ano entre parênteses
        tabela[nova_coluna_nome] = tabela[self.coluna].str.extract(r'\((\d{4})\)', expand=False)
        # Se houver valores NaN (caso em que a extração falhou), preencher com -1 
        tabela[nova_coluna_nome] = tabela[nova_coluna_nome].fillna(-1).astype(int)
        return tabela

class ExtrairTitulo(BaseEstimator, TransformerMixin):
    def __init__(self, coluna):
        self.coluna = coluna

    def fit(self, X, y=None):
        return self

    def transform(self, X):
        tabela = X.copy()
        tabela['titulo_sem_ano'] = tabela[self.coluna].str.extract(r'^(.*?)\s*\(\d{4}\)')
        # Se houver valores NaN (caso em que a extração falhou), preencher com -1 
        tabela['titulo_sem_ano'] = tabela['titulo_sem_ano'].fillna(-1)
        return tabela

class GeneroSeparado(BaseEstimator, TransformerMixin):
    ''' Classe que cria uma coluna com o primeiro genero do filme
    Args:
    - coluna: nome da coluna com os generos dos filmes
    '''
    def __init__(self, coluna):
        self.coluna = coluna

    def fit(self,X,y=None):
        return self

    def transform(self, X):
        tabela = X.copy()
        tabela[f"{self.coluna}_separado"] = tabela[self.coluna].apply(lambda x: x.split('|')[0])
        return tabela   

# Criar a pipeline
pipeline_movies = Pipeline([
    ('Extrair o ano do titulo', ExtrairAno(coluna = 'title')),
    ('Criar coluna de título sem o ano', ExtrairTitulo(coluna='title')),
    ('Criar coluna com só um gênero por filme', GeneroSeparado(coluna='genres')) 
])

pipeline_movies

# Executar a pipeline
movies_treino_transformado = pipeline_movies.fit_transform(movies_treino)
movies_teste_transformado = pipeline_movies.fit_transform(movies_teste)

movies_treino_transformado

# Verificar se existem NA´s
movies_treino_transformado.isna().sum()

# Salvar tabelas
movies_treino_transformado.to_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/3.Datasets_Transformação/3.2_Datasets_Transformação_parte_2/movies_treino_transformado.pickle", compression = 'gzip')
movies_teste_transformado.to_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/3.Datasets_Transformação/3.2_Datasets_Transformação_parte_2/movies_teste_transformado.pickle", compression = 'gzip')

genome_treino = pd.merge(genome_scores_treino, genome_tags_treino, on="tagId", how="inner")

genome_treino

genome_teste= pd.merge(genome_scores_teste, genome_tags_teste, on="tagId", how="inner")

genome_teste

# Salvar tabelas
genome_treino.to_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/3.Datasets_Transformação/3.2_Datasets_Transformação_parte_2/genome_treino.pickle", compression='gzip')
genome_teste.to_pickle("C:/0.Projetos/5.Sistema_de_Recomendação_MovieLens_2/Datasets/3.Datasets_Transformação/3.2_Datasets_Transformação_parte_2/genome_teste.pickle", compression='gzip')