# 2) Configuração MongoDB (substitua pela sua) MONGO_URI = "mongodb+srv://Gilmar:Gil157604@cluster0.uhz9ard.mongodb.net/?retryWrites=true&w=majority&appName=Cluster0" DB_NAME = "renda_genero_db" COL_API = "fonte_api_sidra" COL_WEB = "fonte_web_ibge" COL_FINAL = "fonte_integrada" # 3) Conectar MongoDB Atlas client = MongoClient(MONGO_URI, server_api=ServerApi('1')) db = client[DB_NAME] col_api = db[COL_API] col_web = db[COL_WEB] col_final = db[COL_FINAL] try: client.admin.command("ping") print(" Conectado ao MongoDB Atlas (DB: {})".format(DB_NAME)) except Exception as e: raise SystemExit(" Não foi possível conectar ao MongoDB Atlas: {}".format(e))

# 5) Fonte A: tentar várias tabelas SIDRA (robusto) print("\n Fonte A (sidrapy) — buscando tabela SIDRA com rendimento por sexo e escolaridade...") candidate_tables = [ # lista de candidatos (frequentemente úteis). O pipeline tenta na ordem até encontrar dados válidos. 6654, 5438, 6392, 7448, 7454, 2033, 10284, 5919 ] df_api = pd.DataFrame() used_table = None for tcode in candidate_tables: try: print(f" tentando tabela SIDRA {tcode} ...") # tentamos pegar o ano mais recente 2022/2023; algumas tabelas aceitam 'last' — tentaremos 2022 primeiro try_periods = ["2023", "2022", "last"] got = False for per in try_periods: try: tbl = sidrapy.get_table( table_code=str(tcode), territorial_level="1", ibge_territorial_code="all", period=per, classifications={"c2":"all", "c287":"all"} # tentativa genérica: c2 = sexo, c287 = escolaridade (heurística) ) if isinstance(tbl, pd.DataFrame) and not tbl.empty: df_try = tbl.copy() # try detect relevant columns # look for value column 'V' or numeric-like column if any(c == "V" or "renda" in c.lower() or "valor" in c.lower() for c in df_try.columns): df_api = df_try used_table = (tcode, per) got = True break # otherwise still accept if has many rows if len(df_try) > 5: df_api = df_try used_table = (tcode, per) got = True break except Exception: continue if got: print(f" tabela {tcode} retornou dados (period={used_table[1]})") break except Exception as e: # tenta próxima tabela # print(" erro:", e) continue if df_api.empty: print(" Nenhuma tabela SIDRA candidada retornou dados. (ex.: dados sintéticos)") else: print("Colunas brutas da tabela escolhida:", list(df_api.columns)[:20]) # salvar raw no Mongo col_api.delete_many({}) col_api.insert_many(df_api.fillna("").to_dict(orient="records")) print(f" Fonte A (SIDRA) salva em '{COL_API}' — linhas: {col_api.count_documents({})}")

# 6) Fonte B: web scraping Globo import requests from bs4 import BeautifulSoup import re import matplotlib.pyplot as plt url = "https://g1.globo.com/economia/censo/noticia/2025/10/09/mesmo-mais-escolarizadas-mulheres-ganham-quase-20percent-a-menos-que-homens-diz-ibge.ghtml" response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") texto = soup.get_text(" ", strip=True) # ============================== # 1. Renda geral # ============================== renda_geral = re.findall(r"R\$\s*([\d\.]+)", texto) # Os dois primeiros valores são: # 2506 (mulheres) # 3115 (homens) renda_geral = list(map(lambda x: float(x.replace(".", "")), renda_geral[:2])) # ============================== # 2. Renda ensino superior # ============================== # No texto, os próximos dois valores após os primeiros são: # 4591 (mulheres) # 7347 (homens) renda_superior = re.findall(r"R\$\s*([\d\.]+)", texto) renda_superior = list(map(lambda x: float(x.replace(".", "")), renda_superior[2:4])) # ============================== # 3. Percentual com ensino superior # ============================== percentuais = re.findall(r"(\d{1,2},\d)%", texto) # 28,9 (mulheres) # 17,3 (homens) percentual_superior = [float(p.replace(",", ".")) for p in percentuais[:2]] labels = ["Mulheres", "Homens"] print("Renda geral:", renda_geral) print("Renda com superior:", renda_superior) print("Percentual superior:", percentual_superior)

# 9) BI: Medidas e gráficos (apenas lendo do Mongo) df_use = pd.DataFrame(list(col_final.find({}, {"_id":0}))) if df_use.empty: raise SystemExit(" Coleção integrada vazia — verifique a coleta") # Medidas (mínimo 3) # 1) Gap médio absoluto (Homem - Mulher) (média ponderada pelas counts se disponíveis) # 2) Gap percentual médio # 3) Escolaridade com maior gap absoluto # Compute measure_gap_abs_mean = df_use["diff_abs_H_M"].mean() measure_gap_pct_mean = df_use["diff_pct_H_M"].mean() # top escolaridade gap top_gap_row = df_use.loc[df_use["diff_abs_H_M"].idxmax()] if df_use["diff_abs_H_M"].notna().any() else None print("Medidas:") print(f" - Diferença salarial média absoluta (Homem - Mulher): R$ {measure_gap_abs_mean:.2f}") print(f" - Diferença salarial média percentual (Homem - Mulher) média: {measure_gap_pct_mean:.2f} %") if top_gap_row is not None: print(f" - Escolaridade com maior gap absoluto: {top_gap_row['escolaridade']} (gap R$ {top_gap_row['diff_abs_H_M']:.2f})")

# Gráfico 1: Renda média por escolaridade e sexo (barras agrupadas) print("\nGráfico 1 — Renda média por Escolaridade e Sexo") # rebuild pivot shape for plotting plot_pivot = df_use.set_index("escolaridade")[[c for c in ["Homem","Mulher"] if c in df_use.columns]] plot_pivot.plot(kind="bar", figsize=(10,6)) plt.title("Renda média por Escolaridade e Sexo") plt.ylabel("Renda média (R$)") plt.xlabel("Escolaridade") plt.xticks(rotation=30) plt.grid(axis="y") plt.tight_layout() plt.show() print("Insight: comparar as barras por escolaridade mostra em quais níveis as mulheres estão mais afastadas dos homens em termos absolutos.")

# Gráfico 2: Diferença percentual (Homem vs Mulher) por escolaridade (bar) print("\nGráfico 2 — Gap percentual (Homem - Mulher) / Homem (%) por Escolaridade") if "diff_pct_H_M" in df_use.columns: plt.figure(figsize=(10,5)) sns.barplot(data=df_use.sort_values("diff_pct_H_M", ascending=False), x="escolaridade", y="diff_pct_H_M") plt.title("Gap salarial percentual (Homem - Mulher) / Homem (%) por Escolaridade") plt.ylabel("Diferença (%)") plt.xlabel("Escolaridade") plt.xticks(rotation=30) plt.tight_layout() plt.show() print("Insight: valores mais altos indicam maior desigualdade proporcional; observe se o gap aumenta ou diminui com escolaridade.")

plt.figure(figsize=(6, 4)) plt.bar(labels, renda_geral) plt.title("Renda Média Geral por Gênero") plt.xlabel("Gênero") plt.ylabel("Renda (R$)") plt.tight_layout() plt.show() plt.figure(figsize=(6, 4)) plt.bar(labels, renda_superior) plt.title("Ensino Superior Completo") plt.xlabel("Gênero") plt.ylabel("Renda (R$)") plt.tight_layout() plt.show() plt.figure(figsize=(6, 4)) plt.bar(labels, percentual_superior) plt.title("Percentual da População Ocupada com Ensino Superior") plt.xlabel("Gênero") plt.ylabel("Percentual (%)") plt.tight_layout() plt.show()