{"id":792,"date":"2024-11-06T15:34:56","date_gmt":"2024-11-06T18:34:56","guid":{"rendered":"https:\/\/tachyonix.io\/br\/?p=792"},"modified":"2024-11-06T15:36:22","modified_gmt":"2024-11-06T18:36:22","slug":"desbloqueando-o-potencial-da-ia-para-negocios-melhores-praticas-de-engenharia-parte-ii","status":"publish","type":"post","link":"https:\/\/www.tachyonix.io\/br\/desbloqueando-o-potencial-da-ia-para-negocios-melhores-praticas-de-engenharia-parte-ii\/","title":{"rendered":"Desbloqueando o Potencial da IA para Neg\u00f3cios: Melhores Pr\u00e1ticas de Engenharia \u2013 PARTE II"},"content":{"rendered":"\n

3.<\/strong> Testes espec\u00edficos de cen\u00e1rio para resultados confi\u00e1veis e robustos<\/strong><\/p>\n\n\n\n

Para garantir que os resultados atendam aos padr\u00f5es de precis\u00e3o e relev\u00e2ncia, realizamos testes espec\u00edficos para cada cen\u00e1rio. Esses testes ajudam a avaliar a confiabilidade e robustez da solu\u00e7\u00e3o em diferentes situa\u00e7\u00f5es, ajustando o modelo e os prompts de acordo com as necessidades exclusivas de cada caso de uso.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Tabela 1: Qualidade dos resultados LLM em diferentes cen\u00e1rios de dados de entrada<\/em><\/p>\n\n\n\n

4. Otimiza\u00e7\u00e3o e serializa\u00e7\u00e3o de dados de entrada para aumentar a relev\u00e2ncia e velocidade<\/strong><\/p>\n\n\n\n

Al\u00e9m dos testes espec\u00edficos por cen\u00e1rio, a integra\u00e7\u00e3o de dados empresariais em casos de uso de AI \u00e9 fundamental para resultados relevantes. Para esses casos empresariais, os dados geralmente s\u00e3o apresentados em formato tabular e com contexto sem\u00e2ntico adicional, como fornecido pelas aplica\u00e7\u00f5es de neg\u00f3cios da SAP. Isso tamb\u00e9m precisa ser otimizado.<\/p>\n\n\n\n

Come\u00e7amos garantindo que os dados de contexto oferecidos para gerar insights sejam abrangentes, representando o tempo de servi\u00e7o do colaborador e sua progress\u00e3o salarial. Portanto, otimizar o consumo de tokens de nossos dados de entrada \u00e9 uma etapa necess\u00e1ria para otimizar a velocidade. Simultaneamente, outro objetivo \u00e9 aumentar a precis\u00e3o estruturando os dados tabulares de maneira que maximize o n\u00edvel de compreens\u00e3o pelos LLMs.<\/p>\n\n\n\n

A Tabela 2 mostra um conjunto de dados simulado, representando a progress\u00e3o salarial de um colaborador. Assim como muitas outras aplica\u00e7\u00f5es projetadas especificamente para o SAP SuccessFactors, os dados sobre informa\u00e7\u00f5es dos colaboradores s\u00e3o armazenados em formato tabular (dados estruturados). No entanto, LLMs naturalmente n\u00e3o t\u00eam uma boa compreens\u00e3o de dados tabulares quando integrados nos prompts. Isso ocorre porque a conex\u00e3o entre os cabe\u00e7alhos de coluna e os valores correspondentes das c\u00e9lulas se perde quando lida sequencialmente. Por exemplo, se enviarmos \u201c2021\u201d da segunda linha da Tabela 1 para o LLM, ele n\u00e3o reconhecer\u00e1 que o valor \u201c2021\u201d se refere \u00e0 coluna \u201cAno\u201d.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Tabela 2. Exemplo de dados tabulares simulados usados para revis\u00e3o de compensa\u00e7\u00e3o de colaboradores<\/em><\/p>\n\n\n\n

Para aprimorar a compreens\u00e3o dos dados tabulares pelos LLMs, utilizamos um modelo de texto para serializar esses dados antes de inclu\u00ed-los no prompt. A serializa\u00e7\u00e3o segue modelos predefinidos. Um modelo simples, por exemplo, pode seguir o formato: \u201cO {nome_da_coluna} \u00e9 {valor_da_c\u00e9lula}.\u201d Nossos testes demonstram que o m\u00e9todo de serializa\u00e7\u00e3o proposto permite que o LLM compreenda as rela\u00e7\u00f5es internas dos dados tabulares, mantendo um tamanho de token reduzido, o que gera resultados mais r\u00e1pidos e precisos (aproximadamente 25% menos tokens comparado ao formato JSON original).<\/p>\n\n\n\n

5. Compreens\u00e3o e mitiga\u00e7\u00e3o de vieses inerentes com desvio focado no prompt<\/p>\n\n\n\n

LLMs tendem a produzir respostas enviesadas devido a desequil\u00edbrios no conjunto de dados de treinamento. Evitar a propaga\u00e7\u00e3o de vi\u00e9s em aplica\u00e7\u00f5es de AI generativa apresenta desafios \u00fanicos, devido \u00e0 sua natureza de gera\u00e7\u00e3o de conte\u00fado, como no caso da ferramenta de compensa\u00e7\u00e3o que gera pontos de discuss\u00e3o. No entanto, pr\u00e1ticas recomendadas s\u00e3o aplicadas para identificar e mitigar vi\u00e9s, utilizando t\u00e9cnicas como engenharia de prompts espec\u00edfica ou fine-tuning.<\/p>\n\n\n\n

Para ilustrar esse processo no contexto do nosso caso de uso, examinamos potenciais vieses involunt\u00e1rios ao simular ajustes salariais recomendados entre diferentes grupos de g\u00eanero. Isso \u00e9 realizado alternando entre nomes masculinos e femininos nos par\u00e2metros de entrada, representando os respectivos grupos de g\u00eanero, que, por sua vez, s\u00e3o utilizados para chamadas de API LLM. Observa-se que o ajuste salarial n\u00e3o \u00e9 inclu\u00eddo nos resultados finais apresentados aos usu\u00e1rios; \u00e9 utilizado exclusivamente para fins de c\u00e1lculo e avalia\u00e7\u00e3o interna.<\/p>\n\n\n\n

Os resultados dessas chamadas s\u00e3o ent\u00e3o analisados para uma avalia\u00e7\u00e3o estat\u00edstica.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Figura 6: Compara\u00e7\u00e3o de cen\u00e1rios diferenciados por g\u00eanero na entrada de dados e estilo de prompting<\/em><\/p>\n\n\n\n

A Figura 6 ilustra o fluxo de avalia\u00e7\u00e3o para diferentes cen\u00e1rios baseados no g\u00eanero presente nos dados de entrada e em variados estilos de prompting. Especificamente, adotamos e avaliamos o estilo de prompting orientado para pensamento, atrav\u00e9s de instru\u00e7\u00f5es adicionais que explicitamente instruem o modelo a permanecer imparcial.<\/p>\n\n\n\n

Na Figura 7, comparamos as distribui\u00e7\u00f5es dos resultados obtidos antes e depois do uso de um estilo de prompting imparcial e da remo\u00e7\u00e3o de pronomes de g\u00eanero. Observa-se que o uso de prompting adequado reduz o vi\u00e9s, proporcionando distribui\u00e7\u00f5es de resultados similares para casos masculinos e femininos, com intervalos de varia\u00e7\u00e3o mais estreitos. Quando o g\u00eanero foi inclu\u00eddo diretamente no prompt, aqueles identificados como n\u00e3o-bin\u00e1rios foram, em geral, favorecidos pelo LLM.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

\u2003<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Figura 7: Distribui\u00e7\u00f5es de resultados por grupo com base em g\u00eanero: antes e depois (as barras verticais representam intervalos e os pontos representam valores at\u00edpicos)<\/em><\/p>\n\n\n\n

O efeito da redu\u00e7\u00e3o de vi\u00e9s \u00e9 ilustrado na Figura 8. Dedu\u00edmos o vi\u00e9s a partir das discrep\u00e2ncias observadas entre os dois grupos de g\u00eanero. Especificamente, calculamos a discrep\u00e2ncia entre as distribui\u00e7\u00f5es dos resultados com base em g\u00eanero, medindo a diferen\u00e7a entre seus valores m\u00e9dios em uma escala padronizada. Nesta figura, por exemplo, ao empregar um prompt b\u00e1sico, temos uma diferen\u00e7a de 0,162 entre os grupos de g\u00eanero com o Modelo B. No entanto, essa diferen\u00e7a pode ser reduzida para um valor muito menor de 0,049 ao utilizar o prompt final.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Figura 8: Efeito da redu\u00e7\u00e3o de vi\u00e9s com base na discrep\u00e2ncia dos valores m\u00e9dios dos grupos de g\u00eanero<\/em><\/p>\n\n\n\n

Com base nessas avalia\u00e7\u00f5es das medidas de mitiga\u00e7\u00e3o de vi\u00e9s, ajustamos ativamente nossa abordagem para minimizar o vi\u00e9s na implementa\u00e7\u00e3o em produ\u00e7\u00e3o. Isso inclui a remo\u00e7\u00e3o de informa\u00e7\u00f5es de g\u00eanero dos dados contextuais no prompt e a ado\u00e7\u00e3o de um estilo de prompt imparcial.<\/p>\n\n\n\n

6. Garantindo uma IA confi\u00e1vel e respons\u00e1vel por meio de processos de revis\u00e3o \u00e9tica<\/strong><\/p>\n\n\n\n

No contexto da IA generativa, as considera\u00e7\u00f5es \u00e9ticas s\u00e3o fundamentais devido ao seu potencial de uso para gera\u00e7\u00e3o de conte\u00fado, resumo e casos de uso em classifica\u00e7\u00e3o. Assegurar a equidade, transpar\u00eancia e responsabilidade no processo de gera\u00e7\u00e3o \u00e9 essencial para mitigar vieses, respeitar os direitos de privacidade e promover a aplica\u00e7\u00e3o respons\u00e1vel de IA para neg\u00f3cios. Na SAP, nossa pol\u00edtica de \u00e9tica em IA exige que as aplica\u00e7\u00f5es de IA generativa sigam tr\u00eas pilares fundamentais: \u201cSupervis\u00e3o e Ag\u00eancia Humana\u201d, \u201cEndere\u00e7amento de Vi\u00e9s e Discrimina\u00e7\u00e3o\u201d e, por \u00faltimo, \u201cTranspar\u00eancia e Explicabilidade\u201d.<\/p>\n\n\n

\n
\"\"<\/figure>\n<\/div>\n\n\n

Figura 9: Pilares da pol\u00edtica de \u00e9tica em IA da SAP<\/em><\/p>\n\n\n\n

O SAP SuccessFactors possui uma estrutura de reconhecimento de IA que os usu\u00e1rios precisam aceitar antes de utilizar ou visualizar qualquer capacidade de IA. Al\u00e9m disso, os padr\u00f5es de produto e o processo de avalia\u00e7\u00e3o de riscos garantem que todos os dados pessoalmente identific\u00e1veis sejam tratados de maneira apropriada e anonimizada. Controles de acesso aos dados s\u00e3o aplicados com base em permiss\u00f5es por fun\u00e7\u00e3o, e as informa\u00e7\u00f5es s\u00e3o limitadas ao que o usu\u00e1rio tem autoriza\u00e7\u00e3o para acessar. Conforme o tipo de aplica\u00e7\u00e3o e os dados processados, os casos de uso de IA s\u00e3o classificados internamente por n\u00edvel de risco e revisados pelo comit\u00ea de \u00e9tica em IA da SAP, a fim de abordar qualquer quest\u00e3o de vi\u00e9s ou seguran\u00e7a de dados. O caso de uso de discuss\u00e3o assistida por IA sobre compensa\u00e7\u00e3o foi cuidadosamente revisado pelo comit\u00ea de \u00e9tica da SAP. Esse processo resultou no aprimoramento de avisos, do conte\u00fado dos prompts e das informa\u00e7\u00f5es para reduzir o vi\u00e9s.<\/p>\n\n\n\n

As melhorias implementadas incluem evitar infer\u00eancias sobre desempenho presumido, evitar declara\u00e7\u00f5es gen\u00e9ricas e criar pontos de a\u00e7\u00e3o claros e espec\u00edficos. Seguindo nossas melhores pr\u00e1ticas, os usu\u00e1rios podem visualizar todas as fontes de dados utilizadas para gerar insights, promovendo a explicabilidade e transpar\u00eancia. Este processo \u00e9 descrito detalhadamente no manual de \u00e9tica em IA da SAP.<\/p>\n\n\n\n

Al\u00e9m disso, garantimos a conformidade com o Ato de IA da Uni\u00e3o Europeia, que classifica a manipula\u00e7\u00e3o de comportamento cognitivo, pontua\u00e7\u00e3o social, identifica\u00e7\u00e3o biom\u00e9trica e categoriza\u00e7\u00e3o baseada nesses dados como “riscos inaceit\u00e1veis”. H\u00e1 tamb\u00e9m requisitos de transpar\u00eancia bem definidos para sistemas de IA de uso geral. Nossas solu\u00e7\u00f5es, incluindo a revis\u00e3o assistida por IA para compensa\u00e7\u00e3o, passam nesses crit\u00e9rios, gra\u00e7as ao rigoroso processo de revis\u00e3o \u00e9tica em IA mencionado anteriormente.<\/p>\n\n\n\n

Conclus\u00e3o<\/strong><\/p>\n\n\n\n

Na SAP, nossas melhores pr\u00e1ticas de engenharia s\u00e3o orientadas para desenvolver aplica\u00e7\u00f5es de IA generativa \u00e9ticas, resilientes e escal\u00e1veis. Essa sinergia nos permite desbloquear o potencial da IA generativa dentro de nossas aplica\u00e7\u00f5es e plataforma de neg\u00f3cios, ampliando a efici\u00eancia e produtividade para nossos clientes.<\/p>\n\n\n\n

Neste artigo, exploramos o ponto cr\u00edtico de interse\u00e7\u00e3o entre o conhecimento espec\u00edfico de neg\u00f3cios do SAP SuccessFactors e a especializa\u00e7\u00e3o em IA generativa. Compartilhamos exemplos de melhores pr\u00e1ticas de engenharia aplicadas ao desenvolvimento do cen\u00e1rio de discuss\u00e3o de compensa\u00e7\u00e3o assistida por IA, detalhando a efic\u00e1cia quantitativa de cada pr\u00e1tica a partir de perspectivas como relev\u00e2ncia, robustez, confiabilidade e mitiga\u00e7\u00e3o de vi\u00e9s. Al\u00e9m disso, descrevemos a revis\u00e3o \u00e9tica de IA a que este caso de uso foi submetido.<\/p>\n\n\n\n

Coautoria de Dr. Shu Zhen, Gayatri Gopalakrishnan, Dr. Jan Dumke e Akhil Agarwal<\/p>\n","protected":false},"excerpt":{"rendered":"

3. Testes espec\u00edficos de cen\u00e1rio para resultados confi\u00e1veis e robustos Para garantir que os resultados atendam aos padr\u00f5es de precis\u00e3o e relev\u00e2ncia, realizamos testes espec\u00edficos para cada cen\u00e1rio. Esses testes ajudam a avaliar a confiabilidade e robustez da solu\u00e7\u00e3o em diferentes situa\u00e7\u00f5es, ajustando o modelo e os prompts de acordo com as necessidades exclusivas de cada […]<\/p>\n","protected":false},"author":1,"featured_media":802,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-792","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sem-categoria"],"_links":{"self":[{"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/posts\/792","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/comments?post=792"}],"version-history":[{"count":4,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/posts\/792\/revisions"}],"predecessor-version":[{"id":804,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/posts\/792\/revisions\/804"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/media\/802"}],"wp:attachment":[{"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/media?parent=792"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/categories?post=792"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.tachyonix.io\/br\/wp-json\/wp\/v2\/tags?post=792"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}