Uma reflexão recente à meia-noite Na verdade, não é tão nova, é um tema recorrente: "quem faz infra deve se aproximar do negócio, caso contrário, tudo é um castelo no ar." Já mencionei várias vezes que nossa empresa é um dos principais players em AIGC, focando no setor de animação. Recentemente, enfrentamos um problema causado pelo Elasticsearch. As obras de arte e as tarefas geradas que nossos usuários publicam são pesquisáveis. Recentemente, o Elasticsearch tem apresentado frequentemente problemas, onde alguns Data Nodes ficam sobrecarregados, resultando em problemas de pesquisa em cadeia. Como podemos resolver rapidamente esse problema? Antes de discutir mais, precisamos refletir sobre a essência da operação de pesquisa neste cenário. Minha opinião é que se trata de gestão de ativos. No cenário AIGC, o Prompt é, sem dúvida, o ativo central do usuário, enquanto a Task e a Artwork, de certa forma, podem ser vistas como uma prévia (ou atributos) do ativo. Com essa dedução, podemos entender claramente que, pelo menos na forma atual, as propriedades centrais do negócio não podem ceder em prol dos resultados técnicos. Além disso, temos uma observação: a visibilidade das Artworks publicadas pelos nossos usuários é diferente da das Tasks; as Artworks podem ser pesquisadas publicamente e também têm responsabilidades de SEO, enquanto as Tasks são visíveis apenas para os usuários. Em outras palavras, a frequência de acesso e a demanda por recursos dos dados de ambos são bastante diferentes. Em outras palavras, temos uma necessidade de multi-tenancy para o índice do ES. Mas, infelizmente, de acordo com o design atual do ES, ele não possui essa capacidade de multi-tenancy. Embora, a longo prazo, a otimização de consultas seja uma opção inevitável, no momento, diante de um negócio em rápida evolução, dividir o índice em diferentes clusters e alocar diferentes capacidades de computação/disco com base nas propriedades do índice se tornará nossa escolha preferida para testes rápidos. Atualmente, esse trabalho está em andamento, e os resultados são desconhecidos, mas todo o processo de reflexão e jogo de ideias é algo que eu raramente considerava nos últimos anos. Muitas vezes, a solução técnica ideal pode não ser a solução ideal para o negócio. Por último, mas não menos importante, um anúncio. Nossa empresa está contratando, com vagas abertas para ML Engineer, ML Data/Full Stack/Backend/Marketing, entre outros. Se você quer fazer algo interessante, sinta-se à vontade para me enviar uma mensagem direta, ajudarei você a chegar ao seu chefe.