El problema
Mi teléfono tiene miles de fotos. En algún lugar está la foto del perro de un amigo en la playa, el verano pasado. Sé que existe. No la encuentro.
La solución obvia es un asistente en la nube: subes la galería y preguntas con palabras. Funciona, pero también significa entregar toda tu vida, con las caras de tu familia incluidas, al servidor de otro. Yo no quería eso, y sospecho que casi nadie lo quiere cuando se detiene a pensarlo.
La idea
¿Y si el cerebro del asistente nunca saliera del teléfono?
Medyt es una app de iPhone con la que hablas. "Fotos de Bruno en la playa." "Diego y Sofía juntos en el parque." "Las borrosas." Las encuentra y después puede actuar: agruparlas, limpiar duplicadas, mandar las descartadas a una carpeta de revisión. Pregunta antes de cambiar nada, y "mejor devuélvelo" deshace el último paso.
El demo de arriba dura 74 segundos. Míralo primero; el resto de la página es cómo funciona.
Cómo funciona, sin jerga
Para que una pregunta así funcione tienen que pasar dos cosas.
Primero, el teléfono tiene que entender las imágenes. Un conjunto de modelos de reconocimiento pequeños corre en el dispositivo y anota lo que ve: quién sale en cada foto (las caras se vuelven números, y la misma cara cae en el mismo grupo), qué mascota, qué objetos, qué tipo de escena, de qué color es la chaqueta, si la foto está borrosa. Todo eso va a una base de datos pequeña en el teléfono.
Segundo, el teléfono tiene que entenderte a ti. Tu frase se convierte en unos pocos pasos y una búsqueda en esa base de datos. Quien hace esa planificación es Apple Intelligence, que ya está en el teléfono.
Lo difícil
Elegir pequeño. La carpeta de investigación del repositorio existe por una razón: cada modelo tenía que ganarse su lugar. Probé los candidatos para planificar con el mismo conjunto de peticiones. El modelo integrado de Apple sacó 25 de 40, la mejor alternativa pequeña 13, y no añade nada a la descarga. Eso lo decidió.
Un asistente que no debe adivinar. "Chaqueta negra" nunca debe devolver una blanca. Por eso la búsqueda es estricta: cada palabra tiene que coincidir con una etiqueta que los modelos realmente encontraron. A veces devuelve menos de lo que esperabas. Prefiero eso a una respuesta equivocada con mucha seguridad, sobre todo cuando el paso siguiente puede ser borrar fotos.
Dos mundos. Las ideas empezaron en Python, donde probar un modelo cuesta unas líneas. El producto es Swift y Core ML. Portar el flujo significó el mismo comportamiento en otro lenguaje, y la versión de Mac de la misma app se volvió el lugar rápido para iterar el asistente.
Dónde está ahora
La app de iPhone está construida y camino a la App Store. El sitio demo tiene los planes (uno gratis, luego Pro) y una página de privacidad que dice qué sale realmente del teléfono: solo el hecho de una compra.
Si quieres verla, el sitio demo es el lugar. El código es privado por ahora.