Intro detectie app

[Wout]

Wat al een tijdje in mijn hoofd zat, is me eindelijk gelukt om de eerste stapjes te maken.
Ik heb een Windows-applicatie gemaakt die de introtijd kan detecteren. Dit zit op dit moment nog in de ontwikkelfase, maar ik wil jullie dit toch niet onthouden.

Wat kan het?
De applicatie kan de introtijd (bijvoorbeeld het begin van zang) in je muziek detecteren.
Hij geeft vervolgens een tijd terug (bijvoorbeeld 12,68 seconden). Deze tijd kun je gebruiken om de introtijd in SAM in te stellen.

Hoe te gebruiken?
Je kunt je muziekbestand via drag & drop in de applicatie slepen. Vervolgens analyseert het programma de audio en komt met een tijd terug.
Daarnaast opent er een extra scherm waarin je kunt zien waar de detectie precies op triggert.




Verdere ontwikkeling
Op termijn wil ik een koppeling maken met SAM Broadcaster zodat de introtijd automatisch in de songinfo wordt ingevuld. Dat lukt op dit moment nog niet.

De applicatie is momenteel ook nog vrij groot (ongeveer 126 MB) en gebruikt best wat geheugen. Dat wil ik nog optimaliseren. De achterliggende code is Python met de module librosa. Op dit moment kun je één nummer tegelijk analyseren. Met het kruisje in het venster sluit je het programma.

Maar hé… het werkt wel.

[Kees]

Schitterend bedacht.
Werkt nog niet goed bij alle nummers maar gaat je vast en zeker lukken.
Voorbeeld waarbij het fout gaat The Cats - One Way Wind

[Wout]

Klopt, ik had een 2de versie gemaakt waarbij hij de zang en muziek dan scheidt om beter te detecteren.
Alleen is dit programma bijna 1 Gb groot, dat is iets te veel van het goede. Ik ben nog bezig om Versie2 kleiner te maken en het te laten communiceren met SAM.
Ik kom alleen tijd te kort....

[Kees]

Geweldig.

[Wout]

Ik heb een optimalisatie gemaakt en een dark lay-out.

- De gevoeligheid kan nu worden ingesteld voor een betere detectie.
- Exportfunctie voor instrumentaal, zang als CSV-export.
- Afspelen van instrumentaal, zang of orgineel, ook als je op de waveform klikt.
- De mogelijkheid om betere modellen te gebruiken om zang & muziek te scheiden.

Ik heb op dit moment moeite om de Python-script om te zetten naar een werkende exe-bestand.

[Kees]

[Wout]

Eindelijk is het gelukt om een exe-bestand te builden. Ik zal jullie de details besparen waarom het zo lang heeft geduurd.

Installatie
Er moeten 2 bestanden worden gedownload:

1. IntroDetector.exe (±600 MB)
2. Machine Learning-model (ML) -> UVR-MDX-NET-Inst_HQ_3.onnx (±60MB)

Extra handeling
Maak op je C:-schijf een map aan met de naam model (C:\model).

Pak in de map ML-model het bestand UVR-MDX-NET-Inst_HQ_3.rar uit.
Hierdoor krijg je het bestand UVR-MDX-NET-Inst_HQ_3.onnx. Plaats dit bestand in de map model.

Start vervolgens IntroDetector.exe. Je kunt nu muziek slepen of laden in het scherm.

Daarna worden zang en muziek van elkaar gescheiden. Dit kan 1 à 2 minuten duren.
Na analyse krijg je een voorstel waar de intro kan beginnen. Dit kun je naar wens aanpassen met de Gevoeligheid-knop.

Klik vervolgens op "+ Voeg toe aan lijst" om het resultaat op te slaan.
Deze lijst kun je exporteren als CSV-bestand.

Overig

• Het is een zware applicatie die ongeveer 5 GB geheugen gebruikt. Bij te weinig geheugen kunnen foutmeldingen optreden.
• In de map C:\Users\xxxx\intro_detector_cache\ wordt de gescheiden muziek opgeslagen. Deze bestanden worden niet automatisch verwijderd.
• Zonder het bestand (C:\model\UVR-MDX-NET-Inst_HQ_3.onnx) zal de applicatie een foutmelding geven.
• Het ML-model UVR-MDX-NET-Inst_HQ_3.onnx is momenteel het beste beschikbare model. In de toekomst kunnen betere modellen beschikbaar komen, die je eenvoudig in de map model kunt plaatsen. Hiermee kan je kiezen uit meerdere modellen.
• Het scheiden van zang en muziek is niet 100% nauwkeurig; soms worden instrumenten zoals gitaar of saxofoon als zang herkend.

IntroDetector downloaden

Veel succes en plezier met de applicatie!